博文

目前显示的是 十二月, 2020的博文

尝鲜GPT-2

传说中15亿参数的地表第二强(因为还有GPT-3)自然语言生成器的GPT-2,怎么使用?(其实也没那么“鲜”啦……因为这玩意已经是一年多以前的东西了(っ °Д °;)っ) 尝试官方演示 首先,用git下载OpenAI的开源代码。 git clone https://github.com/openai/gpt-2.git && cd gpt-2 然后配置环境。这里有非常多的坑,我碰到过各种各样的问题。以下是我在Windows 10 x64 20H2, Ryzen 2700X和Nvidia RTX 3070上成功运行的步骤。接下来会用到pip和Anaconda,请自行安装。conda虚拟环境的使用参考我的 这一篇文章 。 pip的源 和 conda 的源建议使用清华大学的镜像,比服务器在海外的默认镜像速度更快,也更稳定。并且清华大学的Anaconda镜像是经过Anaconda官方许可的。 首先,用conda创建一个虚拟环境。注意这里的Python版本,高了(比如3.8.5)不行,低了(比如3.6.8)也不行。 conda create -n gpt2 python=3.6.12 然后cd到gpt-2目录(也就是git clone下来的目录)里面, pip 安装所需的包。 pip install -r requirements.txt 但是这坑爹玩意requirements.txt里安装的软件版本居然有些是不对的,会导致运行时各种出错。所以我们需要手动安装正确的版本。依次执行: conda install tensorflow=1.13.1 pip install h5py==2.7.0 我们clone的文件中不包含模型文件,需要手动下载。下载速度即使在挂代理的情况下也还是很慢,而且容易中途断掉,所以……慢慢等吧。我的平均下载速度大约为1.3MiB/s。有四种大小的模型,最小的124百万数据量模型只有四百多兆,而最大的1558百万数据量模型有接近6GB。 python download_model.py 124M python download_model.py 355M python download_model.py 774M python download_model.py 1558M 下载好之后,就可以尝试运行啦!在那之前,打开 src 目录下的

如何安装并使用Python虚拟环境

有两种虚拟环境可选,即 virtualenv 和 conda 。我的系统是Windows 10 x64。 virtualenv 安装 使用pip安装即可。 pip install virtualenv 创建虚拟环境 virtualenv VENVNAME --no-site-packages 参数能使 virtualenv 不会把主环境中已安装的包复制到新创建的虚拟环境中,但这早已成为virtualenv的默认设置,因此无需添加。 激活虚拟环境 与Linux不同,Windows没有 source 命令,直接输入路径即可。 .\your_env_dir\Scripts\activate 注意前面加上了 .\ 让Powershell执行文件,否则会报错找不到文件。如果不想每次输入 .\ ,可以在管理员Powershell中执行以下命令: Set-ExecutionPolicy RemoteSigned 看到路径前面出现括号,就说明成功了。 退出虚拟环境 deactivate 分析 virtualenv的原理是把系统Python和pip复制一份到虚拟环境目录,并临时把环境变量设为虚拟环境目录中的。这样在虚拟环境中安装的软件包都会在该目录内。virtualenv的作用效果是局部的。 但是这样还是新版的Python,新版Python(3.7及更新)与tensorflow 1.12不兼容。虽说也可以手动下载替换虚拟环境中的Python,但还是不太方便,所以最终我选择了大名鼎鼎的Python软件包管理器Anaconda3。 Anaconda3 安装 直接去Anaconda官网下载Windows安装程序即可,注意安装时有两个复选框,分别是添加Anaconda到PATH和将Anaconda Python 3.8设为默认Python,一定要勾上。 创建虚拟环境 Anaconda可以在创建虚拟环境时指定Python版本,这里我设为了Python 3.8.6。和virtualenv不同,Anaconda创建的虚拟环境在Anaconda安装目录下,因此不必先cd到心怡的目录。 conda create -n VENVNAME python=3.8.6 但是由于Anaconda的服务器在海外,速度非常慢。因此我们需要先修改它的网络配置,添加清华大学的镜像源,有需要时可以配置代理。用Notepa

如何部署hexo到服务器

图片
为了部署hexo折腾了两天,期间不知道碰了多少次壁,遇到了许多诡异的问题,比如连接FTP前要先打开允许密码登陆等。这些问题网络上的hexo基本没有提到。网上的教程大多是使用github pages来搭建博客网站的,但是那样的话速度就比较慢,而且现在github.io由于GFW的缘故访问很不稳定,所以接下来我会介绍如何使用自己的服务器搭建hexo博客网站,并给出避坑指南。希望能对大家有帮助ヾ(≧▽≦*)o 配置服务端 安装、配置Nginx 我使用的服务器托管在甲骨文云( 免费服务器 真香~),系统是Ubuntu 20.04LTS,我的本地系统是Windows 11 x64。 系统预装了git和gcc,我们直接apt安装[^nginx]即可。apt安装的软件的配置文件都在 /etc/AppName下。 sudo apt install nginx 现在Ubuntu系统的防火墙会阻止我们访问网站,因此,你需要放行iptables端口: sudo apt update sudo apt install iptables sudo iptables -I INPUT -p tcp --dport 80 -j ACCEPT sudo iptables -I INPUT -p tcp --dport 443 -j ACCEPT sudo iptables -save 这样设置的 iptables 会在重启之后失效,为了让 iptables 规则持久生效,安装 iptables-persistent 。 sudo apt install iptables-persistent sudo netfilter-persistent save sudo netfilter-persistent reload 现在,直接访问服务器的IP,就可以看到Nginx的欢迎界面了! 我们需要一个存着所有网页文件网站目录。我们先新建一个目录。如果你已经有网页文件,放到里面即可。 mkdir -p /home/www/hexo 然后配置Nginx。Nginx可以在一台服务器上用同一个IP托管多个网站,其中 /etc/nginx/sites-available 中存储所有可用的网站配置文件,每一个配置文件对应一个网站。在 /etc/nginx/sites-enabled 中使用软链接指向 sites-av