尝鲜GPT-2
传说中15亿参数的地表第二强(因为还有GPT-3)自然语言生成器的GPT-2,怎么使用?(其实也没那么“鲜”啦……因为这玩意已经是一年多以前的东西了(っ °Д °;)っ) 尝试官方演示 首先,用git下载OpenAI的开源代码。 git clone https://github.com/openai/gpt-2.git && cd gpt-2 然后配置环境。这里有非常多的坑,我碰到过各种各样的问题。以下是我在Windows 10 x64 20H2, Ryzen 2700X和Nvidia RTX 3070上成功运行的步骤。接下来会用到pip和Anaconda,请自行安装。conda虚拟环境的使用参考我的 这一篇文章 。 pip的源 和 conda 的源建议使用清华大学的镜像,比服务器在海外的默认镜像速度更快,也更稳定。并且清华大学的Anaconda镜像是经过Anaconda官方许可的。 首先,用conda创建一个虚拟环境。注意这里的Python版本,高了(比如3.8.5)不行,低了(比如3.6.8)也不行。 conda create -n gpt2 python=3.6.12 然后cd到gpt-2目录(也就是git clone下来的目录)里面, pip 安装所需的包。 pip install -r requirements.txt 但是这坑爹玩意requirements.txt里安装的软件版本居然有些是不对的,会导致运行时各种出错。所以我们需要手动安装正确的版本。依次执行: conda install tensorflow=1.13.1 pip install h5py==2.7.0 我们clone的文件中不包含模型文件,需要手动下载。下载速度即使在挂代理的情况下也还是很慢,而且容易中途断掉,所以……慢慢等吧。我的平均下载速度大约为1.3MiB/s。有四种大小的模型,最小的124百万数据量模型只有四百多兆,而最大的1558百万数据量模型有接近6GB。 python download_model.py 124M python download_model.py 355M python download_model.py 774M python download_model.py 1558M 下载好之后,就可以尝试运行啦!在那之前,打开 src 目录下的 ...