安装cuDNN和NCCL指南

最近更新时间:2023-09-14 17:30:03

查看PDF

操作背景

cuDNN是一个深度学习库,实现并优化了多种神经网络的算法,加快了深度学习训练的速度,CUBLAS线性代数库,提供常见的线性代数操作,很好地支持深度学习框架,NCCL用于加速多GPU之间通信。

操作步骤

1.安装cuDNN

cuDNN的全称为NVIDIA CUDA® Deep Neural Network library,是NVIDIA专门针对深度神经网络(Deep Neural Networks)中的基础操作而设计基于GPU的加速库。cuDNN为深度神经网络中的标准流程提供了高度优化的实现方式,例如convolution、pooling、normalization以及activation layers的前向以及后向过程。
下面以Ubuntu 16.0.4为例说明如何配置cuDNN进行神经网络的加速。

1)登录GPU实例,进行cuDNN下载或复制下载地址 https://developer.nvidia.com/cudnn ,点击【下载cuDNN】进行下载。
image.png

2)需要登录/注册,请按步骤提示,完成输入邮箱和密码,用户等信息,确认邮件等步骤。
cuDNN1.png

3)选择与已安装的CUDA对应的版本,这里我们选择CUDA 9.1。
cuDNN2.png

4)选择与操作系统对应的版本,这里我们选择【cuDNN v7.0.5 Library for Linux】,下载得到压缩文件cudnn-9.1-linux-x64-v7.tgz。
cuDNN3.png

5)切换到cuDNN压缩包所在目录,在命令行输入以下指令进行解压。

``` 
sudo tar –xvf cudnn-9.1-linux-x64-v7.tgz –C /usr/local         ---- 完成安装
```

2.安装NCCL

NCCL是Nvidia Collective multi-GPU Communication Library的简称,它是一个实现多GPU的collective communication通信库,Nvidia做了很多优化,以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。
1)登录GPU实例,进行NCCL下载或复制下载地址 https://developer.nvidia.com/nccl ,点击【Download NCCL】进行下载。
image.png

2)需要登录/注册,请按步骤提示耐心操作。登录后,选择对应版本的 NCCL,这里我们选择【Download NCCL v2.1.4, for CUDA 9.1, Jan 18, 2018】。

![NCCL1.png](http://fe-frame.ks3-cn-beijing.ksyun.com/project/cms/57d29afa19e13caa4b92050031838654)

3)选择与操作系统对应的版本,以Ubuntu 16.0.4为例,这里我们选择【NCCL 2.1.4 for Ubuntu 16.04 and CUDA 9】,下载得到nccl-repo-ubuntu1604-2.1.4-ga-cuda9.1_1-1_amd64.deb。

![NCCL2.png](http://fe-frame.ks3-cn-beijing.ksyun.com/project/cms/2064dd3a7762a8bbb22d31038a91a79a)

4)切换到NCCL文件所在目录,运行以下命令:

```
sudo dpkg -i nccl-repo-ubuntu1604-2.1.4-ga-cuda9.1_1-1_amd64.deb  
```
完成解压安装,将NCCL的 include 和 lib 文件夹下文件放到对应 /usr/local/include/usr/local/lib 目录下。

文档内容是否对您有帮助?

根本没帮助
文档较差
文档一般
文档不错
文档很好

在文档使用中是否遇到以下问题

内容不全,不深入
内容更新不及时
描述不清晰,比较混乱
系统或功能太复杂,缺乏足够的引导
内容冗长

更多建议

0/200

评价建议不能为空

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

问题反馈