安装cuDNN和NCCL指南

安装cuDNN

cuDNN的全称为NVIDIA CUDA® Deep Neural Network library，是NVIDIA专门针对深度神经网络（Deep Neural Networks）中的基础操作而设计基于GPU的加速库。cuDNN为深度神经网络中的标准流程提供了高度优化的实现方式，例如convolution、pooling、normalization以及activation layers的前向以及后向过程。

下面以Ubuntu 16.0.4为例说明如何配置cuDNN进行神经网络的加速。

1. 登录GPU实例，进行cuDNN下载或复制下载地址 https://developer.nvidia.com/cudnn ，点击【Download】进行下载。
   

2. 需要登录/注册，请按步骤提示，完成输入邮箱和密码，用户等信息，确认邮件等步骤。
   

3. 选择与已安装的CUDA对应的版本，这里我们选择CUDA 9.1。
   

4. 选择与操作系统对应的版本，这里我们选择【cuDNN v7.0.5 Library for Linux】，下载得到压缩文件cudnn-9.1-linux-x64-v7.tgz。
   

5. 切换到cuDNN压缩包所在目录，在命令行输入以下指令进行解压。

   sudo tar –xvf cudnn-9.1-linux-x64-v7.tgz –C /usr/local         ---- 完成安装
   

安装NCCL

NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信库，Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。

1. 登录GPU实例，进行NCCL下载或复制下载地址 https://developer.nvidia.com/nccl ，点击【Download】进行下载。
   

2. 需要登录/注册，请按步骤提示耐心操作。登录后，选择对应版本的 NCCL，这里我们选择【Download NCCL v2.1.4, for CUDA 9.1, Jan 18, 2018】。

   

3. 选择与操作系统对应的版本，以Ubuntu 16.0.4为例，这里我们选择【NCCL 2.1.4 for Ubuntu 16.04 and CUDA 9】，下载得到nccl-repo-ubuntu1604-2.1.4-ga-cuda9.1_1-1_amd64.deb。

   

4. 切换到NCCL文件所在目录，运行以下命令：

   sudo dpkg -i nccl-repo-ubuntu1604-2.1.4-ga-cuda9.1_1-1_amd64.deb  
   

   完成解压安装，将NCCL的 include 和 lib 文件夹下文件放到对应 /usr/local/include/usr/local/lib 目录下。