前两天刚入了一块二手Radeon Vii，装了Rocm2.9+Tensorflow1.15 。今天通过实战评测，谈谈我的体验。

除了这个问题里的人之外，恐怕很多人都不知道，现在Nvidia已经不再是深度学习唯一的选择了。AMD对标CUDA的产品ROCm经过2年多的发展，对tensorflow和pytorch都实现了原生支持，A家最近几代GCN架构的显卡都可以跑，但不包括最新出的5700这种RDNA架构卡。

在GCN架构的消费级显卡中，卡皇当属2019年2月发布、7月就停产的的Radeon Vii。这块卡基于7nm工艺，能提供13.44TFLOPS的fp32算力，或者2倍于此的fp16算力，相比之下，RTX 2080ti的TFLOPS是13.4，2080是10.1，1080ti是11.3， 1080是8.9。Raveon vii的性能应该等于2080Ti，但售价只有一半。更奢侈的是，这卡配备了16G HBM2高速显存，光显存成本就占了显卡价格的一半，因此网友们都推测它其实是AMD计算卡Mi50的马甲，短暂下放只是为了不在旗舰级消费市场掉队，属于赔本赚吆喝的范畴。

其实，既然麻花腾不会亏，苏妈当然也不会亏，只有老黄赚大了，天下苦Nvidia久矣！

本体：我收的是一块蓝宝石厂牌的Radeon Vii，比最低价要贵几百，但据说vbois和苹果更兼容，这是我的一个强需求。

Baseline：由于手头没有2080或者2080ti，我只能祭出原先用的是一块1080。讲道理这块卡我很喜欢，微星和贼船联合出品的Sea Hawk一体水冷，静音效果那叫一个棒。但是问题有二：显存只有8G，finetune个Bert不便；MAC OS 10.14之后不支持N卡。两点都是硬伤。

平台： 公平起见，两块卡都在以下平台上测试：6700K CPU，16G内存，Ubuntu-18.04，kernel-4.15，anaconda-2.7，tensorflow-1.15，cuda-10，cudnn-7.6，rocm-2.9。bare metal安装，不用docker。

tf官方提供了一个benchmark repo ，内含大部分常见卷积网络。废话不多说直接开跑，trainning examples/per sec对比如下，-部分是显存不够无法启动。

对应的speed up如图：

可以看出三个表现：

这事出反常的妖，大概率出在MobileNet中大量使用的一类特殊卷积方法——深度分离卷积（Depthwise Separable Convolution）上。它将一步普通卷积拆解成两步Depthwise卷积+Pointwise卷积，以减少卷积核的参数量。其中Depthwise卷积独立作用到输入数据的每个channel上，Pointwise卷积则对输出结果再进行一次Dense变换。Depthwise部分在计算上比较独特，我猜测要么A家的libmiopen.so中没有提供足够的支持，要么就是tensorflow的开发人员用错了底层api。

为了验证这一点，我设计了一组对比实验，去除所有不必要的激活、池化、全连接，采用全卷积网络：A.普通卷积，B.深度分离卷积，C.将深度分离卷积中的Pointwise部分也去掉。结果如下

猜想证实，采用普通卷积时（conv），Radeon Vii可以达到1.65倍的加速；采用深度分离卷积（D+P conv）就立马降到1/6左右；更诡异的是，把P卷积去掉之后，理论上模型计算量减少了，GTX1080也反应了这一点，但Radeon Vii在batch=64时却更慢了。必须说tensorflow-rocm目前对深度分离卷积的支持一塌糊涂，ROCm和tensorflow开发组，必有一锅。要知道，这是我最爱的卷积核啊！在NLP问题里也很有用的！

NLP玩家可能更关心LSTM的表现。这里我做了一个简单的模型，基于两层biLSTM的序列分类。结果如下

在小batch size时，Radeon Vii还不如GTX1080；当batch size达到256后，两者速度相等；继续增大batch size，Radeon Vii还能继续加速，GTX1080则显存OOM了。结果也算reasonable：LSTM只能在batch层面实现并行化，Vii的流处理器更多，但单核性能和底层库支持中必有一个力有不逮。早在CUDA8/9出来时就听闻对RNN有特别优化，rocm还需努力啊。

最激动人心的部分终于来了。买这块卡的初衷之一就是应对Bert类场景。由于懒得一步一步按bert的代码试验，我就直接建了一个和Bert-Base一模一样的Layer=12，Hidden=768的Transformer网络，在长度为200(此处失误，该选512才能最大化压榨显存)的文本数据上从头开始训练，理论上和finetune的速度差不多。

Radeon Vii的速度大约是GTX1080的1.77倍，而且可以支持更大的batch size，这对finetune的收敛稳定性是有实际好处的。再说一遍这是文本长度200时的结果，本应测试512，但实验做到这里我实在是懒得再拆机箱插拔一遍显卡了，itx机箱使我后悔。

总结一下目前（2019年11月）使用ROCm平台 + AMD卡皇 Radeon Vii进行深度学习的几点体验吧：

优点:

缺点：

总得来说，如果你是个深度学习萌新，或者依赖这块显卡来稳定生产，建议暂时别入坑。如果你是个爱折腾的geek，或者有黑苹果需求，建议入手。极高的性能，无尽的折腾，还有什么比这更吸引人呢？