得芯片者得天下 梳理AI领域产业生态

　　【中国安防展览网 媒体导读】虽然说，我国的人工智能芯片处于起步阶段，进步空间巨大，芯片的市场前景也非常高，在人工智能行业，得芯片者可以说得天下。总之，芯片技术含量极高，非常重要，市场空白，前景广阔。
 

　　AI 芯片作为产业核心，也是技术要求和附加值高的环节，在AI产业链中的产业价值和战略地位远远大于应用层创新。腾讯发布的《中美两国人工智能产业发展全面解读》报告显示，基础层的处理器/芯片企业数量来看，中国有 14 家，美国 33 家。本文将对这一领域产业生态做一个简单梳理。
 

　　AI 芯片分类
 

　　从功能看，可以分为 Training(训练)和 Inference(推理)两个环节
 

　　Training 环节通常需要通过大量的数据输入，或采取增强学习等非监督学习方法，训练出一个复杂的深度神经网络模型。训练过程由于涉及海量的训练数据和复杂的深度神经网络结构，运算量巨大，需要庞大的计算规模，对于处理器的计算能力、精度、可扩展性等性能要求很高。目前，在训练环节主要使用 NVIDIA 的 GPU(Graphics Processing Unit，图形处理器)集群来完成，Google 自主研发的 ASIC(Application Specific Integrated Circuit，专用集成电路)芯片 TPU 2.0 也支持训练环节的深度网络加速。
 

　　Inference 环节指利用训练好的模型，使用新的数据去「推理」出各种结论，如视频监控设备通过后台的深度神经网络模型，判断一张抓拍到的人脸是否属于黑名单。虽然 Inference 的计算量相比 Training 少很多，但仍然涉及大量的矩阵运算。在推理环节，GPU、FPGA(Field Programmable Gate Array，现场可编程门阵列)和 ASIC 都有很多应用价值。
 

　　从应用场景看，可以分成「Cloud/DataCenter(云)」和「Device/ Embedded(设备端)」两大类
 

　　在深度学习的 Training 阶段，由于对数据量及运算量需求巨大，单一处理器几乎不可能独立完成一个模型的训练过程，因此，Training 环节目前只能在云端实现，在设备端做 Training 目前还不是很明确的需求。
 

　　在 Inference 阶段，由于目前训练出来的深度神经网络模型大多仍非常复杂，其推理过程仍然是计算密集型和存储密集型的，若部署到资源有限的终端用户设备上难度很大。因此，云端推理目前在人工智能应用中需求更为明显。GPU、FPGA、ASIC(Google TPU1.0/2.0)等都已应用于云端 Inference 环境。
 

　　在设备端 Inference 领域，由于智能终端数量庞大且需求差异较大。如 ADAS、VR 等设备对实时性要求很高，推理过程不能交由云端完成，要求终端设备本身需要具备足够的推理计算能力，因此一些低功耗、低延迟、低成本的专用芯片也会有很大的市场需求。
 

　　按照上述两种分类，我们得出 AI 芯片分类象限如下图所示。
 

　　除了按照功能场景划分外，AI 芯片从技术架构发展来看，大致也可以分为四个类型：通用类芯片，代表如 GPU、FPGA；基于 FPGA 的半定制化芯片，代表如深鉴科技 DPU、百度 XPU 等；全定制化 ASIC 芯片，代表如 TPU、寒武纪 Cambricon-1A 等；类脑计算芯片，代表如 IBM TrueNorth、westwell、高通 Zeroth 等。
 

　　AI 芯片产业生态
 

　　从上述分类象限来看，目前 AI 芯片的市场需求主要是三类：面向于各大人工智能企业及实验室研发阶段的 Training 需求(主要是云端，设备端 Training 需求尚不明确)；Inference On Cloud，Face++、出门问问、Siri 等主流人工智能应用均通过云端提供服务；Inference On Device，面向智能手机、智能摄像头、机器人/无人机、自动驾驶、VR 等设备的设备端推理市场，需要高度定制化、低功耗的 AI 芯片产品。如华为麒麟 970 搭载了「神经网络处理单元(NPU，实际为寒武纪的 IP)」、苹果 A11 搭载了「神经网络引擎(Neural Engine)」。
 

　　1. Training，训练
 

　　2007 年以前，人工智能研究受限于当时算法、数据等因素，对于芯片并没有特别强烈的需求，通用的 CPU 芯片即可提供足够的计算能力。
 

　　Andrew Ng 和 Jeff Dean 打造的 Google Brain 项目，使用包含 16000 个 CPU 核的并行计算平台，训练超过 10 亿个神经元的深度神经网络。但 CPU 的串行结构并不适用于深度学习所需的海量数据运算需求，用 CPU 做深度学习训练效率很低。在早期使用深度学习算法进行语音识别的模型中，拥有 429 个神经元的输入层，整个网络拥有 156M 个参数，训练时间超过 75 天。
 

　　与 CPU 少量的逻辑运算单元相比，GPU 整个就是一个庞大的计算矩阵，GPU 具有数以千计的计算核心、可实现 10-100 倍应用吞吐量，而且它还支持对深度学习至关重要的并行计算能力，可以比传统处理器更加快速，大大加快了训练过程。
 

　　从上图对比来看，在内部结构上，CPU中 70% 晶体管都是用来构建 Cache(高速缓冲存储器)和一部分控制单元，负责逻辑运算的部分(ALU 模块)并不多，指令执行是一条接一条的串行过程。
 

　　GPU 由并行计算单元和控制单元以及存储单元构成，拥有大量的核(多达几千个)和大量的高速内存，擅长做类似图像处理的并行计算，以矩阵的分布式形式来实现计算。同 CPU 不同的是，GPU 的计算单元明显增多，特别适合大规模并行计算。
 

　　在人工智能的通用计算 GPU 市场，NVIDIA 现在一家独大。2010 年 NVIDIA 就开始布局人工智能产品，2014年发布了新一代 PASCAL GPU 芯片架构，这是 NVIDIA 的第五代 GPU 架构，也是为深度学习而设计的 GPU，它支持所有主流的深度学习计算框架。
 

　　2016 年上半年，NVIDIA 又针对神经网络训练过程推出了基于 PASCAL 架构的 TESLA P100 芯片以及相应的超级计算机 DGX-1。DGX-1 包含 TESLA P100 GPU 加速器，采用 NVLINK 互联技术，软件堆栈包含主要深度学习框架、深度学习 SDK、DIGITS GPU 训练系统、驱动程序和 CUDA，能够快速设计深度神经网络(DNN)，拥有高达 170TFLOPS 的半精度浮点运算能力，相当于 250 台传统服务器，可以将深度学习的训练速度加快 75 倍，将 CPU 性能提升 56 倍。
 

　　Training 市场目前能与 NVIDIA 竞争的就是 Google。今年 5 月份 Google 发布了 TPU 2.0，TPU(Tensor Processing Unit)是 Google 研发的一款针对深度学习加速的 ASIC 芯片，代 TPU 仅能用于推理，而目前发布的 TPU 2.0 既可以用于训练神经网络，又可以用于推理。
 

　　据介绍，TPU 2.0 包括了四个芯片，每秒可处理 180 万亿次浮点运算。Google 还找到一种方法，使用新的计算机网络将 64 个 TPU 组合到一起，升级为所谓的 TPU Pods，可提供大约 11500 万亿次浮点运算能力。Google 表示，公司新的深度学习翻译模型如果在 32 块性能好的 GPU 上训练，需要一整天的时间，而八分之一个 TPU Pod 就能在 6 个小时内完成同样的任务。
 

　　目前 Google 并不直接出售 TPU 芯片，而是结合其开源深度学习框架 TensorFlow 为 AI 提供 TPU 云加速的服务，以此发展 TPU2 的应用和生态，比如 TPU2 同时发布的 TensorFlow Research Cloud (TFRC)。
 

　　上述两家以外，传统 CPU/GPU 厂家 Intel 和 AMD 也在努力进入这 Training 市场，如 Intel 推出的 Xeon Ph + Nervana 方案，AMD 的下一代 VEGA 架构 GPU 芯片等，但从目前市场进展来看很难对 NVIDIA 构成威胁。
 

　　初创公司中，Graphcore 的 IPU 处理器(Intelligence Processing Unit)据介绍也同时支持 Training 和 Inference。该 IPU 采用同构多核架构，有超过 1000 个独立的处理器；支持 All-to-All 的核间通信，采用 Bulk Synchronous Parallel 的同步计算模型；采用大量片上 Memory，不直接连接 DRAM。
 

　　总之，对于云端的 Training(也包括 Inference)系统来说，业界比较一致的观点是竞争的核心不是在单一芯片的层面，而是整个软硬件生态的搭建。NVIDIA的CUDA + GPU、Google 的 TensorFlow + TPU 2.0，巨头的竞争也才刚刚开始。