FPGA的深度学习硬件架构平台的研究现状分析

 FPGA深度学习的方向概述

     传统的CNN（Tensorflow、caffe）是在GPU、CPU上面进行的，但因为其功耗高、散热不好、价格昂贵。但是在单纯的FPGA这类芯片上进行深度学习类的算法，往往开发难度大，开发周期漫长，不适合CNN算法的实现。

 

CNN算法的步骤划分，训练（PC）+异构平台(SOC)。

 

      因此，才出现了各种异构平台SOC，如FPGA+ARM的架构，Intel  Xilinx都有自己的异构芯片。Intel主推自己的OpenCL ,Xilinx主推自己的HLS 相互竞争，其实本质上都是采用更高层次的开发语言（C/C++但是还是有些区别）进行开发，相应两家公司都有自己的开发环境，该环境可以映射为具体的硬件结构，目前现在的大部分公司采用Xilinx FPGA进行深度学习相关的开发工作。先做出深度学习的Demo，在进行具体算法的优化，具体与FPGA的硬件结构有关。

 

Xilinx主打的Revison开发堆栈就是希望更多的软件工程师既掌握FPGA的开发方法，以软件定义硬件。

 

现总结如下：

 

现如今的深度学习硬件平台：

 

（1）GPU /CPU

 

（2）SOC

 

（3）深鉴公开的DPU架构（ZYNQ）

 

（4）Google 的TPU架构

 

深度学习FPGA开发方式主推：软硬件协同设计

 

体会：整体上FPGA朝着SOC方向发展，从intel和Xilinx最新推出的硬件平台架构看出。

 

Xilinx的FPGA异构平台SOC主要用在两方面。

 

一、数据中心加速（华为、微软、腾讯、亚马逊、百度、阿里）（Utra scale MPSoc）、云计算。

协议栈中包括

 

    DNN —— Xilinx 的深度神经网络 (DNN) 库是构建深度学习推理应用的高度优化库。经过精心设计，能够以 16 位及 8 位的整数数据类型实现最高的计算效率。

 

    GEMM — Xilinx 的通用矩阵乘法 (GEMM) 库基于 3 级基本线性代数子程序 (BLAS)，不仅可实现 16 位和8 位整数数据类型的优化性能，而且还支持任何规模的任何矩阵。

 

    HEVC 解码器和编码器 — HEVC/H.265 是 MPEG 和 ITU 标准机构推出的最新视频压缩标准。它是 H.264 的后续标准，可带来多达 50% 的带宽降低。Xilinx 提供两款编码器 — 支持大多数视频数据中心工作负载的高质量、高灵活实时编码器，以及非摄像机生成内容的替代解决方案。解码器支持针对这两款编码器的所有应用。

 

    数据移动器 (SQL) — SQL 数据移动器库便于使用 Xilinx FPGA 加速数据分析工作负载。数据移动器库可通过 PCIe 从数据库列表将数据块发送至 FPGA 加速卡的片上存储器，从而可协调针对 SQL 数据库的标准连接。该库经过优化，能通过 FPGA 器件最大限度地利用主机 CPU 和加速器功能之间的 PCIe 带宽。

 

    计算内核 (SQL) — 在 FPGA 硬件上加速大量内核 SQL 函数（例如小数类型、数据类型、扫描、比较、过滤等）的库。计算功能经过优化，可利用 FPGA 大规模硬件并行的优势。

 

二、机器学习（加速）、深度学习（加速）、嵌入式视觉、计算机视觉（ZYNQ）、人脸识别、工控系统（马达控制、变频控制）。

 

1、自动驾驶系统：基于Zynq的实时物体检测

 

机器视觉技术可以应用于自动驾驶系统中实现路况信息的采集和检测，其中CNN（卷积神经网络）在机器视觉系统中用于图像处理具有压倒性的优势。CNN网络根据复杂度可以划分为很多个“网络层”，典型的卷积神经网络可以划分为卷积层、池化层和全连接层，它能够将数量庞大的图像识别问题进行不断的降维处理，最终被训练后用于高效的图像识别。

 

 

 

基于Zynq的CNN（卷积神经网络）系统，并且移植到汽车上进行了上路测试（如下视频所示），通过视频我们可以看到它能够实现道路上行人、汽车、动物和道路标志等的实时检测与识别。

 

ATUS公司的这个解决方案采用的是Xilinx Zynq-7020 SoC处理器，移植的是YOLO图像处理算法，YOLO（YouOnly Look Once）是基于GoogleNet的物体检测深度网络，实时和有效是YOLO网络的最大的特点和优势，这两点也是自动驾驶和ADAS系统所必须具备的，该系统的视频流速度可达到46.7fps（@416×234）。

 

集成的是Zynq Z7045 SoC器件，采用可编程逻辑资源实现CNN图像识别算法（如上图所示），摄像头负责进行图像采集，对于采集的视频流该系统能够识别包括行人、汽车、路牌、栏杆等二十种不同的对象。Zynq Z7045 SoC的可编程逻辑部分工作时钟频率为200MHz，整个系统的功耗仅为10.432W，这是采用CPU或者GPU实现CNN解决方案功耗的10%。

 

 

 

Xilinx Zynq-7000系列器件配备双核 ARM Cortex-A9 处理器以及28nm可编程逻辑资源，其优异的性能功耗比和最大的设计灵活性自推出以来受到工程师们的欢迎，Zynq Z7045属于该系列最高端的器件，集成高达6.25M的逻辑单元。随着各种应用对于计算需求和性能的不断增长，FPGA并行计算特性多带来的高性能使其在数据中心、深度学习、图像压缩与解码等应用场景应用越来越广泛.

 

2、多传感器融合

 

xilinx合作伙伴安富利（Avnet）的高级FPGA/DSP设计工程师Mario Bergeron向大家展示了一款双摄像头采集图像并实现融合的演示Demo。硬件平台采用的是Avnet PicoZed SOM（片上系统），核心集成的是Xilinx ZynqZ-7030 SoC，同时还用到了PicoZed嵌入式开发套件的FMC扩展板卡等模块。采用的两款摄像头分别是FMC接口的Python-1300-C彩色图像传感器，分辨率达1280×1024，配置灵活，敏感度高，性能高，主要应用于工业图像采集应用，同样是安富利（Avnet）公司设计生产的。另一个摄像头采用的是FLIR红外热成像传感器，输出60×80分辨率的红外视频流，通过Pmod接口实现与PicoZed SoM的通信与数据传输。

 

 

 

                                            图1：图像融合

 

 

 

 

 

                          图2：目标检测

 

          Zynq Z-7030 SoC的ARM Cortex-A9处理器  达到30帧。

 

 Zynq 系列芯片的提高多种智能工业解决方案，从工业智能相机，智能物流，EtherCAT总线方案，多传感器融合，行人智能检测，多轴马达驱动，人脸识别（旷世科技）。

 

深度学习（算法）+SOC（异构硬件平台）==基于FPGA的异构计算加速（暂且叫它为深度学习的嵌入式应用吧）。

 

需要Intel提供的SDK或者Xilinx提供的BSP板级支持包,才能进行高层次的开发，以及算法的优化，需对FPGA和算法、ARM都有深入的了解研究。

 

FPGA异构计算

 

        异构计算是当下的一个热门词汇，从到芯片厂商、整机系统厂商到普通的工程技术人员、学生，都对其表现了极大的兴趣。异构计算（Heterogeneous Computing），又被译为异质运算，主要是指使用不同类型指令集和体系架构的计算单元组成系统来协同完成计算功能的一种方式。对于大多数人而言异构计算还是一个比较新鲜的名词，但这却并不是什么新概念。早在20世纪80年代中期，异构计算技术就诞生了。它主要是指使用不同类型指令集、体系架构的计算单元组成混合系统的一种特殊计算方式。可以用来搭建异构计算系统的常见计算单元类别包括：CPU(中央处理器)、GPU(图形处理器)、协处理器、DSP(信号处理器)、ASIC(专用集成电路)、FPGA(现场可编程门阵列)等。

 

        为什么需要使用异构计算系统？原因很简单：我们需要越来越强大、越来越高效的计算系统。在过去，随着半导体技术的进步和频率的提升，绝大多数计算机应用不需要结构性的变化或使用特定的硬件加速器，即可不断提升性能。随着摩尔定律逼近其实现瓶颈，内存、功耗、散热等方面的限制使得计算系统已经无法通过简单的扩展来获得性能的提升。此时，引入特定单元并通过合理的任务分配与管理让每一种不同类型的计算单元都可以去执行自己最擅长的任务就成为进一步提升计算系统运算能力的必然选择。