嵌入式人工智能的两大挑战
计算资源有限。现在做人工智能，都需要使用深度学习做视觉处理、语音识别和自然语言处理。而神经网络参数一般都比较庞大，层数达到几百层的网络已经不是少数，需要消耗大量内存，如何优化网络数据量，而又不损失数据精度，是嵌入式人工智能的重要挑战之一。
计算能力有限。嵌入式平台的计算能力也无法与传统PC的计算能力相比，比如深度学习中常用的卷积神经网络（CNN），它能够解决图像处理的大部分问题。但是卷积部分的计算时间占据了所有计算时间的70%以上。所以如何优化计算能力也是亟待解决的问题。
嵌入式人工智能平台
如何应对嵌入式人工智能的挑战？NVIDIA公司给出了答案。在最近的一些国际知名的硬创活动中，我们可以看到很多精彩的AI机器人和无人机案例，都应用了深度学习技术。而他们背后都有一个共同点——NVIDIA Jetson TX1
Jetson TX1是NVIDIA第二代嵌入式平台开发者套件，虽然只有信用卡大小，但Jetson TX1 GPU模块的浮点运算能力却达到1 Teraflops。这台 AI 超级计算机采用 NVIDIA Maxwell™ 架构、256 颗 NVIDIA CUDA® 核心 和 64 位 CPU，4GB LPDDR4 RAM 内存（每秒带宽速度达25.6Gbps）、16GB本地存储模块、802.11 2×2 ac Wi-Fi解决方案以及1Gbps以太网端口，同时还配备面向视觉计算的Jetson TX1开发者套件。
因为完全支持CUDA和cuDNN的接口，所以可以很方便地把PC上训练的深度神经网络移植到Tegra X1的嵌入式平台上。除此之外，TX1还可以提供丰富的硬件接口，方便接入各种硬件设备，包括摄像头、各种传感器等。NVIDIA还为Jetson提供了强大的软件工具包，详见下图：
NVIDIA Jetson TX1应用实例
来自香港浸会大学计算机系赵开勇博士基于Jetson TX1针对卷积计算做了一些性能上的优化，包括让CPU、GPU和内存在最高频率中运行，实现CPU、GPU和内存协同调度。通过优化GPU的并行计算，达到空间换时间的目的。
NVIDIA的GPU内存访问的一个特性，连续合并访问，可以很好地利用硬件的带宽。从架构来看，优化IO访问，即使核心数目没增加多少，架构也没太大变化，只是在几个计算流处理器中间增加缓存，就能提高很大的性能。下图是经典的GPU内存架构与线程模型。
Intelligent Flying Machines (IFM) 是一家数据分析公司，该公司利用计算机视觉和机器人来自动完成仓库数据捕捉。
NVIDIA TrailNet深度神经网络的Iris+无人机，在电脑视觉(Computer Vision)和深度学习(Deep Learning)技术的辅助下，顺利穿越森林小径。
JetsonTX1俨然成了无数硬件创客眼中的最炫装备。且目前TX2也已经推出，除了支持 Jetson TX1 模块的所有功能，还可以支持更大型、更复杂的深度神经网络计算，无疑更能让硬件创客们为之眼前一亮。
文字编辑：紫菜君
图片视频：网络
