智能无人机的关键基础技术

无人机“视觉”技术

赋予无人机“智能”中关键技术之一是让无人机能够通过机器视觉感知周边的环境，并将结果转化为数据通过OS(操作系统)传给其他应用程序。

目前无人机领域主流的机器视觉硬件技术有：双目机器视觉、红外激光视觉、超声波辅助探测等方式。

1、双目机器视觉

双目机器视觉基于三角定位原理，与人眼对三维世界的还原原理类似，通过比较两个同向摄像头拍摄的画面中同一物体的视角差来确定距离，从而从二维图像中还原出三维世界的立体模型。

双目机器视觉仅需两个摄像头，但对计算能力的要求较高。

双目机器视觉的门槛不在于根据视角信息α、β和间距d解算距离L，而在于让计算机能够在画面中将物体从背景中“提取”出来。目前高通支持双目机器视觉的无人机参考设计使用旗舰芯片Snapdragon  801/820，可见其对计算能力的要求之高。

对人眼来说将一个物体从背景画面当中区分开来是一件很自然的事情，但对于计算机就不同了：同一景物在不同视点的摄像机图像平面上的成像会发生不同程度的扭曲和变形，要让计算机模糊分割出物体，图像分割算法需要做卷积/微分等大计算量运算;而无人机这种要求实时测距的场景下需要的总体计算性能就更高了。

2、红外激光视觉

为了规避计算机视觉中识别物体的大量计算以及提高精度，以Intel为代表的一批厂商使用了红外激光视觉技术，如Intel  RealSense机器视觉模组。其基本原理见下图，其测距原理与双目视觉类似，但识别对象从物体替换成了打在物体表面的红外激光点。这样就从根本上消除了物体识别的计算需求。

红外激光视觉的必要代价是将两个摄像头替换为红外摄像头，并增加一个红外激光扫描器的硬件成本以及功耗。其中红外激光扫描器由一个红外激光发射器和MEMS扫描反射镜组成，整体增加的硬件成本较高。

除了对计算量要求小以外，红外激光机器视觉还具有两大优点：  相比双目，其应用时间与范围更广，可在暗夜和照明条件不好的室内使用;相比双目，其有着更高的测距精度，能够精确还原物体的三维数据。

3、超声波探测

超声波测障是一种较为成熟的技术，已广泛使用在军/民用多种应用场合之中。

超声波的优势在于能够有效识别玻璃，电线等双目视觉/红外激光视觉无法准备测距的物体。

缺点在于精度较差，只能用于探测障碍是否存在，无法提取精确空间信息用作路径规划。

定点悬停技术

消费级无人机的核心应用就是基于无人机的航拍功能，而航拍功能对无人机系统要求最高的技术指标就是飞行的稳定性。

悬停定位技术所采用的技术手段主要有几种：

1)GPS/IMU组合定位

2)超声波辅助定高

3)基于图像的光流定位技术

GPS/IMU定位技术

GPS/IMU定位的原理是较为传统和成熟的定位方法。

GPS可以测得无人机当前的水平位置和高度，飞控系统根据无人机位置和高度相对于悬停点的偏差对无人机进行补偿控制从而实现定点悬停。

然而，GPS信号更新较慢，而且GPS信号容易收到干扰，影响实际控制效果。因此工程实践中引入了飞行器的IMU信息与GPS信号进行滤波，得到更为精确和更新率更高的位置、高度信息，这种模式还可以保证在GPS失常时，仅依靠IMU提供应急位置高度信息，但是因为仅利用IMU信息进行位置高度解算时，解算结果容易发散，因此这种方法仅适合在空旷的户外进行悬停控制，而并不适宜在室内或有信号遮蔽的环境下使用。

超声波辅助定高技术

超声波测距传感器是一种较为成熟的测距传感器，能够根据超声波发出与返回的时间差，测得超声波传感器前的障碍物的距离，当无人机布置有下视超声波传感器时，可测得较为精确的距地面距离，从而辅助实现定高控制，但是超声波辅助定高对于水平位置的飘移控制起不到作用。

光流定位

光流定位是采用图像传感器对传感器所捕捉的图像画面进行分析，间接解算得到自身位置、运动信息的一种技术。

随着图像处理算法的演进和图像处理硬件平台的发展，使得这种算法的精度和实时性得到保证，从而得以在无人机系统上得到应用。

光流定位是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。

在无人机应用中，无人机机身加装对地的光流摄像头，根据所观测到的地面图像来进行定位的，其原理可通过下图进行理解：无人机在相对地面移动时，其对地观测镜头所拍摄到的画面会相对向反方向“移动”，根据无人机距离地面的高度(这也是光流传感器都与对地超声波传感器成对出现的原因)以及对地观测图像中像素移动的量，即可推算出无人机相对地面移动的距离。

当无人机采用光流定位技术实现自身位置确定后，即可采用通用的控制算法实现水平面和高度上的定位。目前所采用的光流技术，基本上可以实现室内环境的稳定悬停，但是随着时间的累积，仍然会有十几厘米到几十厘米范围的飘移。不过，这种低频率、小幅度的位置改变对于航拍来说，是可以接受的。

跟踪拍摄技术

对于航拍无人机来说，一个新的趋势是采用跟踪拍摄模式，即对无人机设置一个兴趣点，无人机则自动对兴趣点进行跟踪拍摄，这是无人机智能化的发展趋势。

目前的跟踪拍摄技术主要分为两种：

1)GPS跟踪;

2)图像跟踪。

GPS跟踪

GPS跟踪技术较为简单，即被跟踪者需手持遥控器，并获得自己当前位置的卫星定位信息，之后将此信息发送给无人机，无人机以接收到的目标位置作为目标，并进行导航。

GPS跟踪是一种比较初级的跟踪的方式，市场上大部分无人机均采用这种方式。

图像跟踪(包括脸部识别跟踪)

图像跟踪技术是无人机根据所设置的兴趣点的图像特征，完全根据图像信息完成目标的跟踪，这涉及到了对目标对象的图像识别、图像跟踪，尤其是在目标运动场景中，图像背景变化较、目标形态变化较大的情况下，对目标准确的跟踪需要运用到深度学习技术，是当前人工智能的一个热点研究方向。

自动避障技术

无人机的飞行安全一直是关系到无人机大规模商业应用的核心问题，如何感知到障碍物、并且自主的规避障碍物是无人机飞行安全领域最前沿的研究课题。

随着无人机的自主飞行、跟踪飞行的大规模商业应用，无人机在自主航拍、跟拍的过程中对自主避障的功能要求变得更加迫切。

目前主要采用3种不同的避障技术：

1)基于超声波探测的避障;

2)基于激光雷达的壁障技术;

3)Realsense单目+结构光探测避障。

超声波测距避障

这种技术类似于传统的倒车雷达系统，根据超声波探测，获知障碍物距离信息，然后采用相应策略避开障碍物，其特点是探测距离近，探测范围小，但是方法非常成熟，实现容易。

双目视觉避障

这种技术是基于双目视觉的图像景深重构方法，对视场内的景物进行景深重构，通过景深信息来判断视场内的障碍物情况，探测范围更广、距离更远，相应安全性更高，但是技术难度大，而且会受到光照强弱变化的影响。

基于激光雷达的避障技术

这种技术依靠的是无人汽车上应用较多的激光雷达技术对无人机周边的环境进行扫描，并进行地图建模。

Realsense单目+结构光探测避障

RealSense是Intel公司早先发布的视觉感知系统。它采用了“主动立体成像原理”，模仿了人眼的“视差原理”，通过打出一束红外光，以左红外传感器和右红外传感器追踪这束光的位置，然后用三角定位原理来计算出3D  图像中的“深度”信息。通过配有深度传感器和全1080p彩色镜头，能够精确识别手势动作、面部特征、前景和背景，进而让设备理解人的动作和情感。据Intel方面对外透露的数据，Realsense的有效测距可达10米。

无线图像传输技术

无人机航拍的核心技术之一就是无线图像传输，传输的能力大小是对无人机航拍能力衡量的一个重要因素。

无人机航拍技术

无人机航拍技术其实可以简单地按照字面的“无人机”+“航拍”拆分为2点：

1、影像拍摄技术，也即成像以及图像处理技术;比如像素数、光圈大小等，但是摄像头模组上影响成像质量的参数还有许多：单个像素尺寸、传感器技术、镜片组技术、ISP技术等。

2、无人机平台技术，主要指为航拍提供稳定的航拍环境的机身控制技术。

影像拍摄技术：目前市场上的影像拍摄方案，都是对几个大品牌主流的摄像头模组的集成应用，无人机生产厂商在这一方面没有太多的技术空间，而且因为技术发展已经比较成熟，不同产品方案之间差距并不大。

无人机机载平台稳定技术：是指除了飞行导航、控制等无人机自身飞行技术以外，为无人机实现稳定航拍平台保障的相关技术。这种技术是影响到成像质量最关键的因素。

稳定的拍摄平台的意义：

在拍摄视频时，画面的抖动、倾斜都会严重影响画面的流畅度和美观度;

在拍摄照片时，尤其是弱光情况下，如果曝光时间较长，机身的抖动会引起画面的模糊;若减少曝光时间，则需要提高感光度，噪点增多，影响画质。因此，机身的稳定对于拍摄来说至关重要。

影响机身稳定的主要因素：

按照当前四旋翼无人机的典型情况，可以将对于机身位置、姿态造成扰动的几个因素归结如下：

1、悬停定位不精确造成的水平位置以及高度的飘逸;

2、机体作动时的机身倾斜与抖动;

3、电机震动、突风等带来的干扰。对于不同类型的扰动，无人机系统上采取了不同的策略进行应对。

对于水平以及高度的飘移，在室外，也即GPS信号良好的情况下，无人机会主要根据GPS信号进行定位。但是限于民用GPS系统自身的精度有限且更新频率较低，单纯依靠GPS系统进行定位较为困难，通常无人机还会引入惯性模组进行组合定位。

当处于室内或者GPS信号接收受限的情况下，无人机系统还采用对地摄像头进行光流定位。光流定位是一项近年来兴起的基于图像的定位方式，在距离地面较近时，使用效果良好。

如果说位置的飘移属于慢动态的扰动，那么无人机机动时所引起的机体倾斜、抖动则是高频扰动因素，对于画面的影响十分显著。

当无人机需要进行位置移动时，四旋翼机身姿态必须做出较大调整，尤其是在机动刚发生时，机身姿态出现了40度的调整。

对于机身在水平方向移动时所带来的机体倾斜，以及机体作动时的抖动等干扰因素，对图像拍摄效果影响较大，必须通过挂载稳定云台抵消影响。

对于电机震动、突风扰动等因素，考虑到其属于较高频扰动，可采用空心橡胶球弹簧进行高频震动滤除，即可取得较好的效果。对于突风等干扰，由于其形式、大小均存在较大的随机性，很难保证完全消除影响，只能考虑结合云台、光流等多种形式对其影响进行抑制。

最后，不能忽略的一个技术是电子稳像技术。电子稳像技术是在不借助机械设备的前提下，通过传感器，感受机体运动，从而在显示画面上对图像进行剪裁、拼接的修正，从软件的角度，一定程度上实现了图像稳定的意图。

云台技术

云台对于抑制机身的主动倾侧、被动干扰等影响航拍效果的扰动起到了重大作用。

一般说的机载云台通常都是三轴云台。如下图所示，三轴云台的“三轴”分为俯仰、偏航、滚转三个轴，也称三个自由度，分别有一个电机进行控制。也即摄像头在三自由度云台的框架上通过电机的控制，可以实现与无人机三个自由度的解耦(值无人机的：俯仰、偏航、滚转三个自由度)，起到隔离、抵消无人机运动影响的作用。

三轴云台技术主要包含部分内容：1、运动敏感;2、抵消控制。

运动敏感：需要安装在最内层的摄像头部分能够感知到摄像头的姿态偏差。通常会安装一个三自由度陀螺仪。

抵消控制：即当敏感到摄像头要偏离设定的姿态(一般是水平状态)时，通过电机施加反向的运动，抵消运动变化。

从以上角度来看，传感器的精度、频率以及电机输出的精度、功率大小，控制算法的性能都对最终效果起到比较大的影响。不过从目前的产品技术来看，只要配备了三轴云台的无人机在航拍方面基本不存在太大使用感受上的区别。

单从功能上来说，比较关键的几个因素是1、云台与机身隔离度的高低;2、云台可控的角度范围;3、响应的快慢;4、精度的高低。

云台对于航拍的重要性

位移补偿：即使采取了较好的GPS+光流定位技术，无人机在定位悬停拍摄时，还是会出现较大幅度的飘移，幅度大概为0.3m左右，当发生位移后，画面中心会有那么为了进一步保证画面的稳定，就必须引入机械云台对画面进行稳定。

通过简单的几何计算可以看出，当相距被拍摄物体距离较近时，水平飘移对画面影响较大。但是当距离被拍摄物体较远时，影响较小。这时，仅需要云台偏转较小的度数既可修正画面偏移，使得被拍摄物体重新回到画面中心。

姿态补偿：相比于无人机位置的移动，无人机自身姿态的扰动对画面影响更为剧烈。当相距被拍摄物体距离较近或较远时，影响均较大。

超远程操控无人机技术

你可以坐在电脑前，然后只需轻点一下鼠标，便能够让无人机出动到达另一个领空甚至是国度。

原理其实很简单，整套系统需要有两个4G接入点，一个接入点在无人机上，另一个在控制器上。PC通过无线网络连接向无人机发出指令，控制无人机的飞行路线，同时无人机会将内置的摄像头拍摄的高清视频发送给用户，用户在监控周围环境的同时，可调整无人机的飞行路线。