多旋翼无人机单目V-SLAM研究综述
来源:用户上传
作者:赵良玉 朱叶青 金瑞
摘要： 视觉同时定位与地图构建（V-SLAM）方法是保证多旋翼无人机在环境先验信息未知情况下正常工作的有效途径， 对于多旋翼无人机的定位、 导航和路径规划等具有重要意义。 针对多旋翼无人机V-SLAM方法的国内外最新研究成果进行综述。 首先， 在简述V-SLAM分类及发展历程的基础上， 综述了国内外具有代表性的基于滤波、 基于优化、 基于直接法及融合IMU数据的单目V-SLAM系统核心思想及特点; 然后， 分析了单目V-SLAM系统应用于多旋翼无人机的可行性， 介绍了国内外若干从事多旋翼无人机单目V-SLAM研究的团队及其主要研究成果; 最后， 讨论了近年来V-SLAM的研究热点和发展趋势。
关键词： 多旋翼无人机; 视觉同时定位与地图构建; 单目视觉; 优化; 滤波; 惯性测量单元
中图分类号： TJ765; V279 文献标识码： A文章编号： 1673-5048（2020）02-0001-140
引言
近年来， 无人机[1]（Unmanned Aerial Vehicles， UAV）技术得到飞速发展， 其中多旋翼无人机（Multi-Rotor UAV）因具有空中悬停[2]、 垂直起降、 操作灵活等优点， 在军事侦察[3]、 灾难救援、 工程测绘、 空间数据采集、 地理探测、 动物保护等诸多领域得到了广泛应用。 同时定位与地图构建[4]（Simultaneous Localization and Mapping， SLAM）方法由Smith和Cheeseman于1986年提出[5]， 最早应用于移动机器人领域， 指在环境先验信息未知情况下， 装有特定传感器的载体于运动过程中构建环境模型， 同时估计自身的状态和位置信息， 从而实现自主定位与导航。 视觉同时定位与地图构建（Visual Simultaneous Localization and Mapping， V-SLAM）方法以其小范围内定位精度高、 无需任何环境先验信息、 硬件成本低廉、 不易受外界干扰（仅需一个普通摄像头）及信息量获取丰富等优点， 成为近年来的热门研究方向。 其中， 单目相机功耗低、 质量轻， 一方面较双目相机节省计算资源， 另一方面比深度相机测距范围更广， 可适用于室内外等多场景， 使得单目V-SLAM系统与无人机平台的结合有着先天优势。
SLAM技术自提出以来， 出现了一些相关的教程[6-8]及针对其原理和常用模块的总结[9-11]， 如国内外专家对基于滤波的SLAM[12]、 基于图优化的SLAM[13]、 基于深度学习的SLAM[14-15]、 典型V-SLAM方法[16-18]、 视觉惯性SLAM[19]、 SLAM后端优化方法[20]和面向无人车的V-SLAM[21]等进行了综述。 目前， 能够检索到的关于无人机V-SLAM的文献综述发表时间相对较早[22-23]， 尽管多旋翼无人机的V-SLAM技术已逐渐引起国内外学者的研究兴趣， 但对其系统性的介绍还比较少， 如文献[24]也仅仅只是提到了V-SLAM算法在UAV中的应用问题。 鉴于此， 本文将重点介绍近年来单目V-SLAM技术取得的标志性研究成果， 对具有代表性的V-SLAM系统框架和结构进行分析和比较， 同时针对多旋翼无人机V-SLAM最新研究热点和发展趋势进行讨论、 总结和展望。
航空兵器2020年第27卷第2期趙良玉， 等： 多旋翼无人机单目V-SLAM研究综述1V-SLAM架构及其数学描述
如图1所示， 经典V-SLAM系统主要分为两大部分， 前端进行特征提取和数据关联（包括特征跟踪和闭环检测）， 用于估计相邻图像间相机的运动以及局部地图， 后端进行优化， 用于建立全局一致的轨迹和地图， 消除运行中的累计误差[25]。
可通过最小二乘法求解式（10）的最优解， 得到状态变量χ的最大似然估计值。 由于噪声的存在， 所估计的位姿与地图在代入SLAM的运动方程、 观测方程中并不一定成立， 通过不断优化状态估计值， 从而使系统整体误差下降到一个极小值， 便认为得到较为准确的无人机位姿x及地图点y。
2代表性的单目V-SLAM系统
SLAM的发展按时间线可大致分为三个阶段[6]： 第一个阶段是1986～2004年， 称为经典时代， 该阶段主要提出了V-SLAM的概念， 并将其转换为一个状态估计问题， 后端以基于滤波的形式占据主流， 针对前端数据关联的效率及鲁棒性进行了深入研究; 第二个阶段是2004～2015年， 称为算法分析时代， 该阶段发现在使用非线性优化求解V-SLAM问题过程中， 可利用矩阵的稀疏性加速计算， 至此以非线性优化的形式占据主流， 逐渐出现了多种开源的SLAM框架， 针对SLAM的可观测性、 收敛性以及一致性进行了深入研究; 第三个阶段从2015年至今， 称为鲁棒感知时代， 研究重点主要使算法具有自主调参能力， 以适应各种环境和长时间有效运行， 并在更高层次理解环境信息生成自适应地图。 本节重点介绍几类具有代表性的单目V-SLAM系统。
2.1基于滤波的V-SLAM
Davison第一个提出了称为MonoSLAM[27]的纯视觉单目实时SLAM系统。 该系统利用扩展卡尔曼滤波（Extended Kalman Filter， EKF）来实现室内场景下的同时定位与地图构建。 该V-SLAM系统可实时复现单目相机在未知场景里随机运动的3D运动轨迹。 由于MonoSLAM系统使用具有恒定线性速度和角速度的运动模型， 使得其无法正确处理相机的突然移动， 限制了其应用范围。 Gee等人[28]在考虑相机加速运行时线速度和角速度变化的情况下进行了改进， 运行频率可达200 Hz。 但该算法由于地图规模、 计算量增长过快， 实时性能只能维持几秒钟的时间。 Montemerlo等[29]在Rao-Blackwellized粒子滤波（Particle Filter）[30]框架的基础上， 提出一种FastSLAM方法以解决SLAM的实时性问题。 该方法将SLAM分解为一个定位问题、 一个建图问题， 使用粒子滤波估计相机位姿， 使用EKF估计地图中地标点的位置。 2.2基于优化的V-SLAM
PTAM（Parallel Tracking and Mapping）是Klein[31]于2007年提出并开源的。 作为第一个提出使用多线程的V-SLAM算法， 其核心思想是将跟踪和建图作为两个独立任务， 并使用两个线程并行处理。 跟踪线程中使用极限特征搜索的方式初始化特征信息， 通过三角化恢复场景点三维位置; 同时， PTAM还是第一个使用Buddle Adjustment（BA）非线性优化作为后端处理方案的算法。 PTAM具有的里程碑意义在于， V-SLAM后端算法由传统的使用滤波器向使用非线性优化转变。 不过， PTAM作为早期应用于增强现实技术（Augment Reality， AR）[31-32]的SLAM方法， 也具有自身的缺陷， 如跟踪易丢失、 需要使用5点法手动初始化地图、 应用场景比较小等。 目前， PTAM多应用于AR领域中， 实际应用到多旋翼无人机中仍然具有一定的难度。
ORB-SLAM由Murartal等[33-34]于2015年提出， 被认为是目前比较完善的一种V-SLAM系统。 ORB-SLAM基于PTAM 的两线程并行运算框架， 融合了Galvez-Lopez和Tardos[35]的地点识别算法、 Strasdat等[36]提出的闭环检测算法以及文献[37-38]中的大场景操作方法， 创新性地采用了三线程并行运算框架。 文献[39]对单目视觉SLAM闭环检测方法进行改善， 通过减少需要比较的特征量来加速算法， 通过图像检测的优化以及建立的立体约束使建图更加准确， 与ORB-SLAM和LSD-SLAM对比， 结果显示出该方法运算更加高效， 可用于多旋翼无人机自主导航。 文献[40]利用ORB-SLAM2[34]稀疏特征点构建用于无人机自主导航的地图， 系统由增量的SLAM、 实时稠密地图创建和自由空间提取三个部分组成， 获得的自由空间体积可以作为运动规划的常规几何约束。
2.3基于直接法的V-SLAM
LSD-SLAM（Large-Scale Direct Monocular SLAM）由Engel等[41]在2014年提出， 该方法将直接图像匹配的方法应用于高精度位姿估计， 实时重建关键帧位姿图和半稠密深度地图。 该系统的优势在于： （1）在大尺度场景下实时运行， 使用相似变换群表达尺度的漂移; （2）只考虑灰度梯度明显区域的像素位置以实现半稠密场景的重建， 有效地节省了计算量。 文献[42]在LSD-SLAM基础上创建无人机视觉导航系统， 实时估计无人机的轨迹和重建真实场景的半稠密地图， 提出使用障碍物重建和探索的方法， 克服了LSD-SLAM仅确定高梯度像素深度， 忽略纹理较少区域的弊端。
SVO（Semi-direct Visual Odometry）是由Forster等[43]在2014年提出的“半直接”视觉里程计法。 SVO是直接法与特征法的混合， 特征提取只是在初始化新的3D点时使用， 之后利用像素强度对比， 以及小的图像块匹配对相机位姿进行估计。 即使在高帧率的运行状态下， SVO在处理纹理重复及重叠区域时仍然显示了较好的收敛性， 产生极少的3D外点。 SVO[43]无需提取每帧的特征值， 可大大提高运算速度， 应用于无人机机载嵌入式模块时处理帧速达55 帧/秒。 SVO也存在一些问题， 如为了强调速度和轻量化未建立全局一致性环境地图， 摒弃了回环检测以及后端优化部分， 导致位姿估计依然存在着累积误差等不足。 文献[44]结合SVO算法提出一种基于单目的无人机实时三维重建[45]和自主着陆系统， 图2描述了该文献中无人机室内避障飞行真实场景图以及无人机实时重建三维场景图和着陆过程。
2.4融合IMU的V-SLAM
单目V-SLAM自身框架存在一些固有问题， 如： （1）由于单目相机无法获取环境的深度信息， 即使单目V-SLAM估计出的运动轨迹形状跟实际运行轨迹相同， 但其尺寸大小仍然不是真实尺寸; （2）当相机运动近似纯旋转， 即没有明显的相对平移运动时， 无法使运动轨迹和地图收敛， 与惯性测量单元（Inertial Measurement Unit， IMU）融合可以有效地解决上述问题。 Qin等[46]提出的单目VINS-Mono（Visual-Inertial System）状态估计算法， 可以提供完整的俯仰角和滚转角信息， 即仅在x， y， z三个方向以及偏航角上具有累计漂移， 因此只针对位姿图的上述4个自由度进行优化， 降低了计算复杂度， 有效提高了算法的時效性。 图3所示为VINS-Mono算法在多旋翼无人机飞行过程中生成的轨迹及构建的稠密地图， 其中红色表示新生成的轨迹， 绿色表示无人机已经执行的轨迹， 周围障碍物的高度用不同的颜色块表示。
SVO[43]+MSF[47]以松耦合的方式通过扩展卡尔曼滤波器， 将视觉里程计得到的位姿估计与IMU信息融合， 可以达到较高的计算效率， 缺点是需要手动初始化尺度信息。 SVO+GTSAM[48]前端视觉里程计采用SVO， 后端使用iSAM2[49]完成在线因子图优化， 前端和后端分开使得帧处理的时间较短。 但由于三角化效果不佳， 会引起数值不稳从而导致后端失效， 实验表明该方法不适用于无人机。
MSCKF[50]以EKF为后端紧耦合的视觉惯性里程计， 其状态向量中只保留了多帧相机姿态， 利用滑动窗口的方法优化多帧图像重投影误差。 该方法没有回环检测， 使其计算复杂度较低， 运行效率高， 且算法精度不受无人机硬件平台的影响[51]。 ROVIO[52]是基于EKF的视觉/惯性测量单元融合的状态估计算法， 通过将路标点表示为方位向量和逆深度参数来减少初始化的延迟。 同等条件下应用于无人机平台[51]， ROVIO的精度要高于SVO+MSF， 同时资源占用要低于VINS-Mono。 为便于对比各类单目V-SLAM系统的组成与优缺点， 对其应用于多旋翼无人机的可行性进行分析， 汇总列于表1。 3多旋翼无人机V-SLAM研究机构及成果国外针对多旋翼无人机的V-SLAM研究起步较早。 比较著名的研究机构及其重点研究方向包括： 美国宾夕法尼亚大学GRASP实验室针对多旋翼无人机进行多传感器信息融合， 实现了室内外表1单目V-SLAM系统研究
Table 1Research on monocular VSLAM system名称传感器类型意义无人机应用MonoSLAM[27]单目于2007年提出， 第一个基于EKF的实时单目SLAM系统V-SLAM研究先驱， 但因实时运行时间较短以及无法处理突然移动， 在多旋翼无人机上使用受限 PTAM[31]单目于2007年提出， 第一个将V-SLAM分为建图和跟踪两线程以及使用非线性优化作为后端的系统 早期与AR相结合的V-SLAM系统之一， 但易出现跟踪关键点丢失的情况， 需要手动初始化地图， 应用场景较小， 在多旋翼无人机上使用受限 MSCKF[50]单目+IMU于2007年提出的单目紧耦合视觉惯性里程计， 利用滑动窗口优化多帧图像重投影误差 无回环检测， 计算复杂度低， 在无人机平台上运行速度快， 且算法精度不受硬件平台的影响 SVO[43]单目2014年提出的将特征点法与直接法混合的半直接法 处理速度快， 但由于没有回环检测和和后端优化部分， 位姿估计累计误差较大， 多旋翼无人机应用中平视相机表现欠佳 SVO+MSF[47]单目+IMU以SVO作为前端， 并将其得到的位姿估计通过EKF与IMU信息融合 应用于无人机可以达到较高的计算效率， 缺点是需要手动初始化尺度信息 SVO+GTSAM[48]单目+IMU前端视觉里程计采用SVO， 后端采用iSAM2完成在线因子图优化 帧处理时间较短， 但是由于三角化效果不佳， 会引起数值不稳从而导致后端失效， 无人机上应用效果较差 ORB-SLAM[33]单目为主2015年提出的基于特征点比较完善并易用的非线性优化V-SLAM系统 系统分为三个线程， 给计算机CPU带来较大负担， 另外由于构建的为稀疏地图， 在多旋翼无人机上使用受限 LSD-SLAM[41]单目为主2015年提出的将直接法应用于半稠密建图的V-SLAM系统 可在大规模场景下实时运行， 构建半稠密场景地图， 对光线比较敏感， 多旋翼无人机快速运动时梯度不明显的像素信息易跟踪丢失 ROVIO[52]单目+IMU2015年提出的前端使用直接法的单目视觉惯性里程计 精度较高、 计算量小、 无回环。 相同条件下精度高于SVO+MSF， 资源占用低于VINS-Mono DSO[53]单目2016年提出的直接法稀疏视觉里程计 DSO处理速度是传统基于特征点法的5倍， 用于多旋翼无人机仅可实现状态估计， 无法进行地图三维重建 VINS-Mono[46]单目+IMU2017年提出的融合IMU的单目SLAM系统 融合IMU克服单目V-SLAM固有弊端， 目前在多旋翼无人机平台上得到较多应用环境感知及精准定位与建模[54]; 美国麻省理工学院CSAIL计算机科学与人工智能实验室针对移动机器人导航与环境感知进行研究[55]; 瑞士苏黎世联邦理工大学动态系统与控制学院针对多旋翼无人机， 研究其室内精准定位以及环境重建等算法[6]; 德国慕尼黑工业大学计算机视觉研究实验室针对多旋翼无人机V-SLAM算法以及三维环境重建进行研究[56]。
国外研究人员还较早地注意到了基于多无人机协同的V-SLAM方法。 英国克兰菲尔德大学的Nemra等[57]提出一种实现多UAV协同的SLAM鲁棒算法。 该算法中， 每架无人机均配备IMU和立体相机系统， SLAM算法在每架UAV上执行， 通过H∞非线性控制器将信息进行滤波处理。 仿真结果显示， 该算法通过对特征不确定性分析， 利用闭环检测重访问特征的方法， 使得xyz轴的位置估计以及地图特征估计要比单架无人机更加精准。 美国宾夕法尼亚大学的Loianno等[58]提出一种使用IMU和RGB-D传感器的多架MAV（Micro Air Vehicle）協同视觉定位和建图方法， 可同时提供稠密和稀疏地图， 一方面采用单目视觉里程计算法处理定位任务， 另一方面利用深度数据解决单目里程计的尺度问题， 有效突破了三维RGB-D协同V-SLAM计算量大的瓶颈， 将地图合并到全局坐标系， 有效避免多架无人机信息传回地面站时的过于重叠问题。 文献[59]基于同样的方式， 采用协作立体相机为一支空中舰队提供定位信息， 每架飞行器都载有单目相机、 IMU和声呐传感器， 通过控制编队以最大化视场的重叠区域， 但该方法需要考虑随飞行器数量增多而带来的视觉传感器冗余及计算负载分配难题。
针对基于多传感器融合技术的V-SLAM方法， 新加坡国立大学的Wang等[60]提出一套完整的基于视觉光流和激光SLAM的室内无人机导航系统， 其核心思想是融合四旋翼无人机挂载的IMU导航元件、 朝向向下的相机和激光扫描测距仪数据， 从而鲁棒地估计无人机的速度和位置。 澳大利亚悉尼大学的Bryson[61]与澳大利亚国立大学的Kim[62]提出了基于EKF的惯性和视觉数据相结合的高速飞行器V-SLAM算法。 仿真结果表明， 在飞行轨迹较小且特征观测较连续的状态下， 该V-SLAM算法可使定位误差有效收敛并达到较好的精度。 然而在轨迹较大且接收到的特征观测不够连续的情况下， 算法一致性变得较差， 这主要是由于定位不确定性和误差的累计违反了EKF的线性假设， 因此还需要进一步克服直线和水平飞行过程中缺失特征的问题以及SLAM算法的一致性问题。
此外， 国外一些专家已经注意到无人机与人工智能技术相结合的问题， 如美国卡内基梅隆大学的Gandhi等[63]针对AR Drone2.0无人机， 利用自我监督学习的方法[64]， 分别对安全飞行及撞击得到的图像使用卷积神经网络进行了40 h的训练， 实现了无人机路径规划及无人机避障等任务。 国内对多旋翼无人机V-SLAM的研究同样取得了不少成果。 北京理工大学无人飞行器自主控制研究所围绕无人机复杂环境下的目标探测与自主定位、 协同控制等關键技术开展研究， 设计了垂直起降无人机自主着舰的辅助系统[65]。 北京航空航天大学可靠飞行控制研究组利用搭载单目相机的AR Drone 无人机进行信息融合算法研究， 实现了鲁棒姿态估计等[66]。 上海交通大学邹丹平教授等提出了基于线特征的StructSLAM[67]以及多相机协作的CoSLAM[68]。 香港科技大学沈劭劼教授针对飞行器V-SLAM和IMU融合策略进行研究， 提出了VINS-Mono[46]算法， 以及针对单目深度估计的MVDepthNet[69]算法等。
针对V-SLAM前端， 如数据关联以及初始化等方面， 海军航空工程学院的王希彬等[70]建立了利用相机和惯性传感器组合的无人机V-SLAM算法模型， 提出了一种改进的延迟地表初始化方法， 简化了系统状态和方差阵的结构， 减少了存储和计算量， 但该方法的初始化条件需要依赖经验获取。 王希彬等[71]还针对SLAM数据关联问题， 提出一种基于禁忌搜索的混沌蚁群算法， 利用该算法扩大解的搜索空间， 从而得到了全局最优解。 该方法将SLAM数据关联问题转化为组合优化问题， 有效克服了单纯蚁群算法容易陷入局部极限的缺陷， 提高了数据关联率， 但是运行时间要长于单纯的蚁群算法。 需要说明的是， 上述两种算法均在无人机SLAM仿真环境中验证了其有效性。
针对V-SLAM后端， 如实施三维环境重建及点云匹配等问题， 中国科学院的吕科等[72]提出一种适用于微型无人机的V-SLAM方法， 使用Point-plane ICP点云匹配算法实现视觉自主定位， 利用机载处理器与地面站协同计算， 以满足无人机控制的实时性要求。 该算法将视觉SLAM系统与IMU传感器融合， 进一步提升了自主定位和建图精度， 但由于该算法使用RGB-D相机作为传感器， 受其作用距离限制， 只适合在较小范围的场景中应用， 未来可考虑采用多传感器融合的方式拓展其观测距离并提高其实用性。 清华大学自动化系的陈宝华等[73]提出了一种基于即时稠密三维重构的无人机视觉定位方法， 通过多深度图协同去噪与优化方法构建高质量稠密点云， 并将其与卫星图像匹配以实现无人机定位， 这种基于虚拟视图的地理定位算法， 其定位精度和定位准确性均高于单张图像匹配的方法。 深圳大学的蒙山等[74]提出一种多维几何特征的单目视觉三维环境建模方法， 其思路是将线和面特征引入单目SLAM的三维地图构建过程， 以提高系统三维空间建模的搜索速度和稳定性， 通过点线特征结合以及直线增强的J-Linkage算法提高特征平面的聚类速度和稳定性， 减少系统三维空间表达的冗余信息， 但该方法更适合于点和线特征丰富的环境， 在纹理较弱的场景中效果欠佳。
在V-SLAM系统整体框架方面， 装甲兵工程学院的刘峰等[75]基于ORB-SLAM算法设计搭建自主导航无人机平台， 提出了一种ROS框架下在板运行单目V-SLAM算法的自主无人机方案。 实验表明， 飞行器成功完成了设定的室内导航飞行任务， 导航精度在±0.2 m以内， 共构建5 722个环境地图点， 包含131帧关键帧， 平均每帧图像跟踪约150个特征点。 南京航空航天大学的丛楚滢等[76]提出了一种小型无人机的FastSLAM算法， 并建立了其数学模型， 其思路是将无人机的SLAM问题分解成路径估计与环境地标估计两部分， 采用M个粒子的粒子滤波器（Particle Filter）估计无人机轨迹， 对于地图中每个独立的地标， 则采用一个单独的EKF进行估计。
可以看出， 国内外专家和学者针对V-SLAM系统在多旋翼无人机领域的应用已经做了大量的研究和探索， 越来越多的开源系统成为推动V-SLAM技术日新月异发展的重要因素。 然而， 目前多数研究成果与实验是在较理想的实验室环境下进行的， 在实际工程应用中， 尚有诸多现实问题需要克服， 如缺少纹理等复杂环境中的特征提取、 大场景的三维环境重建、 兼顾精度与时效性的算法、 高速运动状态下算法的稳定性等方面， 对国内外广大研究者和学者来说依然具有较大的挑战性。
4V-SLAM研究热点及发展趋势
4.1V-SLAM与深度学习的结合
深度学习在计算机视觉等领域的应用已经取得了显著效果， 目前越来越多的研究者将深度学习与SLAM相结合（与SLAM前端相结合可处理传感器得到的信息[77]， 与后端相结合可用于几何特征的优化[78]， 与闭环检测相结合进行重定位）， 甚至可以将深度学习应用到语义SLAM， 通过物体识别、 目标检测以及语义分割获得环境中独立的个体， 以更加智能的方式完成指定任务[65]， 如无人机的路径规划及避障等。
Li等[79]将卷积神经网络（CNN）与LSD-SLAM相结合， 利用单目相机构建半稠密三维地图， 首先训练CNN模型实现二维语义分割， 然后实现相邻关键帧的空间一致性对应， 完成二维语义信息到三维建图的转换， 最后利用正则化去除地图外点。 McCormac等[80]利用SLAM系统ElasticFusion[81]得到空间几何信息， 将二维帧对应到全局一致的三维地图， 利用卷积神经网络进行语义分割， 将多视点概率融合成带有语义信息的稠密地图。 Weerasekera等[82]通过训练深度卷积神经网络学习平面法线作为先验信息， 优化重建效果， 克服了三维稠密地图重建过程中地图过于稀疏及需要手工输入先验信息等问题。 DeepMind团队Silver等[83]通过深度神经网络实现了超越先验知识局限性的机器自主监督强化学习， 赋予机器完全自主学习和创新的能力， 使无法提供大量先验信息的训练具备了可行性。
目前深度学习与V-SLAM的结合仍仅限于某个单一模块， 如特征提取、 图像匹配以及回环检测等， 深度学习在对大量数据训练方面具有明显优势[84-85]， 但是其训练时间较长， 所以将其应用于无人机依然具有挑战性。 4.2多传感器信息融合
单一传感器具有局限性， 如仅使用相机的V-SLAM过于依赖环境的纹理信息、 IMU具有误差累计、 GPS室内使用效果较差等， 因此， 多传感器信息融合是V-SLAM研究的发展趋势之一。
Tornqvist等[86]提出一种V-SLAM粒子滤波算法， 将RMAX航空器装载的IMU和相机信息进行融合， 采用粒子滤波器估计航空器姿态， 采用卡尔曼滤波器完成建图。 Min等[87]利用卡尔曼滤波和无迹卡尔曼滤波将无人机GPS数据与三维模型的几何信息和投影点进行融合， 在GPS不可用区域， 采用相机得到的视觉信息， 确保目标模型和非目标区域的高精度定位与环境感知。 Chowdhary等[88]提出了一种利用信任指数更新特征列表的数据库管理算法。 该算法采用Harris[89]角点检测器进行特征定位， 通过特征对应法对数据库进行更新， 并通过EKF将相机、 IMU和声呐传感器相融合， 以测量和估计飞行器状态。 Huh等[90]提出了一种标定相机和激光传感器的方法以及基于EKF的实时V-SLAM导航算法， 将相机、 激光扫描仪和IMU融合用于无人机姿态估计和建图。
Yang等[91]提出一种实时单目稠密地图构建算法， 其中无人机挂载的传感器为单目相机和IMU， 构建的全局图可用于无人机避障和导航。 Urzua等[92]提出一种无GPS定位信息状态下的无人机状态估计算法， 通过EKF融合IMU、 相机、 二维激光雷达传感器信息得到精准定位。
新型传感器的不断涌现为多传感器信息融合提供了新的机遇和挑战， 同时也为V-SLAM在多旋翼无人机领域的应用提供了更多智能和实用选择。 如苏黎世大学的Davide Scaramuzza实验室于2016年首次在四旋翼无人机上使用了动态视觉传感器Event Camera。 该传感器较传统相机最大不同点是， 其记录的不是周围环境的单一场景而是场景之间的变化， 在无人机状态估计以及躲避移动物体等任务中的表现明显优于传统相机。
4.3多无人机协同中的V-SLAM
随着无人机技术的飞速发展， 多架无人机协同工作以其特有的优势[93-97]， 打破了单架无人机的局限性， 成为无人机技术发展的重要趋势之一。 如何将V-SLAM应用到多无人机协同工作场景下成为研究的重要方向之一。
Riazuelo等[98]描述了一种基于分布式云架构的协同跟踪和建图的V-SLAM系统， 将计算量较大的地图优化及存储过程放到云端进行。 该系统提供地图数据接口， 确保每个载体均可独立建图， 已存储的地图可被别的载体重复使用， 也可通过无线连接实现在线融合， 图4描述了在线估计得到的A周围地图与存储的B周围地图相融合得到更完整地图的过程。 另外， 单个载体在检测到遮挡时， 可根据评估将多个地图融合在一起， 进一步提升地图的完整度和准确性。
为了克服多机器人协同工作中网络延迟以及带宽限制的问题， Cieslewski等[99]提出一种分布式后端并发的构图方法， 通过版本控制系统允许多机器人并发地对地图数据访问， 使用异步更新的方式在多机器人之间共享历史数据。 随后， 为降低多机器人之间数据传输的复杂度， Cieslewski等[100]提出了一种高效数据关联的方法， 将全图描述符和位姿估计所需数据精准地发送给单个机器人， 对位姿图进行分布式优化， 使机器人之间的数据关联及线性扩展更加紧凑。
显然， 多无人机协同环境下的V-SLAM系统具有更好的容错能力， 未来若能够有效解决多机之间的网络延迟、 带宽限制， 以及数据传输复杂度等问题， 将可以使地图融合、 任务规划与调度、 通信拓扑等任务更加高效， 鲁棒性更好。
4.4动态及复杂环境中V-SLAM
传统SLAM算法研究的场景多为静止状态， 而实际应用多为动态场景， 如存在由于光照等外界环境变化引起的纹理特征差异， 以及移动物体的干扰等。
Tan等[101]提出一种单目V-SLAM在动态环境下工作的算法， 通过自适应随机抽样一致算法（Random Sample Consensus， RANSAC）去除外点， 确保在较复杂的环境中准确地估计出相机位姿。 在有较大场景变化的区域， 该算法使用在线关键帧表示和更新方法， 达到自适应周围动态环境的效果。 Yang等[102]在缺少纹理信息的情况下使用单目实时语义SLAM算法， 基于TUM数据集生成稠密语义三维模型， 存在的像素深度误差仅为6.2 cm， 指出对场景的理解可以改进状态估计和稠密地图构建的精度。 Caccamo等[103]提出了一种同时对场景中的静态区域及动态物体进行三维重建的方法。
针对飞行器在超高层建筑之间或幽深峡谷等环境中飞行时， 存在传统状态估计方法效果较差或者无法使用的问题， Qiu等[104]将单目鱼眼相机和IMU两者的测量值与3D模型相结合， 在二维图像到三维模型的转换过程中使用边缘对齐的方法， 有效适应照明条件和相机特性的强烈变化。 Fehr等[105]提出了一种基于扩展TSDF的方法， 可对环境中动态目标进行三维重建并细化静态地图。
4.5讨论
（1） 現阶段视觉SLAM系统， 在面对真实工作条件下的复杂场景时（如相机的快速运动和大角度旋转、 低纹理非结构化的自然场景及复杂的光照条件， 亦或是大规模不确定的自然环境等）， 如何平衡SLAM系统实时性和准确性， 确保系统的高鲁棒性和适应性， 提升故障的自我检测和修复能力， 仍有待探索。
（2） 多传感器间的优势互补可在很大程度上提高SLAM系统的综合能力。 然而， 成熟的SLAM系统若集成多种传感器， 一方面要考虑成本和平台负载能力， 另一方面则要考虑因不同传感器具有的不同数据类型、 误差模型、 时间戳和坐标系表示等导致的计算量过大问题。 如何应对不同传感器间的信息融合， 尽早地实现多传感器下的微型化和低成本化， 将是未来的一个研究热点。 （3） 深度学习已经改进或应用于视觉SLAM的某一部分， 如图像特征提取与匹配以及回环检测等。 由于人类识别物体运动的基础是感知而非图像特征， 以类人化的发展进程去展望未来， 用深度学习来重建并理解场景， 必将是未来SLAM的一个发展方向， 而端到端的学习方法是否会占据未来的主导地位仍是一个开放性话题。
（4） SLAM是軟硬件相结合的复杂系统， 软件算法的突破， 离不开硬件基础的革新， 两者相辅相成。 未来， 随着软硬件技术的同步创新， SLAM将不仅存在于高性能计算平台， 智能手机、 VR眼镜和各类嵌入式平台（如无人机、 移动小车）都将是其的载体。 随着大流量、 低延时的5G网络兴起， SLAM算法的突破， 将取决于网络的覆盖能力是否健全和系统算力是否得到根本性提升。
此外， 单目V-SLAM也具有自身的不足， 其最大的问题就是无法直接得到深度信息， 必须通过移动相机视角并借助对极几何和三角测量等方法来间接获得深度信息。 双目相机和RGB-D相机的出现， 大幅简化了V-SLAM中的深度计算部分， 让系统鲁棒性更好。 基于双目相机和RGB-D相机的V-SLAM， 均已经在无人机避障和机器人等领域获得了应用， 如大疆精灵4 Pro和Mavic系列产品。 这两种SLAM系统， 可参见文献[106-108]。
5结束语
近年来， 多旋翼无人机软硬件平台均取得了突破性的研究成果， 在军事和民用领域发挥着越来越重要的作用， 单目相机等视觉传感器的发展和普及也促使V-SLAM迅猛发展。 然而目前多旋翼无人机依然存在着负载能力有限、 应用环境复杂、 飞行姿态不够稳定等诸多问题， 使得V-SLAM在无人机的实际应用中还有许多理论以及工程问题尚未解决。
V-SLAM系统为顺应多旋翼无人机轻量化及小型化的发展趋势， 为解决机载传感器及计算处理单元等硬件设备性能受限等问题， 必须提高系统的鲁棒性和计算能力， 同时降低质量和能耗。 在未来的研究中， 只有能高效应对各种复杂情况的V-SLAM系统才能够满足现实应用的需求， 也才会成为国内外专家学者的研究重点和研究热点。
参考文献：
[1] 夏进， 姜子木， 王成华， 等. 基于Matlab的无人机通信信道模型的设计[J]. 航空兵器， 2019， 26（5）： 69-76.
Xia Jin， Jiang Zimu， Wang Chenghua， et al. Design of UAV Communication Channel Model Based on Matlab[J]. Aero Weaponry， 2019， 26（5）： 69-76. （in Chinese）
[2] 雷瑶， 林容钊， 吴智泉. 小型多旋翼飞行器悬停效率分析[J]. 兵工学报， 2019， 40（6）： 1323-1328.
Lei Yao， Lin Rongzhao， Wu Zhiquan. Experimental Study on the Aerodynamic Arrangement of Small MultiRotor Aircraft with High Capacity Payload[J]. Acta Armamentarii， 2019， 40（6）： 1323-1328. （in Chinese）
[3] 杜梓冰， 张立丰， 陈敬志， 等. 有人/无人机协同作战演示验证试飞关键技术[J]. 航空兵器， 2019， 26（4）： 75-81.
Du Zibing， Zhang Lifeng， Chen Jingzhi， et al. Critical Technologies of Demonstration Flight Test of Cooperative Operation for Manned/Unmanned Aerial Vehicles[J]. Aero Weaponry， 2019， 26（4）： 75-81. （in Chinese）
[4] 刘浩敏， 章国锋， 鲍虎军. 基于单目视觉的同时定位与地图构建方法综述[J]. 计算机辅助设计与图形学学报， 2016， 28（6）： 855-868.
Liu Haomin， Zhang Guofeng， Bao Hujun. A Survey of Monocular Simultaneous Localization and Mapping[J]. Journal of ComputerAided Design & Computer Graphics， 2016， 28（6）： 855-868. （in Chinese）
[5] Smith R C， Cheeseman P. On the Representation and Estimation of Spatial Uncertainty[J]. The International Journal of Robotics Research， 1987， 5（4）： 56-68.
[6] Cadena C， Carlone L， Carrillo H， et al. Past， Present， and Future of Simultaneous Localization and Mapping： Toward the RobustPerception Age[J]. IEEE Transactions on Robotics， 2016， 32（6）： 1309-1332.
[7] DurrantWhyte H， Bailey T. Simultaneous Localization and Mapping： Part I [J]. IEEE Robotics & Automation Magazine， 2006， 13（2）： 99-110. [8] Bailey T， DurrantWhyte H. Simultaneous Localization and Mapping （SLAM）： Part II[J]. IEEE Robotics & Automation Magazine， 2006， 13（3）： 108-117.
[9] Aulinas J， Petillot Y R， Salvi J， et al. The SLAM Problem： A Survey[C]∥ The 11th International Conference of the Catalan Association for Artificial Intelligence （CCIA）， Spain， 2008， 184（1）： 363-371.
[10] 何俊学， 李战明. 基于视觉的同时定位与地图构建方法综述[J]. 计算机应用研究， 2010， 27（8）： 2839-2843.
He Junxue， Li Zhanming. Survey of VisionBased Approach to Simultaneous Localization and Mapping [J]. Application Research of Computer， 2010， 27（8）： 2839-2843. （in Chinese）
[11] Huang S D， Dissanayake G. A Critique of Current Developments in Simultaneous Localization and Mapping[J]. International Journal of Advanced Robotic Systems， 2016， 13（5）： 1-13.
[12] Strasdat H， Montiel J M M， Davison A J， et al. Editors Choice Article： Visual SLAM： Why Filter[J]. Image and Vision Computing， 2012， 30（2）： 65-77.
[13] 梁明杰， 闵华清， 罗荣华. 基于图优化的同时定位与地图创建综述[J]. 机器人， 2013， 35（4）： 500-512.
Liang Mingjie， Min Huaqing， Luo Ronghua. GraphBased SLAM： A Survey[J]. Robot， 2013， 35（4）： 500-512. （in Chinese）
[14] 趙洋， 刘国良， 田国会， 等. 基于深度学习的视觉SLAM综述[J]. 机器人， 2017， 39（6）： 889-896.
Zhao Yang， Liu Guoliang， Tian Guohui， et al. A Survey of Visual SLAM Based on Deep Learning[J]. Robot， 2017， 39（6）： 889-896. （in Chinese）
[15] 李少朋， 张涛. 深度学习在视觉SLAM中应用综述[J]. 空间控制技术与应用， 2019， 45（2）： 1-10.
Li Shaopeng， Zhang Tao. A Survey of Deep Learning Application in Visual SLAM[J]. Aerospace Control and Application， 2019， 45（2）： 1-10. （in Chinese）
[16] Fuentespacheco J， Ruizascencio J， Rendonmancha J M， et al. Visual Simultaneous Localization and Mapping： A Survey[J]. Artificial Intelligence Review， 2015， 43（1）： 55-81.
[17] Huang B C， Zhao J， Liu J B. A Survey of Simultaneous Localization and Mapping [EB/OL]. （2019-10-12）[2020-01-14]. https：∥arxiv.org/abs/1909.05214.
[18] 权美香， 朴松昊， 李国. 视觉SLAM综述[J]. 智能系统学报， 2016， 11（6）： 768-776.
Quan Meixiang， Piao Songhao， Li Guo. An Overview of Visual SLAM[J]. CAAI Transaction on Intelligent Systems， 2016， 11（6）： 768-776. （in Chinese）
[19] Huang G. VisualInertial Navigation： A Concise Review[C]∥ International Conference on Robotics and Automation（ICRA）， Montreal， Canada， 2019： 9572-9582.
[20] Huang S. A Review of Optimization Strategies Used in Simultaneous Localization and Mapping[J]. Journal of Control and Decision， 2019， 6（1）： 61-74. [21] Ros G， Sappa A， Ponsa D， et al. Visual SLAM for Driver Less Cars： A Brief Survey[C]∥Proceedings of IEEE Workshop on Navigation， Perception， Accurate Positioning and Mapping for Intelligent Vehicles， Los Alamitos， 2012： 1-6.
[22] 吴显亮， 石宗英， 钟宜生. 无人机视觉导航研究综述[J]. 系统仿真学报， 2010， 22（1）： 62-65.
Wu Xianliang， Shi Zongying， Zhong Yisheng. An Overview of VisionBased UAV Navigation[J]. Journal of System Simulation， 2010， 22（1）： 62-65. （in Chinese）
[23] 王希彬， 赵国荣， 潘爽. 无人机视觉同时定位与地图创建技术综述[C]∥第30届中国控制会议， 烟台， 2011： 3913-3918.
Wang Xibin， Zhao Guorong， Pan Shuang. Overview on Simultaneous Localization and Mapping for Uninhabited Aerial Vehicle Vision[C]∥Proceedings of the 30th Chinese Control Conference， Yantai， China， 2011： 3913-3918. （in Chinese）
[24] AIKaff A， Gomez D M， Garcia F， et al. Survey of Computer Vision Algorithms and Applications for Unmanned Aerial Vehicles[J]. Expert System with Applications， 2018， 92： 447-463.
[25] Thrun S， Burard W， Fox D. Probabilistic Robotics[M]. New York： The MIT Press， 2005： 245-248.
[26] 高翔， 張涛， 刘毅. 视觉SLAM十四讲： 从理论到实践[M]. 北京： 电子工业出版社， 2017： 105-109.
Gao Xiang， Zhang Tao， Liu Yi. 14 Lessons of Visual SLAM： From Theory to Practice[M]. Beijing： Publishing House of Electronics Industry， 2017： 105-109. （in Chinese）
[27] Davison A J， Reid I， Molton N D， et al. MonoSLAM： RealTime Single Camera SLAM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（6）： 1052-1067.
[28] Gee A P， Chekhlov D， Calway A， et al. Discovering Higher Level Structure in Visual SLAM[J]. IEEE Transactions on Robotics， 2008， 24（5）： 980-990.
[29] Montemerlo M， Thrun S， Koller D， et al. FastSLAM： A Factored Solution to the Simultaneous Localization and Mapping Problem[C]∥The Eighteenth National Conference on Artificial Intelligence and Fourteenth Conference on Innovative Applications （AAAI/IAAI）， Edmonton， Canada， 2002： 593-598.
[30] Doucet A， Freitas N， Murphy K， et al. RaoBlackwellised Particle Filtering for Dynamic Bayesian Networks[C]∥ Proceedings of the Sixteenth Conference on Uncertainty in Artificial Intelligence， 2000： 176-183 .
[31] Klein G， Murray D. Parallel Tracking and Mapping for Small AR Workspaces[C]∥Proceedings of 6th IEEE and ACM International Symposium on Mixed and Augmented Reality， Los Alamitos， 2007： 225-234.
[32] Klein G， Murray D. Parallel Tracking and Mapping on a Camera Phone[C]∥Proceedings of 8th IEEE International Symposium on Mixed and Augmented Reality， Orlando， USA， 2009： 83-86. [33] Murartal R， Montiel J M， Tardos J D， et al. ORBSLAM： A Versatile and Accurate Monocular SLAM System[J]. IEEE Transactions on Robotics， 2015， 31（5）： 1147-1163.
[34] Murartal R， Tardos J D. ORBSLAM2： An OpenSource SLAM System for Monocular， Stereo and RGBD Cameras[J]. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.
[35] GalvezLopez D， Tardos J D. Bags of Binary Words for Fast Place Recognition in Image Sequences[J]. IEEE Transactions on Robotics， 2012， 28（5）： 1188-1197.
[36] Strasdat H， Montiel J M， Davison A J， et al. Scale DriftAware Large Scale Monocular SLAM[C]∥Robotics： Science and Systems （RSS）， Zaragoza， Spain， 2010.
[37] Strasdat H， Davison A J， Montiel J M， et al. Double Window Optimisation for Constant Time Visual SLAM[C]∥IEEE International Conference on Computer Vision （ICCV）， Barcelona， Spain， 2011： 2352-2359.
[38] Mei C， Sibley G， Newman P， et al. Closing Loops Without Places[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Taipei， China， 2010： 3738-3744.
[39] Bokovoy A， Yakovlev K. Original LoopClosure Detection Algorithm for Monocular vSLAM[C]∥ International Conference on Analysis of Images， Social Networks and Texts， 2017： 210-220.
[40] Ling Y G， Shen S J. Building Maps for Autonomous Navigation Using Sparse Visual SLAM Features[C]∥ IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Vancouver， Canada， 2017： 1374-1381.
[41] Engel J， Schops T， Cremers D， et al. LSDSLAM： LargeScale Direct Monocular SLAM[C]∥European Conference on Computer Vision， 2014： 834-849.
[42] Von Stumberg L， Usenko V， Eegel J， et al. From Monocular SLAM to Autonomous Drone Exploration[C]∥ European Conference on Mobile Robots， Paris， France， 2017： 1-8.
[43] Forster C， Pizzoli M， Scaramuzza D. SVO： Fast SemiDirect Monocular Visual Odometry[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 15-22.
[44] Forster C， Faessler M， Fontana F， et al. Continuous OnBoard MonocularVisionBased Elevation Mapping Applied to Autonomous Landing of Micro Aerial Vehicles[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 111-118.
[45] Pizzoli M， Forster C， Scaramuzza D. Remode： Probabilistic， Monocular Dense Reconstruction in Real Time[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 2609-2616.
[46] Qin T， Li P L， Shen S J. VINSMono： A Robust and Versatile Monocular VisualInertial State Estimator[J]. IEEE Transactions on Robotics， 2018， 34（4）： 1004-1020. [47] Lynen S， Achtelik M W， Weiss S， et al. A Robust and Modular MultiSensor Fusion Approach Applied to MAV Navigation[C]∥ IEEE/RSJ International Conference on Intelligent Robots and Systems， Tokyo， Japan， 2013： 3923-3929.
[48] Forster C， Carlone L， Dellaert F， et al. OnManifold Preintegration for RealTime VisualInertial Odometry[J]. IEEE Transactions on Robotics， 2015， 33（1）：1-21.
[49] Kaess M， Johannsson H， Robberts R， et al. iSAM2： Incremental Smoothing and Mapping Using the Bayes Tree[J]. The International Journal of Robotics Research， 2012， 31（2）： 216-235.
[50] Mourikis A， Roumeliotis S. A MultiState Constraint Kalman Filter for VisionAided Inertial Navigation[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， 2007.
[51] Jeffrey D， Davide S. A Benchmark Comparison of Monocular VisualInertial Odometry Algorithms for Flying Robots[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， Brisbane， Australia， 2018： 2502-2509.
[52] Bloesch M， Omari S， Hutter M， et al. Robust Visual Inertial Odometry Using a Direct EKFBased Approach[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems， Hamburg， Germany， 2015： 298-304.
[53] Engel J， Koltun V， Cremers D. Direct Sparse Odometry[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625.
[54] Shen S， Mulgaokar Y， Michael N， et al. MultiSensor Fusion for Robust Autonomous Flight in Indoor and Outdoor Environments with a Rotorcraft MAV[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 4974-4981.
[55] Mueller M W， Hamer M， Andrea R. Fusing UltraWideband Range Measurements with Accelerometers and Rate Gyroscopes for Quadrocopter State Estimation [C]∥IEEE International Conference on Robotics and Automation（ICRA）， Seattle， USA， 2015： 1730-1736.
[56] Engel J， Sturm J， Cremers D. CameraBased Navigation of a LowCost Quadrocopter[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）， VilamouraAlgarve， Portugal， 2012： 2815-2821.
[57] Nemra A， Aouf N. Robust Cooperative UAV Visual SLAM[C]∥IEEE 9th International Conference on Cybernetic Intelligent Systems （CIS）， Reading， UK， 2010： 1-6.
[58] Loianno G， Thomas J， Kumar V. Cooperative Localization and Mapping of MAVs Using RGBD Sensors[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 4021-4028. [59] Piasco N， Marzat J， Sanfourche M， et al. Collaborative Localization and Formation Flying Using Distributed StereoVision[C]∥IEEE International Conference on Robotics and Automation（ICRA）， Stockholm， Sweden， 2016： 1202-1207.
[60] Wang F， Cui J Q， Chen B M， et al. A Comprehensive UAV Indoor Navigation System Based on Vision Optical Flow and Laser FastSLAM[J]. Acta Automatica Sinica， 2013， 39（11）： 1889-1900.
[61] Bryson M， Sukkarieh S. Building a Robust Implementation of BearingOnly Inertial SLAM for a UAV[J]. Journal of Field Robotics， 2007， 24（1-2）： 113-143.
[62] Kim J， Sukkarieh S. RealTime Implementation of Airborne InertialSLAM[J]. Robotics & Autonomous Systems， 2007， 55（1）： 62-71.
[63] Gandhi D， Pinto L， Gupta A， et al. Learning to Fly by Crashing[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS），Vancouver， Canada， 2017： 3948-3955.
[64] Pinto L， Gupta A. Supersizing SelfSupervision： Learning to Grasp from 50k Tries and 700 Robot Hours[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Stockholm， Sweden， 2016： 1544-1551.
[65] 王辉， 林德福， 何绍溟， 等. 垂直起降无人机自主着舰的辅助系统： CN201620633396.8 [P]. 2016-12-07.
Wang Hui， Lin Defu， He Shaoming， et al. Vertical TakeOff and Landing UAV Autonomous Auxiliary System： CN201620633396.8 [P]. 2016-12-07. （in Chinese）
[66] Fu Q， Quan Q， Cai K Y， et al. Robust Pose Estimation for Multirotor UAVs Using OffBoard Monocular Vision [J]. IEEE Transactions on Industrial Electronics， 2017， 64 （10）： 7942-7951.
[67] Zhou H Z， Zou D P， Pei L， et al. StructSLAM： Visual SLAM with Building Structure Lines [J]. IEEE Transactions on Vehicular Technology， 2015， 64（4）： 1364-1375.
[68] Zou D P， Tan P. CoSLAM： Collaborative Visual SLAM in Dynamic Environments [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， Italy， 2013， 35（2）： 354-366.
[69] Wang K X， Shen S J. MVDepthNet： RealTime Multiview Depth Estimation Neural Network[C]∥International Conference on 3D Vision （3DV）， Verona， Italy， 2018： 248-257.
[70] 王希彬， 趙国荣， 寇昆湖. 无人机视觉SLAM算法及仿真[J]. 红外与激光工程， 2012， 41（6）： 1653-1658.
Wang Xibin， Zhao Guorong， Kou Kunhu. UAV Vision SLAM Algorithm and Simulation[J]. Infrared and Laser Engineering， 2012， 41（6）： 1653-1658. （in Chinese）
[71] 王希彬， 赵国荣， 李海君. 基于禁忌搜索的混沌蚁群算法在SLAM数据关联中的应用[J]. 北京理工大学学报， 2012， 32（7）： 725-728.
Wang Xibin， Zhao Guorong， Li Haijun. Chaos Ant Colony Algorithm Based on Tabu Search for Data Association of SLAM[J]. Transactions of Beijing Institute of Technology， 2012， 32（7）： 725-728. （in Chinese） [72] 吕科， 施泽南， 李一鹏. 微型无人机视觉定位与环境建模研究[J]. 电子科技大学学报， 2017， 46（3）： 543-548.
Lü Ke， Shi Zenan， Li Yipeng. Visual Localization and Environment Mapping for Micro Aerial Vehicles[J]. Journal of University of Electronic Science and Technology of China， 2017， 46（3）： 543-548. （in Chinese）
[73] 陈宝華， 邓磊， 陈志祥， 等. 基于即时稠密三维重构的无人机视觉定位[J]. 电子学报， 2017， 45（6）： 1294-1300.
Chen Baohua， Deng Lei， Chen Zhixiang， et al. Instant Dense 3D ReconstructionBased UAV Vision Localization[J]. Acta Electronica Sinica， 2017， 45（6）： 1294-1300. （in Chinese）
[74] 蒙山， 唐文名. 单目SLAM直线匹配增强平面发现方法[J]. 北京航空航天大学学报， 2017， 23（4）： 660-666.
Meng Shan， Tang Wenming. Monocular SLAM Plane Discovery Method Enhanced by Line Segments Matching[J]. Journal of Beijing University of Aeronautics and Astronautics， 2017， 23（4）： 660-666. （in Chinese）
[75] 刘峰， 吕强， 郭峰， 等. 基于ROS的自主无人VSLAM研究[J]. 现代防御技术， 2016， 44（6）： 61-66.
Liu Feng， Lü Qiang， Guo Feng， et al. VSLAM of Autonomous UAV Based on ROS[J]. Modern Defense Technology， 2016， 44（6）： 61-66. （in Chinese）
[76] 丛楚滢， 王从庆， 丁臻极， 等. 一种小型无人机的FastSLAM算法[J]. 华中科技大学学报： 自然科学版， 2015， 43（S1）： 420-427.
Cong Chuying， Wang Congqing， Ding Zhenji， et al. A Fast SLAM Algorithm for Small Unmanned Aerial Vehicle[J]. Journal of Huazhong University of Science and Technology： Natural Science Edition， 2015， 43（S1）： 420-427. （in Chinese）
[77] Tateno K， Tombari F， Laina I， et al. CNNSLAM： RealTime Dense Monocular SLAM with Learned Depth Prediction[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， USA， 2017： 6243-6252.
[78] Zhou T H， Brown M， Snavely N， et al. Unsupervised Learning of Depth and EgoMotion from Video[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， USA， 2017： 1851-1858.
[79] Li X P， Belaroussi R. SemiDense 3D Semantic Mapping from Monocular SLAM[EB/OL]. （2016-11-13）[2020-01-14]. https：∥arxiv.org/pdf/1611.04-144.pdf.
[80] McCormac J，Handa A， Davison A， et al. SemanticFusion： Dense 3D Semantic Mapping with Convolutional Neural Networks[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Singapore， 2017： 4628-4635.
[81] Whelan T， Leutenegger S， Salasmoreno R F， et al. ElasticFusion： Dense SLAM Without a Pose Graph[C]∥Robotics： Science and Systems （RSS）， Rome， Italy， 2015.
[82] Weerasekera C S， Latif Y， Garg R， et al. Dense Monocular Reconstruction Using Surface Normals[C]∥ IEEE International Conference on Robotics and Automation（ICRA）， Singapore， 2017： 2524-2531. [83] Silver D， Schrittwieser J， Simonyan K， et al. Mastering the Game of Go Without Human Knowledge[J]. Nature， 2017， 550（7676）： 354-359.
[84] Mnih V， Kavukcuoglu K， Silver D， et al. HumanLevel Control Through Deep Reinforcement Learning[J]. Nature， 2015， 518（7540）： 529.
[85] Krizhevsky A， Sutskever I， Hinton G. ImageNet Classification with Deep Convolutional Neural Networks[C]∥International Conference on Neutral Information Processing Systems （NIPS）， Lake Tahoe， USA， 2012： 1097-1105.
[86] Tornqvist D， Schon T B， Karlsson R， et al. Particle Filter SLAM with High Dimensional Vehicle Model[J]. Journal of Intelligent & Robot System， 2009（4-5）： 249-266.
[87] Min J， Jeong Y， Kweon I S. Robust Visual Lockon and Simultaneous Localization for an Unmanned Aerial Vehicle[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Taipei， China， 2010： 93-100.
[88] Chowdhary G， Johnson E N， Magree D， et al. GPSDenied Indoor and Outdoor Monocular Vision Aided Navigation and Control of Unmanned Aircraft[J]. Journal of Field Robotics， 2013， 30（3）： 415-438.
[89] Harris C， Stephens M. A Combined Corner and Edge Detector[C]∥Alvey Vision Conference， Manchester， 1988： 147-151.
[90] Huh S， Shim D H， Kim J. Integrated Navigation Sys tem Using Camera and Gimbaled Laser Scanner for Indoor and Outdoor Autonomous Flight of UAVs[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Tokyo， Japan， 2013： 3158-3163.
[91] Yang Z F， Gao F， Shen S J. RealTime Monocular Dense Mapping on Aerial Robots Using VisualInertial Fusion[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Singapore， 2017： 4552-4559.
[92] Urzua S， Munguia R， Grau A， et al. VisionBased SLAM System for MAVs in GPSDenied Environments[J]. International Journal of Micro Air Vehicles， 2017， 9（4）： 1-14.
[93] 薛瑞彬， 宋建梅， 張民强. 具有时延及联合连通拓扑的多飞行器分布式协同编队飞行控制研究[J]. 兵工学报， 2015， 36（3）： 492-502.
Xue Ruibin， Song Jianmei， Zhang Minqiang. Research on Distributed MultiVehicle Coordinated Formation Flight Control with Coupling TimeDelay and JointlyConnected Topologies[J]. Acta Armamentarii， 2015， 36（3）： 492-502. （in Chinese）
[94] 周思全， 化永朝， 董希旺， 等. 面向空地协同作战的无人机-无人车异构时变编队跟踪控制[J]. 航空兵器， 2019， 26（4）： 54-59.
Zhou Siquan， Hua Yongchao， Dong Xiwang， et al. AirGround Time Varying Formation Tracking Control for Heterogeneous UAVUGV Swarm System[J]. Aero Weaponry， 2019， 26（4）： 54-59. （in Chinese） [95] 张梦颖， 王蒙一， 王晓东， 等. 基于改进合同网的无人机群协同实时任务分配问题研究[J]. 航空兵器， 2019， 26（4）： 38-46.
Zhang Mengying， Wang Mengyi， Wang Xiaodong， et al. Cooperative RealTime Task Assignment of UAV Group Based on Improved Contract Net[J]. Aero Weaponry， 2019， 26（4）： 38-46. （in Chinese）
[96] 谢启龙， 宋龙， 鲁浩， 等. 协同导航技术研究综述[J]. 航空兵器， 2019， 26（4）： 23-30.
Xie Qilong， Song Long， Lu Hao， et al. Review of Collaborative Navigation Technology[J]. Aero Weaponry， 2019， 26（4）： 23-30. （in Chinese）
[97] 岳源， 屈高敏. 分布式多无人机协同侦察目标分配研究[J]. 兵器装备工程学报， 2018（3）： 57-61， 82.
Yue Yuan， Qu Gaomin. Research on Distributed Multi UAV Cooperative Reconnaissance Task Allocation[J]. Journal of Ordnance Equipment Engineering， 2018（3）： 57-61， 82. （in Chinese）
[98] Riazuelo L， Civera J， Montiel J M. C2TAM： A Cloud Framework for Cooperative Tracking and Mapping[J]. Robotics and Autonomous Systems， 2014， 62（4）： 401-413.
[99] Cieslewski T， Lynen S， Dymczyk M， et al. Map APIScalable Decentralized Map Building for Robots[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 6241-6247.
[100] Cieslewski T， Choudhary S， Scaramuzz D， et al. DataEfficient Decentralized Visual SLAM[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Brisbane， Australia， 2018.
[101] Tan W， Liu H M， Dong Z L， et al. Robust Monocular SLAM in Dynamic Environments[C]∥IEEE International Symposium on Mixed and Augmented Reality， Adelaide， Australia， 2013： 209-218.
[102] Yang S C， Song Y， Kaess M， et al. Popup SLAM： Semantic Monocular Plane SLAM for LowTexture Environments[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Daejeon， Korea， 2016： 1222-1229.
[103] Caccamo S， Ataercansizoglu E， Taguchi Y. Joint 3D Reconstruction of a Static Scene and Moving Objects[C]∥ International Conference on 3D Vision （3DV）， Qingdao， China， 2017： 677-685.
[104] Qiu K J， Liu T B， Shen S J. ModelBased Global Localization for Aerial Robots Using Edge Alignment[J]. IEEE Robotics and Automation Letter， 2017， 2（3）： 1256-1263.
[105] Fehr M， Furrer F， Dryanovski I， et al. TSDFBased Change Detection for Consistent LongTerm Dense Reconstruction and Dynamic Object Discovery[C]∥ IEEE International Conference on Robotics and Automation（ICRA）， Singapore， 2017： 5237-524.
[106] 王旒軍， 陈家斌， 余欢， 等. RGB-D SLAM综述[J].导航定位与授时， 2017， 4 （6）： 9-18.
Wang Liujun， Chen Jiabin， Yu Huan， et al. An Overview of RGBD SLAM[J]. Navigation Positioning and Timing， 2017， 4 （6）： 9-18. （in Chinese） [107] Jurgen S， Engelhard N， Endres F， et al. A Benchmark for the Evaluation of RGBD SLAM Systems[C]∥2012 IEEE/RSJ International Conference on Intelligent Robots and Systems， Vilamoura， Portugal， 2012.
[108] Cvisic I， Cesic J， Markovic I， et al. SOFTSLAM： Computationally Efficient Stereo Visual Simultaneous Localization and Mapping for Autonomous Unmanned Aerial Vehicles[J]. Journal of Field Robotics， 2018， 35（4）： 578-595.
Abstract： The visual simultaneous localization and mapping （VSLAM） is an effective approach to solve the problem encountered in the works of multirotor unmanned aerial vehicle （UAV） under unknown environment， which is very useful for the location， navigation and path planning of multirotor UAV. The main research achievements and the latest progresses of monocular VSLAM for multirotor UAV are collected. Firstly， the classification and history of VSLAM are briefly described， the principle and characteristics of several representative monocular VSLAM methods based on filtering， optimization， direct method and IMU fusion are summarized. Secondly， the feasibilities of monocular VSLAM for multirotor UAV are analyzed， and the overseas and domestic research teams of monocular VSLAM for multirotor UAV are also summarized. Finally， several promising research directions for further investigation are discussed.
Key words： multirotor UAV; visual simultaneous localization and mapping; monocular vision; optimization; filter; IMU
转载注明来源:https://www.xzbu.com/1/view-15283954.htm
