应用

我们的研究成果在视觉伺服、智能移动机器人、自动驾驶和多机器人调度等实际项目中得到了应用。

视觉伺服

hpp 基于视觉伺服的激光切割
在实际的工业生产过程中，本项目针对激光切割任务中产线环境有变化，从而影响精确切割的问题，设计了基于视觉伺服的激光切割控制算法。本项目针对宝钢带钢激光切割产线柔性化改造，采用视觉伺服实现了预设切割轨迹的精确跟踪，最终控制机械臂在执行激光切割任务过程中能够实现更高的伺服精度，有效解决了生产过程的应用难题。
hpp 基于视觉伺服的装配控制
在生产线和其他应用场景中，机械臂的移动装配是其执行任务过程的关键应用，本项目基于视觉算法技术，判断目标当前空间位姿，并根据视觉伺服技术引导机械臂实现抓取任务，然后根据目标物体理想位置、姿态进行放置，最终完成生产线流程的装配控制。本项目将视觉伺服技术应用于实际产线的装配流程，提高了装配效率和装配精度。
hpp 机械臂柔性选矸系统
本项目针对传送带上运送的矸石和煤，完成煤矸识别，采用拨取方式实现动态物体柔性分选。在项目的具体场景中，生产线上的传送带以一定速度移动的传送带运送着煤矸混合体，其大负载（40-200kg）使得传统的抓取策略失效，而任务安全性要迫使分选矸石时要绕开煤，动态障碍物引入复杂时空与几何约束。主要指标有矸石识别率、系统选矸率等。本项目提取视觉几何信息规划初始时间最优轨迹，构建时空-几何联合约束流形映射，设计多约束、多目标下联合优化算法。

智能移动机器人

hpp 基于RGBD相机机器人的三维重建
用低成本的RGBD相机实现实时的环境稠密建模面临移动平台计算资源有限、纹理缺失和相机快速运动下的模糊问题等挑战。针对以上问题，我们提出了针对局部环境和全局环境的稠密三维重建算法。算法利用RGBD定位算法的结果作为点云ICP匹配的初值，提高在几何纹理缺失环境下的鲁棒性，利用GPU并行机制和点云网格化机制提高计算效率。我们的算法最终实现了实时的局部稠密环境建模和全局一致的高精度全局稠密环境建模。
hpp 基于VSLAM的清扫机器人
相较于激光雷达，相机具有更低的成本以及能提供更丰富的传感器信息。但光照变化和运动模糊等实际挑战常造成vslam系统在实际运行中出现问题，比如图像特征稀疏，特征误匹配等。我们在清扫机器人上基于双目相机实现机器人对自身位姿和周围环境进行高精度的估计。视频中是我们在不同光照情况下的实验效果，可以看出，在光线非常昏暗的条件下，我们的算法依然可以进行有效的特征提取，正常工作。
hpp hpp 香港国际机场无人拖车
本系统针对大场景、特征稀疏和半开放、光照变化剧烈对定位和感知带来的挑战，集成了基于深度学习的定位和建图算法，和基于多传感器融合的感知算法，以提升对定位和建图的精度和环境感知的鲁棒性。我们使用2D激光雷达，3D激光雷达，IMU，轮式编码器，前视和后视相机，GPS，控制器等构建了基于深度学习的多传感器融合的机器人定位、建图和感知系统。同时，我们设计了自主运动控制系统以实现拖车无人化高精度运行。
hpp hpp 智能割草机的室外定位感知
野外草地环境存在特征稀疏、运动扰动大等问题，对移动机器人的定位和建图带来较大挑战。针对这些问题，我们构建了多传感器融合框架，融合相机、IMU、轮速计、LiDAR多传感器信息增强SLAM系统鲁棒性和准确性。同时设计了在野外环境下的机器人多传感器融合的定位建图算法。此外，本项目针对草地环境的检测草地场景移动机器人的目标检测与语义分割部署，实现感知算法的剪枝优化与网络结构的轻量化设计，并且基于NVIDIA TX2 NX嵌入式设备的TensoRT加速部署；实现了算法的实时运行，本项目取得了良好的应用效果。
hpp 轮腿机器人的环境感知与导航
基于轮足式机器人平台， 本项目开发了应用于轮足机器人的定位导航算法、目标跟踪算法。首先，本项目设计了基于激光雷达的点云地图构建和多传感器融合定位算法，实现室内环境下机器人的准确定位，同时设计了准确鲁棒的障碍物感知算法以及轮足式机器人的自主路径规划与导航算法，与机器人系统无缝集成。本项目实现机器人在室内外（存在静态、动态障碍物） 和室内（存在楼梯）、室外（存在街道、台阶、斜坡、不平地貌）的三维环境中自主导航定位，为完成机器人运动与操作演示任务提供了感知系统保障。
hpp hpp 移动操作智能机器人
本项目致力于设计移动-感知-操作一体的移动操作智能机器人算法。首先，在移动定位方面，本项目融合多传感器信息建立高精度3D点云地图，在复杂场景及退化场景下保证定位的鲁棒性，然后将根据感知信息在动态场景下实时避障并设计导航模块根据定位信息实现厘米级导航精度。然后，本项目设计基于视觉的物体感知算法，能够实时对空间物体进行检测分割，并进行空间物体的三维位姿估计，生成抓取策略。最后，本项目设计双臂协同的规划控制算法，综合考虑机器人的空间位置和目标位姿，生成合理的抓取路径，实现机械臂和灵巧手的紧密配合，共同完成移动操作任务。

自动驾驶

hpp Online Calibration of Surround View Cameras
针对车辆环视相机模组在长期使用的过程中，可能会由于颠簸、碰撞或维修等情况导致初始的校准外参发生改变，在运行时合成的鸟瞰视角图会出现场景错位的现象，本项目不依赖标定场景，仅利用地面纹理特征完成环视相机的外参标定；引入“双相机误差”模型，利用稀疏的纹理特征，通过最小化光度误差完成模型的优化；引入“点线融合”算法，充分利用不同特征的特性，实现相机外参coarse-to-fine的迭代优化。
hpp 4D视觉自动化标注 g
4D视觉自动化标注项目是我们实验室自动驾驶相关的应用。项目基于行车的环视视频、IMU、GPS等数据，进行场景静态三维重建，输出车道线、交通标志、障碍物等元素标注信息，同时对多个trip进行聚合生成局部地图。我们开发了一个基于显示网格和隐式编码融合的路面重建算法，下面左边视频为路面的颜色、语义和高度重建效果，可以看到路面车道线和箭头等重建清晰。
hpp hpp 自动驾驶数据合成仿真
本项目基于环视针孔与鱼眼相机、3D检测标注、激光雷达点云信息实现基于NeRF的复杂自动驾驶场景的动态物体与静态背景重建以及场景的重组。本应用产出三维场景重建工具链：利用基于真实数据实现场景重建与数据合成；通过合成真实数据难采集的非常规场景数据来提升目标检测效果。视频中展示了现在已经完成的静态道路背景重建效果；图片所示的是现在已经完成的前景车辆编辑效果，拥堵场景生成、车辆平移、车辆复制等方面表现出了较好的重建效果。
hpp hpp 自主代客泊车
自主代客泊车项目旨在基于相机、IMU、车速、超声波雷达等传感器数据，实现地下停车场环境下的感知、SLAM、规划。我们在项目中实现了基于鸟瞰图的多任务感知网络环视相机的目标检测，以及基于因子图优化和停车位管理的语义建图框架，同时基于多传感器融合的语义定位框架，实现了在地下停车场环境中的语义建图与自主定位。同时设计了自主泊车和领航与避障的规划控制算法，实现车辆舒适平稳地进行停车场区域自主行驶和车位的自动泊入。
hpp 智能矿车多传感器融合定位
本项目针对目前矿山无人运输系统的定位系统过于依赖组合导航的问题，摆脱目前无人运输系统对单一传感器的依赖，进行融合定位的功能开发，从而提升定位系统的稳定性与整体无人运输系统的安全性。本项目充分使用利用激光雷达、组合导航、底盘里程计反馈等传感器信息，在组合导航受到环境影响较大时仍能够提供准确的定位信息。通过融合定位结果与各传感器里程计的计算结果进行传感器失效状态检测，对传感器失效情况做出预警。

多机器人调度

hpp hpp 大规模四向穿梭车调度
本项目针对三维密集仓储场景下的大规模四向穿梭车集群，开发基于多机器人路径规划的智能调度系统实现无人智能集群的负载均衡与高效运输。：首先将传统的静态规划改进为触发式的动态规划，进一步结合智能化的多机器人路径规划与任务分配方法，开发大规模智能集群的调度系统，实现无人智能集群的高效运输。本项目支持动态选车，软硬件系统无故障下，可避免死锁情况，且实现高效的任务分配和多车系统的高效规划。
hpp 智能多机器人调度
在大型工业场景下，机器人形态各异且规模成百上千，而调度算法的复杂度往往随着机器人数量的增长而指数增长。因此，本项目以实际的智能仓储和智能制造等场景为例，研究异构多机器人的调度算法，提升系统的稳定性和运行效率。本项目整体目标是面向智能仓储和智能制造系统，研发一款高效的多机器人调度算法，可以快速地解决大规模场景和异构机器人集群的选车和路径规划问题。同时在仿真和生产环境中测试并部署了相关算法。