自主机器人所面临的关键挑战之一是感知和理解周围的世界。

在ROS World 2021上，NVIDIA发布了向ROS开发者社区提供高性能感知技术的最新项目。这些项目将加速产品开发、提高产品性能，并最终简化为将先进计算机视觉和AI/ML功能整合到基于ROS的机器人应用程序中的任务。

公告要点：

性能最强的实时立体测距解决方案以ROS包的形式提供

NGC上的所有NVIDIA推理DNN均可以ROS组件的形式提供，并带有图像分割和姿态估计实例

Isaac Sim中的新合成数据生成（SDG）工作流程，可为视觉AI训练创建大规模生产级数据集

Omniverse上的NVIDIA Isaac Sim GA版本提供ROS开箱即用支持，是迄今为止对开发者最友好的版本

NVIDIA Isaac ROS GEM – 经过优化的性能

图1. NVIDIA Isaac ROS GEM软件框架图

Isaac ROS GEM提供图像处理和计算机视觉等组件，其中有针对NVIDIA GPU和Jetson进行高度优化的DNN算法。

重点GEM：立体视觉测距 – 超高的精度和经过优化的性能

当自主机器在环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像机与其起点的相对位置来解决这个问题。Isaac ROS GEM for stereo visual odometry为ROS开发者提供这项强大的功能。

该GEM为实时立体摄像机视觉测距解决方案提供最佳精度。点击此处可查看基于广泛使用的KITTI数据库所得到的公开结果。除了高精度之外，这个GPU加速组件的运行速度也非常快。现在已可以在NVIDIA Jetson Xavier AGX上以高清分辨率(1280×720)实时(>60fps)运行SLAM。

重点GEM DNN推理 – 现已向ROS开发者开放所有NGC DNN推理模型

您可以使用NVIDIA在NGC上提供的众多推理模型中的任何一种，甚至可以使用DNN推理GEM(一套ROS2软件包)提供自己的DNN推理模型。开发者可以使用NVIDIA TAO工具套件对预训练模型进一步调整或者对自定义模型进行优化。

经过优化后，这些组件由NVIDIA推理服务器TensorRT或Triton部署。凭借使用TensorRT（NVIDIA高性能推理SDK）的节点，可实现最佳推理性能。如果TensorRT不支持所需的DNN模型，则应使用Triton来部署该模型。

GEM包含对U-Net和DOPE的原生支持。基于TensorRT的U-Net组件可用于从图像中生成语义分割掩码。而DOPE组件可用于对所有检测到的物体进行三维姿态估计。

该工具是在ROS应用中加入高性能AI推理的最快方式。

图2. 来自3个Isaac ROS GEM的合成图像 - DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）

NVIDIA Isaac SIM GA版本

Isaac Sim的GA版本将于2021年11月发布，这将是迄今为止对开发者最友好的版本。其用户界面、性能和实用构建模块经过了大量改进，使用户可以更快构建更强大的模拟。此外，经过改进的ROS桥和更多ROS样本将提高ROS开发者的开发体验。

该版本的更新内容（2021.2版本计划于2021年11月发布）

提升了性能，减少了内存用量和启动时间

经过改进的占位图生成，URDF导入器

新的环境：大型仓库、办公室、医院

用于与机器人、物体、环境对接的新Python构建模块

经过改进的ROS/ROS2桥、深度点云和激光雷达点云性能

样本更新

Multi-robot navigation with ROS2

使用ROS2实现多机器人导航

SDG with Domain Randomization in Jupyter

Jupyter中带有域随机化的SDG

点击查看视频，了解如何使用ROS MoveIT实现对Franka的联合控制：https://www.ixigua.com/7021714009317442056?logTag=ff37d2b1e1b7db058dc

新的合成数据生成工作流程 - 来自Isaac Sim的生产级数据集

自主机器人需要使用大量不同的数据集，来训练众多运行其感知栈的AI模型。从真实世界场景中获取全部训练数据的成本过高，而且一些极端场景可能存在危险。Isaac Sim提供的新合成数据工作流程，通过建立生产级数据集解决了自主机器人的安全和质量问题。

建立数据集的开发者，可以控制物体在场景中的随机分布、场景本身、照明和合成传感器。开发者也可以通过精细的控制，确保数据集中包含重要的极端案例。最后，该工作流程支持版本控制和调试信息，因此可以在需要审核和保障安全时完整地复制数据集。

图3. Isaac Sim中传感器库的合成数据实例