NVIDIA提供人工智能感知能力給ROS開(kāi)發(fā)人員

適逢 ROS World 2021 大會(huì)，NVIDIA 宣布其為 ROS 開(kāi)發(fā)者社群提供高效能感知技術(shù)的最新進(jìn)展。這些計(jì)劃將加速產(chǎn)品開(kāi)發(fā)以及提高產(chǎn)品效能，最終讓開(kāi)發(fā)人員能夠更輕松地將最先進(jìn)的計(jì)算機(jī)視覺(jué)及人工智能 (AI)/ 機(jī)器學(xué)習(xí) (ML) 功能，應(yīng)用于 ROS 架構(gòu)的機(jī)器人應(yīng)用程序。

Isaac ROS GEM 提供包含圖像處理和計(jì)算機(jī)視覺(jué)的軟件包，其內(nèi)含針對(duì) NVIDIA GPU 和 Jetson 進(jìn)行高度優(yōu)化調(diào)整、并基于 DNN 架構(gòu)的算法。

當(dāng)自主機(jī)器在環(huán)境中移動(dòng)時(shí)，必須追蹤自己的位置。視覺(jué)測(cè)距法透過(guò)估算攝影機(jī)與其起始位置的相對(duì)距離，以解決這個(gè)問(wèn)題。用于立體視覺(jué)測(cè)距的 Isaac ROS GEM 為 ROS 開(kāi)發(fā)者提供這項(xiàng)強(qiáng)大的功能。

這個(gè) GEM 為實(shí)時(shí)立體攝影機(jī)視覺(jué)測(cè)距解決方案提供了最高的精準(zhǔn)度。在此可以參見(jiàn)按照廣泛使用之 KITTI 數(shù)據(jù)庫(kù)所提供的公開(kāi)結(jié)果。除了極高的精準(zhǔn)度，該 GPU 加速套件的運(yùn)行速度也十分快。事實(shí)上，現(xiàn)在可以在 NVIDIA Jetson AGX Xavier 上，實(shí)時(shí) (>60fps) 以 HD 分辨率 (1280x720) 來(lái)運(yùn)行 SLAM。

你可以使用 NVIDIA 在 NGC 上提供的任何推論模型，甚至可以透過(guò) DNN 推論 GEM (一套 ROS2 軟件包) 提供自己的 DNN。亦可以使用 NVIDIA TAO 工具套件，對(duì)已預(yù)先訓(xùn)練完成的模型進(jìn)行調(diào)整，或優(yōu)化自己的模型。

完成優(yōu)化調(diào)整后，NVIDIA 的推論服務(wù)器 TensorRT 或 Triton 會(huì)部署這些軟件包。透過(guò) NVIDIA 高效能推論軟件開(kāi)發(fā)工具包 (SDK) TensorRT 的節(jié)點(diǎn)，將達(dá)到最佳的推論表現(xiàn)。若 TensorRT 不支持所需的 DNN 模型，則應(yīng)使用 NVIDIA Triton 來(lái)部署該模型。

GEM 以原生方式支持 U-Net 及 DOPE。基于 TensorRT 的 U-Net 軟件包可用于從影像產(chǎn)生出語(yǔ)義分割屏蔽。而 DOPE 軟件包則可用于對(duì)所有偵測(cè)到的物體估算其 3D 姿勢(shì)。

這項(xiàng)工具是將高效能 AI 推論納入 ROS 應(yīng)用程序的最快方法。