NVIDIA：以Jetson邊緣設(shè)備在現(xiàn)實世界探索生成式AI無限可能

作為人工智能產(chǎn)業(yè)的引領(lǐng)者，NVIDIA相信，有了來自邊緣的所有實時數(shù)據(jù)以及對這些數(shù)據(jù)的理解能力，AI應(yīng)用就成為了能夠與真實世界互動的智能體。邊緣智能行業(yè)應(yīng)用空間廣泛，尤其是在制造業(yè)、政府、電信、醫(yī)療等重點領(lǐng)域，敏捷連接、實時業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護成為這些應(yīng)用的核心需求，邊緣智能將成為實現(xiàn)行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵。隨著商業(yè)神經(jīng)網(wǎng)絡(luò)的成熟，物聯(lián)網(wǎng)設(shè)備的普及以及并行計算和 5G 的進步，我們現(xiàn)在能夠通過強大的基礎(chǔ)架構(gòu)來實現(xiàn)通用機器學(xué)習(xí)。企業(yè)應(yīng)該把握良機，將 AI 應(yīng)用于他們的營業(yè)場所并依據(jù)實時洞察采取行動，同時降低成本并加強隱私。

面對邊緣設(shè)備的智能應(yīng)用需求，NVIDIA在邊緣智能領(lǐng)域的技術(shù)創(chuàng)新和產(chǎn)品支持為行業(yè)發(fā)展注入了強大的動力。NVIDIA此前發(fā)布了Jetson 生成式AI實驗室（Jetson Generative AI Lab），使開發(fā)者能夠通過NVIDIA Jetson邊緣設(shè)備在現(xiàn)實世界中探索生成式 AI的無限可能性。此外，邊緣AI 應(yīng)用對硬件的尺寸、功耗和性能都有非常高的要求，NVIDIA的Jetson Nano開發(fā)套件功耗只有5W，是傳統(tǒng)計算機的十分之一，這意味著它可以在移動設(shè)備、嵌入式系統(tǒng)、機器人等低功耗場景中使用。普遍來看，在使用Jetson模組等嵌入式系統(tǒng)時，必須根據(jù)功率分配和計算資源來優(yōu)化應(yīng)用。Jetson模組自帶GPU、CPU和各種AI加速器，還配有高效率的功率管理集成電路（PMIC）、穩(wěn)壓器和電源樹來進行功率效率優(yōu)化。同時，NVIDIA提供包括各種功率模式、功率與散熱和電氣管理功能、用于監(jiān)控功率和散熱狀態(tài)的Jetson Power GUI、用于提供模組命令行統(tǒng)計數(shù)據(jù)的Tegrastats以及JTOP等多種工具和資源，幫助用戶充分利用功率架構(gòu)并優(yōu)化資源使用。每個Jetson模組都支持多種預(yù)配置功率模式，也能夠針對10W、15W、30W等特定功率進行預(yù)算優(yōu)化。

智能工業(yè)是邊緣AI 非常重要的應(yīng)用場景，NVIDIA推出了Jetson AGX Orin工業(yè)級模塊等開發(fā)工具，幫助開發(fā)者開發(fā)邊緣AI 應(yīng)用。Jetson AGX Orin工業(yè)級模塊可在15-75W功率范圍內(nèi)提供高達248 TOPS 的 AI 性能。其外形尺寸和引腳與 Jetson AGX Orin 兼容，性能比Jetson AGX Xavier工業(yè)級模塊提升了 8 倍以上。其能夠在惡劣環(huán)境下提供更高級別的計算能力。許多應(yīng)用程序，包括農(nóng)業(yè)、工業(yè)制造、采礦、建筑和交通等領(lǐng)域，都必須經(jīng)受極端環(huán)境和長時間的沖擊和震動。例如，在廣泛的農(nóng)業(yè)應(yīng)用中，強大的硬件至關(guān)重要，因為它使機械能夠承受重負荷、在崎嶇的地形中導(dǎo)航，并在不同溫度下持續(xù)運行。NVIDIA Jetson模塊已經(jīng)改變了智能農(nóng)業(yè)，為自動駕駛拖拉機和智能收割、除草和選擇性噴灑系統(tǒng)提供動力。在鐵路應(yīng)用中，火車高速行駛時會產(chǎn)生振動，火車車輪和鐵軌之間的相互作用也會產(chǎn)生額外的間歇性振動和沖擊。運輸公司正在使用Jetson探測物體、預(yù)防事故和優(yōu)化維護成本。采礦是另一個需要符合工業(yè)要求的領(lǐng)域。例如Tage IDriver推出了基于Jetson AGXXavier工業(yè)級模塊的智能礦場地面- 云端協(xié)調(diào)無人運輸?shù)V車解決方案。在露天礦場環(huán)境下，無人礦車需要具備更強的耐用性。在近地或外太空中，輻射水平帶來了巨大的挑戰(zhàn)，部署耐用且能夠耐受輻射的模塊對于確?？煽扛咝У倪\行至關(guān)重要。許多衛(wèi)星公司都希望在邊緣部署人工智能，但是他們在尋找合適的計算模塊時面臨著挑戰(zhàn)。NVIDIA Jetson模塊裝有激光雷達、攝像頭、雷達等傳感器，能夠在惡劣的環(huán)境中實現(xiàn)所需的精準(zhǔn)感知。

近兩年來，隨著生成式AI 的火爆，NVIDIA的技術(shù)成為推動生成式AI應(yīng)用發(fā)展的技術(shù)動力源泉，在邊緣側(cè)應(yīng)用提供生成式AI將成為極具發(fā)展?jié)摿Φ膽?yīng)用領(lǐng)域。隨著該領(lǐng)域快速發(fā)展，幾乎每天都有新的LLM出現(xiàn)，并且量化程序庫的發(fā)展也在一夜之間重塑了基準(zhǔn)，NVIDIA認識到了提供最新信息和有效工具的重要性。

因此 NVIDIA提供簡單易學(xué)的教程和預(yù)構(gòu)建容器，而實現(xiàn)這一切的是jetson-containers，一個精心設(shè)計和維護的開源項目，旨在為Jetson設(shè)備構(gòu)建容器。該項目使用GitHub Actions，以CI/CD的方式構(gòu)建了100個容器。這些容器使用戶能夠在 Jetson 上快速測試最新的AI模型、程序庫和應(yīng)用，無需繁瑣地配置底層工具和程序庫。

在開發(fā)者支持方面，NVIDIA Jetson AGX Orin開發(fā)者套件與所有Jetson Orin模塊共享同樣的SoC架構(gòu)，因此能夠仿真任何模塊，使開發(fā)者能夠輕松地開始開發(fā)新一代產(chǎn)品。擁有緊湊的尺寸、大量的連接器和高達275 TOPS的AI性能，該開發(fā)者套件是開發(fā)先進AI機器人和其他邊緣AI設(shè)備原型的最佳選擇。此外，NVIDIA IGX Orin開發(fā)者套件可提供一個滿足工業(yè)和醫(yī)療環(huán)境需求的工業(yè)級邊緣AI平臺。內(nèi)置的NVIDIAHoloscan是一套能夠協(xié)調(diào)數(shù)據(jù)移動、加速計算、實時可視化和AI推理的SDK。該平臺讓開發(fā)者能夠?qū)㈤_源LLM添加到邊緣AI流式傳輸工作流和產(chǎn)品中，為實時AI傳感器處理帶來了新的可能性，同時確保敏感數(shù)據(jù)保持在IGX硬件的安全邊界內(nèi)。IGX Orin專為邊緣環(huán)境打造，可以處理來自攝像頭、激光雷達傳感器、無線電天線、加速度計、超聲探頭等的流信息。這一通用性使各種先進的應(yīng)用能夠無縫地將LLM的強大功能與實時數(shù)據(jù)流融合。在集成到Holoscan操作系統(tǒng)后，這些LLM可顯著增強AI傳感器處理管道的能力和功能。

在軟件方面，NVIDIA發(fā)布了NVIDIA AI EnterpriseIGX，該軟件可以在IGX平臺上運行，優(yōu)化AI工作流的開發(fā)和部署，確保企業(yè)機構(gòu)能夠獲得必要的AI框架和工具。IGX是一個安全、可靠的自主系統(tǒng)平臺，它能夠改善人機協(xié)同。對于制造業(yè)和物流業(yè)，IGX為高度監(jiān)管的實體工廠和倉庫提供了額外的安全層；對于醫(yī)療行業(yè)的邊緣AI用例，IGX提供安全、低延遲的AI推理，以滿足臨床對醫(yī)療程序中的一系列儀器和傳感器獲得即時洞察的需求，例如機器人輔助手術(shù)、患者監(jiān)測系統(tǒng)等。

（本文來源于《EEPW》2024.6）