高通持續(xù)推動終端側生成式AI變革，推出高通AI Hub賦能開發(fā)者

作者：時間：2024-02-26 來源：電子產(chǎn)品世界

加入技術交流群
- 掃碼加入
  和技術大咖面對面交流
  海量資料庫查詢

要點：

本文引用地址：http://2s4d.com/article/202402/455722.htm

· 高通現(xiàn)賦能終端側AI在下一代PC、智能手機、軟件定義汽車、XR設備和物聯(lián)網(wǎng)等領域規(guī)?；逃?，讓智能計算無處不在。

· 高通AI Hub為驍龍和高通平臺提供超過75個優(yōu)化AI模型，助力開發(fā)者縮短產(chǎn)品上市時間，并讓終端側AI的諸多優(yōu)勢在應用程序上得以發(fā)揮。這些模型也將在Hugging Face和GitHub上提供。開發(fā)者只需通過幾行代碼即可在搭載高通平臺的云托管終端上自行運行這些模型。

· 高通AI研究（Qualcomm AI Research）演示了在Android智能手機和Windows PC上運行多模態(tài)大模型和定制大視覺模型。

2024年2月26日，巴塞羅那——高通技術公司在巴塞羅那世界移動通信大會（MWC）上發(fā)布了公司在AI領域的最新進展。從全新高通^?AI Hub、到前沿研究突破以及AI賦能的商用終端展示，高通技術公司正在為開發(fā)者賦能，并變革驍龍^?和高通平臺支持的廣泛終端品類上的用戶體驗。

高通技術公司高級副總裁兼技術規(guī)劃和邊緣解決方案業(yè)務總經(jīng)理馬德嘉表示：“隨著面向智能手機的第三代驍龍8和面向PC的驍龍X Elite的推出，我們開啟了終端側AI的規(guī)模化商用?，F(xiàn)在，借助高通AI Hub，我們將賦能開發(fā)者充分發(fā)揮這些前沿技術的潛力，打造具有吸引力的AI賦能應用。高通AI Hub為開發(fā)者提供了一個全面的AI模型庫，使他們能夠輕松快速地將預優(yōu)化AI模型集成進應用程序，從而打造更快、更可靠且更具隱私性的用戶體驗?！?/span>

高通AI Hub為開發(fā)者開啟卓越終端側AI性能

全新高通AI Hub包含預優(yōu)化AI模型庫，支持在搭載驍龍和高通平臺的終端上進行無縫部署。該模型庫為開發(fā)者提供超過75個主流的AI和生成式AI模型，比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B，可在不同執(zhí)行環(huán)境(runtime)中打包，能夠在不同形態(tài)終端中實現(xiàn)卓越的終端側AI性能、降低內(nèi)存占用并提升能效。所有模型均經(jīng)過優(yōu)化，以充分利用高通AI引擎內(nèi)所有核心（NPU、CPU和GPU）的硬件加速能力，從而使推理速度提升4倍。AI模型庫能夠自動處理從源框架到主流執(zhí)行環(huán)境的模型轉(zhuǎn)換，直接與高通AI引擎Direct SDK協(xié)同工作，并應用硬件感知優(yōu)化。開發(fā)者可將這些模型無縫集成進應用程序，縮短產(chǎn)品上市時間，發(fā)揮終端側AI部署的諸多優(yōu)勢，比如即時性、可靠性、隱私、個性化和成本優(yōu)勢。

這些優(yōu)化模型現(xiàn)已在高通AI Hub、GitHub和Hugging Face上提供。高通AI Hub將持續(xù)增加新模型，同時還將支持更多平臺和操作系統(tǒng)。開發(fā)者現(xiàn)可注冊登錄，在搭載高通技術公司平臺的云托管終端上自行運行模型，并通過高通AI Hub提前獲取新特性和AI模型。

Hugging Face聯(lián)合創(chuàng)始人兼CEO Clement Delangue表示：“我們很高興能夠在Hugging Face上托管高通技術公司的AI模型。這些主流AI模型面向終端側機器學習而優(yōu)化，并且可在驍龍和高通平臺上使用，將賦能下一代移動開發(fā)者和邊緣AI應用，讓AI進一步惠及所有人?！?/span>

前沿AI研究進展

· 高通AI研究展示了首個在Android智能手機上運行的大語言和視覺助理大模型（LLaVA），這是一個超過70億參數(shù)的大型多模態(tài)語言模型（LMM），可接受包括文本和圖像在內(nèi)的多種類型的數(shù)據(jù)輸入，并能夠與AI助手生成關于圖像的多輪對話。該LMM能夠在終端側以實時響應的速度生成token，從而增強了隱私、可靠性、個性化和成本優(yōu)勢。具有語言理解和視覺理解能力的LMM能夠賦能諸多用例，例如識別和討論復雜的視覺圖案、物體和場景。

· 高通AI研究還將展示高通首個在Android智能手機上運行的LoRA模型。通過運行支持LoRA的Stable Diffusion，用戶可基于個人或藝術偏好創(chuàng)建高質(zhì)量自定義圖像。LoRA減少了AI模型的可訓練參數(shù)數(shù)量，賦能更加高效、可擴展、定制化的終端側生成式AI用例。除了能夠?qū)崿F(xiàn)針對不同的藝術風格賦能語言視覺大模型（LVM）微調(diào)外，LoRA還廣泛適用于定制AI模型（如大語言模型），以打造量身定制的個人助手、改進語言翻譯等。

· 在Windows PC上，高通AI研究將展示全球首個在終端側運行的超過70億參數(shù)的大型多模態(tài)語言模型(LMM)，可接受文本和音頻輸入（如音樂、交通環(huán)境音頻等），并基于音頻內(nèi)容生成多輪對話。

在MWC巴塞羅那上展示跨終端品類賦能生成式AI

· 智能手機：高通技術公司將展示一系列搭載第三代驍龍^?8移動平臺的商用旗艦AI智能手機，包括榮耀Magic6 Pro、OPPO Find X7 Ultra和Xiaomi 14 Pro。每款終端都集成了令人興奮的生成式AI新特性，比如圖像擴充（小米）、智慧成片和一拖日程（榮耀）、AI消除（OPPO）。

· PC：全新驍龍X Elite及其45 TOPS NPU專為終端側AI打造，將變革用戶與PC的交互方式。高通技術公司將使用廣受歡迎的免費圖像編輯器GIMP集成Stable Diffusion插件進行演示：用戶可輸入想要的圖像，生成式AI將在7秒內(nèi)生成圖像，速度比x86競品快3倍。

· 汽車：利用行業(yè)領先的AI硬件和軟件解決方案，高通技術公司還將演示驍龍^?數(shù)字底盤^?平臺支持的傳統(tǒng)AI和生成式AI功能，旨在為駕乘人員提供更加強大、高效、隱私、安全且個性化的體驗。

· 消費級物聯(lián)網(wǎng)：公司將展示在驍龍平臺上運行的Humane AI Pin，讓用戶能夠在全新、對話式以及無屏的終端形態(tài)中隨時隨地使用AI。

· 連接：全新推出的驍龍X80調(diào)制解調(diào)器及射頻系統(tǒng)集成第二代5G AI處理器，助力提升蜂窩性能，擴大覆蓋范圍，降低時延并提高能效。高通還推出首個AI優(yōu)化的Wi-Fi 7系統(tǒng)——高通FastConnect^? 7900移動連接系統(tǒng)，利用AI為自適應、高性能、低時延和低功耗的本地無線連接樹立新標桿。

· 5G基礎設施：高通技術公司將展示三項突破性的AI輔助網(wǎng)絡管理增強特性，包括助力無線接入網(wǎng)（RAN）工程師簡化網(wǎng)絡和切片管理任務的生成式AI助手，降低網(wǎng)絡能耗的AI輔助開放式RAN應用程序（rApp），以及AI輔助5G網(wǎng)絡切片生命周期管理套件。