新聞中心

EEPW首頁 > 新聞縱覽 > 躍昉科技突破RISC-V計算邊界,DeepSeek大模型本地化運(yùn)行

躍昉科技突破RISC-V計算邊界,DeepSeek大模型本地化運(yùn)行

作者: 時間:2025-03-07 來源: 收藏

邊緣AI新突破,從“云端排隊”到“私人Co-Pilot”

本文引用地址:http://2s4d.com/article/202503/467798.htm

近日,國內(nèi)領(lǐng)先的RISC-V架構(gòu)SoC芯片公司躍昉科技宣布,其自主研發(fā)的AI Mini Computer(AMC)成功實現(xiàn)DeepSeek系列蒸餾模型的本地化運(yùn)行,以U盤形態(tài)重塑了AI計算方式?;赗ISC-V架構(gòu)的開放性和AMC本地化計算能力,躍昉科技讓AI計算由傳統(tǒng)的云端模式邁向邊緣端,使普通電腦秒變AI工作站,讓AI隨時待命,為用戶提供高效的智能助手(Co-Pilot)。

這一創(chuàng)新降低了AI計算的使用門檻,并在數(shù)據(jù)安全、本地推理和個性化應(yīng)用方面展現(xiàn)潛力。用戶無需再受網(wǎng)絡(luò)限制或云端排隊影響,即可享受穩(wěn)定的AI體驗,讓AI真正融入日常工作與生活。這無疑再次驗證了RISC-V架構(gòu)在AI計算領(lǐng)域的潛力,展現(xiàn)了其開放、靈活、高效的優(yōu)勢,為邊緣端智能計算拓展了更多空間。

AMC實拍 | 口袋里的專屬智能助手

RISC-V助力邊緣AI計算,邁入本地化新階段

長期以來,AI計算主要依賴云端,但算力成本、網(wǎng)絡(luò)延遲及數(shù)據(jù)隱私等問題限制了其在邊緣端的應(yīng)用。躍昉科技基于自研RISC-V架構(gòu)芯片,打造了AMC低功耗計算設(shè)備,并初步驗證了其在邊緣端運(yùn)行輕量級AI模型的能力。AMC具備以下核心優(yōu)勢:

即插即用:可通過USB直連,無需服務(wù)器,快速完成環(huán)境部署,用戶體驗更便捷。

超低功耗:僅3W功耗,在邊緣計算場景下兼具節(jié)能和高效的優(yōu)化潛力。

網(wǎng)頁本地化訪問:相比云端排隊、等待響應(yīng),你的AI助手隨時在線。目前已在AMC上成功運(yùn)行部分輕量化AI模型,但計算能力仍有限,適配更復(fù)雜任務(wù)的模型仍在開發(fā)中。

本地私有知識庫:保護(hù)數(shù)據(jù)隱私,隨身攜帶,安全可控。目前仍處在開發(fā)驗證階段,未來將推出本地私有知識庫方案,增強(qiáng)數(shù)據(jù)隱私保護(hù)。

目前,AMC主要適用于輕量化AI推理,仍在不斷優(yōu)化模型適配能力,以支持更復(fù)雜的AI任務(wù)。

已經(jīng)實際部署運(yùn)行成功的模型

UI界面:設(shè)計簡潔直觀,用戶可快速上手,無需復(fù)雜配置,Less is More!

OTA+場景化模型,開啟邊緣AI計算新范式

在推動DeepSeek系列蒸餾模型在AMC本地化運(yùn)行的過程中,躍昉科技還提出一個全新的邊緣AI計算應(yīng)用概念——“OTA(Over-the-Air)+場景化模型”。目前正在進(jìn)行相關(guān)技術(shù)驗證,以評估其在邊緣AI計算中的可行性:

場景化模型適配:針對教育、工業(yè)、辦公、個人助手等不同場景,訓(xùn)練更精巧的 AI 模型,以適配本地場景化的應(yīng)用需求。

OTA動態(tài)部署:設(shè)想是突破傳統(tǒng)OTA僅用于軟件升級的局限,AMC可按需拉取和更新最適合當(dāng)前應(yīng)用場景的AI模型,優(yōu)化邊緣設(shè)備的智能交互體驗。

開放生態(tài)構(gòu)建:希望打造可訂閱、可迭代的模型市場,促進(jìn)開發(fā)者和用戶形成良性互動,推動AI計算生態(tài)持續(xù)優(yōu)化,目前仍在規(guī)劃階段。

這一全新計算模式不僅有望降低用戶的AI使用成本,同時也為開發(fā)者提供了更大的創(chuàng)新空間,讓AI從“大而全”向“小而精”轉(zhuǎn)變,真正實現(xiàn)按需適配、精準(zhǔn)計算。

讓AI成為個性化的智能伙伴

AMC的便攜性與在計算能力方面展示出的潛力,使其不僅僅是一款A(yù)I計算設(shè)備,更有望成為用戶長期成長的智能伙伴:

離線運(yùn)行,隨時調(diào)用:無論是在辦公、學(xué)習(xí)還是工業(yè)應(yīng)用場景,AI即插即用,不受云端依賴的限制,但完整大模型推理能力仍在測試中。

數(shù)據(jù)存儲與回傳:AMC具備32GB本地存儲,可將使用過程中的數(shù)據(jù)本地化存儲,同時支持同步至個人主機(jī),形成用戶專屬的AI記憶。但目前知識庫儲存與數(shù)據(jù)同步功能仍在研發(fā)階段,后續(xù)將視技術(shù)進(jìn)展進(jìn)行優(yōu)化。

個性化成長:未來AI可長期學(xué)習(xí)用戶的知識、經(jīng)驗和決策方式,逐步形成個人數(shù)字孿生(Digital Twins),讓AI真正理解用戶需求,成為長期的智能助手。

這一模式使AI助手不再是千篇一律的通用工具,而是可以隨用戶需求不斷優(yōu)化,逐步形成個性化智能助手,提升日常工作與生活體驗。

推動RISC-V架構(gòu)在邊緣AI計算的應(yīng)用探索

躍昉科技始終致力于RISC-V架構(gòu)在AI計算、邊緣計算及智能互聯(lián)領(lǐng)域的創(chuàng)新融合,并通過AMC這一產(chǎn)品形態(tài),嘗試推進(jìn)邊緣端大模型推理的可行性。目前,部分功能仍處在開發(fā)或概念驗證階段,但躍昉科技將繼續(xù)圍繞低功耗、高效能、場景化AI計算進(jìn)行深度優(yōu)化,推動邊緣AI計算生態(tài)的持續(xù)演進(jìn)。

未來,AI計算不應(yīng)僅存在于云端,而是應(yīng)成為一種更普惠、更個性化、更靈活的智能能力,賦能千行百業(yè)。躍昉科技將持續(xù)探索“OTA +場景化模型”的應(yīng)用,推動邊緣AI計算的優(yōu)化升級,助力AI計算向更靈活、更個性化的方向發(fā)展。

注:目前部分功能仍處在研發(fā)或概念驗證階段,如AMC適配的AI模型主要為輕量級模型,完整大模型推理能力仍在優(yōu)化中;OTA場景化模型、知識庫存儲等功能仍在研發(fā)和概念驗證階段,未來將根據(jù)技術(shù)進(jìn)展逐步探索落地。部分功能如本地網(wǎng)頁訪問仍處于測試階段,性能和用戶體驗仍需進(jìn)一步優(yōu)化。本文中提及的功能和應(yīng)用方向部分仍為探索性內(nèi)容,具體技術(shù)進(jìn)展將依據(jù)研發(fā)進(jìn)度持續(xù)更新。



關(guān)鍵詞:

評論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉