新聞中心

EEPW首頁 > 網(wǎng)絡與存儲 > 業(yè)界動態(tài) > AIR-520 LLM服務器:Nvidia四卡加持,助力DeepSeek私有化部署!

AIR-520 LLM服務器:Nvidia四卡加持,助力DeepSeek私有化部署!

作者: 時間:2025-02-25 來源:研華嵌入式物聯(lián)網(wǎng) 收藏

DeepSeek-R1的發(fā)布讓大家度過了一個熱鬧的春節(jié)。DeepSeek用較低的成本,取得了跟OpenAI相同的效果,這也意味我們的客戶可以私有化部署與OpenAI能力接近的基座大模型。

本文引用地址:http://2s4d.com/article/202502/467300.htm

(圖:AIR-520

研華AIR-520 是一款支持4卡單槽GPU或2卡雙槽GPU的桌面級LLM,主要用于推理和微調兩個方向。我們已經(jīng)打包好3個推薦配置,便于大家直接選型。推薦配置如和您的應用有差距,也可靈活調配。

圖片

(圖:AIR-520 三款配置清單)

近半年來隨著AI Agent的廣泛使用,大家對LLM的推理能力比較看重,在DeepSeek發(fā)布后,我們也使用AIR-520-L70A1 RTX 4000 ADA 4卡版主機,對工業(yè)客戶最常用的DeepSeek-R1 32B、70B兩個模型進行了測試。

系統(tǒng)配置:

圖片

DeepSeek-R1 32B 測試:

圖片

DeepSeek-R1 70B測試:

圖片

通過測試,我們可以看到AIR-520的優(yōu)異表現(xiàn)。



關鍵詞: 邊緣AI 服務器

評論


相關推薦

技術專區(qū)

關閉