新聞中心

EEPW首頁(yè) > 智能計(jì)算 > 設(shè)計(jì)應(yīng)用 > 第一時(shí)間適配!英特爾銳炫GPU在運(yùn)行Llama 3時(shí)展現(xiàn)卓越性能

第一時(shí)間適配!英特爾銳炫GPU在運(yùn)行Llama 3時(shí)展現(xiàn)卓越性能

作者: 時(shí)間:2024-04-24 來(lái)源:EEPW 收藏

在Meta發(fā)布大語(yǔ)言模型的第一時(shí)間,即優(yōu)化并驗(yàn)證了80億和700億參數(shù)的模型能夠在AI產(chǎn)品組合上運(yùn)行。在客戶端領(lǐng)域,?顯卡的強(qiáng)大性能讓開(kāi)發(fā)者能夠輕松在本地運(yùn)行模型,為生成式AI工作負(fù)載提供加速。

本文引用地址:http://2s4d.com/article/202404/458007.htm

image.png

在Llama 3模型的初步測(cè)試中,英特爾?酷睿?Ultra H系列處理器展現(xiàn)出了高于普通人閱讀速度的輸出生成性能,而這一結(jié)果主要得益于其內(nèi)置的英特爾,該具有8個(gè)Xe核心,以及DP4a AI加速器和高達(dá)120 GB/s的系統(tǒng)內(nèi)存帶寬。

英特爾酷睿Ultra處理器和英特爾顯卡在Llama 3模型發(fā)布的第一時(shí)間便提供了良好適配,這彰顯了英特爾和Meta攜手為本地AI開(kāi)發(fā)和數(shù)百萬(wàn)設(shè)備的部署所做出的努力。英特爾客戶端硬件性能的大幅提升得益于用于本地研發(fā)的PyTorch和英特爾? PyTorch擴(kuò)展包等豐富的軟件框架與工具,以及用于模型部署和推理的OpenVINO?工具包。

圖片1.gif

在內(nèi)置英特爾銳炫顯卡的英特爾酷睿 Ultra 7上運(yùn)行Meta-Lama3-8B-Instruct

1713923249746319.png

在英特爾銳炫A770上運(yùn)行Llama 3的下一個(gè)Token延遲

上圖展示了在搭配PyTorch框架和針對(duì)英特爾的優(yōu)化后,英特爾銳炫A770顯卡在運(yùn)行Llama 3模型時(shí)表現(xiàn)出卓越的性能。除此之外,英特爾銳炫顯卡亦支持開(kāi)發(fā)者在本地運(yùn)行包括Mistral-7B-Instruct LLM、Phi2、Llama2等在內(nèi)的大語(yǔ)言模型。

基于相同的基礎(chǔ)安裝,開(kāi)發(fā)者可以在本地運(yùn)行多種模型的主要原因,可以歸功于IPEX-LLM,即一個(gè)針對(duì)PyTorch的大語(yǔ)言模型庫(kù)。它主要基于英特爾? PyTorch擴(kuò)展包打造,涵蓋時(shí)下最新的大語(yǔ)言模型優(yōu)化和低比特?cái)?shù)據(jù)壓縮(INT4/FP4/INT8/FP8),以及針對(duì)英特爾硬件的大多數(shù)最新性能優(yōu)化。得益于如銳炫A系列顯卡等英特爾獨(dú)立顯卡上的Xe核心XMX AI加速功能,IPEX-LLM能夠顯著提高性能,其支持在Windows子系統(tǒng)Linux版本2、原生Windows環(huán)境和原生Linux上的英特爾銳炫A系列顯卡。

由于所有的操作和模型均基于原生PyTorch框架,開(kāi)發(fā)者可以非常方便地更換或使用不同的PyTorch模型以及輸入數(shù)據(jù)。而上述模型和數(shù)據(jù)不僅能夠在英特爾銳炫顯卡上運(yùn)行,開(kāi)發(fā)者亦能享受到英特爾銳炫顯卡加速帶來(lái)的性能提升。

產(chǎn)品和性能信息

英特爾?酷睿?Ultra處理器:

在英特爾酷睿Ultra 7 155H平臺(tái)(MSI Prestige 16 AI Evo B1MG-005US)上進(jìn)行測(cè)試,使用32GB LP5x 6400Mhz總內(nèi)存,英特爾顯卡驅(qū)動(dòng)101.5382 WHQL,Windows 11 Pro版本22631.3447,平衡操作系統(tǒng)電源計(jì)劃,最佳性能操作系統(tǒng)電源模式,極限性能MSI Center模式,已啟用核心隔離,基于英特爾2024年4月17日的測(cè)試。

英特爾銳炫?A系列顯卡:

在英特爾銳炫A770 16GB顯卡上進(jìn)行測(cè)試,使用英特爾酷睿 i9-14900K、華碩ROG MAXIMUS Z790 HERO主板、32GB(2x 16GB)DDR5 5600Mhz,Corsair MP600 Pro XT 4TB NVMe。軟件配置包括英特爾顯卡驅(qū)動(dòng)101.5382 WHQL、Windows 11 Pro版本22631.3447、性能電源策略和核心隔離禁用?;谟⑻貭?024年4月17日的測(cè)試。

注釋:

性能因使用情況、配置和其他因素而異??稍谛阅苤笖?shù)網(wǎng)站上了解更多信息。

性能結(jié)果基于所示日期的配置測(cè)試,可能不反映所有公開(kāi)可用的更新。請(qǐng)參閱附件以了解配置詳情。沒(méi)有任何產(chǎn)品或組件可以絕對(duì)安全。

基于預(yù)生產(chǎn)系統(tǒng)和組件的結(jié)果,以及使用英特爾參考平臺(tái)(內(nèi)部新系統(tǒng)的內(nèi)部示例)、英特爾內(nèi)部分析或架構(gòu)模擬或建模估算或模擬的結(jié)果,僅供參考。結(jié)果可能會(huì)因?qū)?lái)對(duì)任何系統(tǒng)、組件、規(guī)格或配置的更改而變化。

成本和結(jié)果可能會(huì)有所不同。

英特爾技術(shù)可能需要啟用硬件、軟件或服務(wù)進(jìn)行激活。



關(guān)鍵詞: 英特爾 銳炫 GPU Llama 3

評(píng)論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉