英特爾至強(qiáng)和AI PC等產(chǎn)品為Meta Llama 3生成式AI工作負(fù)載提供加速

Meta今日推出其下一代大語言模型（LLM）——Meta Llama 3。在發(fā)布的第一時間，英特爾即優(yōu)化并驗(yàn)證了80億和700億參數(shù)的Llama 3模型能夠在英特爾^?至強(qiáng)^?處理器、英特爾^? Gaudi加速器、英特爾^? 酷睿? Ultra處理器和英特爾銳炫? 顯卡的AI產(chǎn)品組合上運(yùn)行。

英特爾副總裁兼人工智能軟件工程總經(jīng)理李煒表示：“英特爾一直積極與AI軟件生態(tài)系統(tǒng)的領(lǐng)先企業(yè)展開合作，致力于提供兼具性能與易用性的解決方案。Meta Llama 3是AI大語言模型重要迭代的新一浪潮。作為AI軟硬件產(chǎn)品技術(shù)創(chuàng)新的引領(lǐng)者，英特爾很開心能夠與Meta合作，充分挖掘諸如Llama 3等模型的潛力，助力生態(tài)伙伴開發(fā)領(lǐng)先的AI應(yīng)用?！?/p>

重要意義：秉承推動AI無處不在的愿景，英特爾持續(xù)深耕軟件和AI生態(tài)，以確保其產(chǎn)品能夠滿足AI領(lǐng)域持續(xù)變化的創(chuàng)新需求。在數(shù)據(jù)中心，集成英特爾^?高級矩陣擴(kuò)展加速引擎（Intel^? AMX）的英特爾至強(qiáng)處理器和英特爾Gaudi能夠?yàn)闈M足客戶不斷變化、多元化的需求提供更多選擇。

英特爾酷睿Ultra處理器和英特爾銳炫顯卡不僅為開發(fā)者提供了本地開發(fā)工具，也為在數(shù)百萬臺設(shè)備上進(jìn)行部署提供全面的軟件框架和工具支持。其中，包括PyTorch和用于本地研發(fā)的英特爾? PyTorch擴(kuò)展包，以及用于模型開發(fā)和推理的OpenVINO?工具包等。

在英特爾產(chǎn)品上運(yùn)行Llama 3：英特爾初步測試和評估80億和700億參數(shù)的Llama 3模型在自身產(chǎn)品上的性能時，使用了包括PyTorch、DeepSpeed、英特爾Optimum Habana庫和英特爾PyTorch擴(kuò)展包在內(nèi)的開源軟件，并提供最新的軟件優(yōu)化。

●   英特爾至強(qiáng)處理器能夠運(yùn)行嚴(yán)苛的端到端AI工作負(fù)載，同時為了降低延遲，英特爾也通過技術(shù)創(chuàng)新來優(yōu)化大語言模型的推理性能。配備性能核的英特爾^? 至強(qiáng)^? 6處理器（代號Granite Rapids）在運(yùn)行80億參數(shù)的Llama 3模型推理時，延遲比第四代英特爾^? 至強(qiáng)^? 處理器表現(xiàn)出兩倍的提升，并且能夠以低于100毫秒的token延遲運(yùn)行700億參數(shù)的Llama 3模型推理。

●   英特爾^? Gaudi 2加速器在70億、130億和700億參數(shù)的Llama 2模型上具備優(yōu)化的性能，現(xiàn)在其基于全新的Llama 3模型也有了初步性能測試。隨著英特爾Gaudi軟件的更新，英特爾能夠輕松運(yùn)行新的Llama 3模型，并為推理和微調(diào)生成結(jié)果。近期發(fā)布的英特爾^? Gaudi 3加速器也支持運(yùn)行Llama 3。

●   英特爾酷睿Ultra和英特爾銳炫顯卡在運(yùn)行Llama 3時亦展現(xiàn)出卓越的性能。在初步測試中，英特爾酷睿Ultra處理器已經(jīng)展現(xiàn)出遠(yuǎn)高于人類通常閱讀速度的輸出生成性能。此外，英特爾銳炫? A770 顯卡具備Xe內(nèi)核中的全新矩陣引擎（Xe Matrix eXtensions，XMX）AI加速和16GB顯存，進(jìn)一步為大語言模型工作負(fù)載提供卓越性能。

未來，Meta將增加新的能力、更多模型尺寸以及增強(qiáng)的性能。英特爾也將持續(xù)提升自身AI產(chǎn)品性能，以支持這一全新的大語言模型。