首頁　 資訊　 商機(jī) 　 下載　 拆解 　 高校　 招聘 　 雜志　 會展　 EETV　 百科 　 問答　 電路圖　 工程師手冊 　 Datasheet　 100例 　 活動中心　 E周刊閱讀 　 樣片申請
EEPW首頁 >> 主題列表 >> llm

Arm KleidiAI 助力提升 PyTorch 上 LLM 推理性能

  • 作者：Arm 基礎(chǔ)設(shè)施事業(yè)部軟件工程師 Nobel Chowdary Mandepudi生成式人工智能 (AI) 正在科技領(lǐng)域發(fā)揮關(guān)鍵作用，許多企業(yè)已經(jīng)開始將大語言模型 (LLM) 集成到云端和邊緣側(cè)的應(yīng)用中。生成式 AI 的引入也使得許多框架和庫得以發(fā)展。其中，PyTorch 作為熱門的深度學(xué)習(xí)框架尤為突出，許多企業(yè)均會選擇其作為開發(fā) AI 應(yīng)用的庫。通過部署 Arm Kleidi 技術(shù) ，Arm 正在努力優(yōu)化 PyTorch，以加速在基于 Arm 架構(gòu)的處理器上運行 LLM 的性能
  • 關(guān)鍵字： Arm  KleidiAI  PyTorch  LLM  

研華本地大型語言模型（LLM）邊緣AI服務(wù)器AIR-520

  • 工業(yè)物聯(lián)網(wǎng)領(lǐng)域的全球供應(yīng)商研華科技近日公布，其自主研發(fā)的“AIR-520本地大型語言模型（LLM）邊緣AI服務(wù)器”榮獲“第33屆臺灣精品獎”銀獎！今年，研華有六款產(chǎn)品獲得了中國臺灣精品獎，其中兩款獲得了享有盛譽(yù)的銀獎。這一出色的成績凸顯了業(yè)界對研華智能系統(tǒng)和嵌入式平臺在工業(yè)物聯(lián)網(wǎng)領(lǐng)域的認(rèn)可。研華表示將繼續(xù)整合人工智能驅(qū)動的行業(yè)解決方案和領(lǐng)域?qū)I(yè)知識，加速數(shù)字化轉(zhuǎn)型，為客戶推動工業(yè)智能的發(fā)展。研華嵌入式物聯(lián)網(wǎng)集團(tuán)總經(jīng)理張家豪強(qiáng)調(diào)，研華作為一家跨越邊緣計算、物聯(lián)網(wǎng)系統(tǒng)軟件和垂直行業(yè)解決方案的多元化工業(yè)物聯(lián)網(wǎng)企
  • 關(guān)鍵字： 研華  本地大型語言模型  LLM  邊緣AI服務(wù)器  

Arm計算平臺加持，全新Llama 3.2 LLM實現(xiàn)AI 推理的全面加速和擴(kuò)展

  • 新聞重點：●? ?在Arm CPU上運行Meta最新Llama 3.2版本，其云端到邊緣側(cè)的性能均得到顯著提升，這為未來AI工作負(fù)載提供了強(qiáng)大支持●? ?Meta與Arm的合作加快了用例的創(chuàng)新速度，例如個性化的端側(cè)推薦以及日常任務(wù)自動化等●? ?Arm十年來始終積極投資AI領(lǐng)域，并廣泛開展開源合作，為?1B?至?90B?的?LLM?實現(xiàn)在?Arm?計算平臺上無縫運行人
  • 關(guān)鍵字： Arm  Llama 3.2 LLM  AI 推理  Meta  

傳感器融合技術(shù)如何助力自主移動機(jī)器人導(dǎo)航再升級？

  • 自主移動機(jī)器人(AMR)可幫助制造商提高生產(chǎn)效率、增強(qiáng)安全性并節(jié)省大量成本，因而在各行各業(yè)得到廣泛應(yīng)用。2022年全球AMR市場規(guī)模為86.5億美元，預(yù)計2022年至2028年間的復(fù)合年增長率(CAGR)將達(dá)到18.3%。進(jìn)入工業(yè)5.0時代，人類將與人工智能(AI)機(jī)器人協(xié)同工作，機(jī)器人輔助而非取代人類。愿景固然美好，但要實現(xiàn)這一目標(biāo)，AMR必須克服重重挑戰(zhàn)，集成各種傳感器以及新興的傳感器融合技術(shù)將為此提供助益。AMR采用過程中所面臨的挑戰(zhàn)AMR普及的一大難題是其在多種不同應(yīng)用和環(huán)境中的適應(yīng)性。AMR已廣
  • 關(guān)鍵字： 自主移動機(jī)器人  傳感器  AMR  LLM  

用工具彌補(bǔ)AI短板，讓AI答案更精準(zhǔn)

  • ChatGPT和GPT-4等大型語言模型 (LLM) 已成為提高工作效率和更好地理解各種主題不可或缺的工具。從教育到軟件開發(fā)，再到內(nèi)容寫作，LLM在眾多領(lǐng)域嶄露頭角，它們在提煉和生成供人類使用的信息方面有著近乎神奇的能力。不過，盡管LLM的能力令人印象深刻，但它們在提供準(zhǔn)確答案或執(zhí)行需要精確知識的特定任務(wù)時，卻常常比較吃力。例如，對于復(fù)雜的數(shù)學(xué)問題或者晦澀難懂的題目，往往會給出錯誤或不夠充分的答案。出現(xiàn)這些局限性的主要原因是，LLM通常是使用過時的數(shù)據(jù)進(jìn)行訓(xùn)練，以預(yù)測句子中下一個在統(tǒng)計
  • 關(guān)鍵字： 語言模型  LLM  AI  

Nvidia 征服了最新的 AI 測試

  • 多年來，英偉達(dá)在許多機(jī)器學(xué)習(xí)基準(zhǔn)測試中占據(jù)主導(dǎo)地位，現(xiàn)在它又多了兩個檔次。MLPerf，有時被稱為“機(jī)器學(xué)習(xí)的奧林匹克”的人工智能基準(zhǔn)測試套件，已經(jīng)發(fā)布了一套新的訓(xùn)練測試，以幫助在競爭計算機(jī)系統(tǒng)之間進(jìn)行更多更好的同類比較。MLPerf 的一項新測試涉及對大型語言模型的微調(diào)，該過程采用現(xiàn)有的訓(xùn)練模型，并用專業(yè)知識對其進(jìn)行更多訓(xùn)練，使其適合特定目的。另一個是圖神經(jīng)網(wǎng)絡(luò)，一種機(jī)器學(xué)習(xí)，一些文獻(xiàn)數(shù)據(jù)庫背后的一種機(jī)器學(xué)習(xí)，金融系統(tǒng)中的欺詐檢測，以及社交網(wǎng)絡(luò)。即使使用谷歌和英特爾的人工智能加速器的計算機(jī)增加和參與，由
  • 關(guān)鍵字： GPU  神經(jīng)網(wǎng)絡(luò)  LLM  MLPerf  基準(zhǔn)測試  英偉達(dá)  

中國電信發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T

  • IT之家 6 月 19 日消息，中國電信人工智能研究院（TeleAI）和智源研究院聯(lián)合發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T，該模型與百億級的 52B 版本，千億級的 102B 版本共同構(gòu)成 Tele-FLM 系列模型。TeleAI 和智源研究院基于模型生長和損失預(yù)測等技術(shù)，Tele-FLM 系列模型僅使用了業(yè)界普通訓(xùn)練方案 9% 的算力資源，基于 112 臺 A800 服務(wù)器，用 4 個月完成 3 個模型總計 2.3T tokens 的訓(xùn)練。模型訓(xùn)練全程做到了零調(diào)整零重試
  • 關(guān)鍵字： LLM  AI  大語言模型  

熟悉LLM的重要機(jī)制

  • 1 前言在前一期里，介紹過大語言模型(LLM)幕后核心的注意力(Attention)機(jī)制。本期就來繼續(xù)擴(kuò)大，介紹大名鼎鼎的轉(zhuǎn)換器(Transformer)模型。其中，要特別闡述：為什么當(dāng)今主流LLM都采用<僅譯碼器>(Decoder-Only Transformer)模型。在 2017 年， 首先在「Attention is All You Need」這篇論文中提出了經(jīng)典的Transformer架構(gòu)，它內(nèi)含編碼器(Encoder)和譯碼器(Decoder)兩部分。后來，自從GPT-2之后，整個
  • 關(guān)鍵字： 202406  LLM  

微軟亞研院新作：讓大模型一口氣調(diào)用數(shù)百萬個 API

  • 近年來，人工智能發(fā)展迅速，尤其是像 ChatGPT 這樣的基礎(chǔ)大模型，在對話、上下文理解和代碼生成等方面表現(xiàn)出色，能夠為多種任務(wù)提供解決方案。但在特定領(lǐng)域任務(wù)上，由于專業(yè)數(shù)據(jù)的缺乏和可能的計算錯誤，它們的表現(xiàn)并不理想。同時，雖然已有一些專門針對特定任務(wù)的 AI 模型和系統(tǒng)表現(xiàn)良好，但它們往往不易與基礎(chǔ)大模型集成。為了解決這些重要問題，TaskMatrix.AI 破繭而出、應(yīng)運而生，這是由微軟（Microsoft）設(shè)計發(fā)布的新型 AI 生態(tài)系統(tǒng)。其核心技術(shù)近期在《科學(xué)》合作期刊 Inte
  • 關(guān)鍵字： AI  LLM  

AI神奇魅力的源點：相似度

  • 1 前言在本專欄去年的文章《從隱空間認(rèn)識CLIP 多模態(tài)模型》里，已經(jīng)介紹過了：CLIP 的核心設(shè)計概念是，把各文句和圖像映射到隱空間里的一個點( 以向量表示)。其針對每一個文句和圖像都會提取其特征，并映射到這個隱空間里的某一點。然后經(jīng)由矩陣計算出向量夾角的余弦(Cosine) 值，來估計它們之間的相似度(Similarity)。此外，在Transformer 里扮演核心角色的點積注意力(Dot-Product attention) 機(jī)制，其先透過點積運算，從Q與K矩陣計算出的其相似度(Similarit
  • 關(guān)鍵字： 202403  LLM  相似度  CLIP  Transformer  

語言大模型的進(jìn)化軌跡

  • ChatGPT 的發(fā)布是語言大模型（LLM）發(fā)展史的轉(zhuǎn)折點，它讓人們意識到 LLM 的潛力，并引發(fā)了 “AI 競賽”，世界上主要人工智能實驗室和初創(chuàng)公司都參與其中。在這之后，基于 LLM 的聊天機(jī)器人層出不窮。1語言模型簡單來說，語言模型能夠以某種方式生成文本。它的應(yīng)用十分廣泛，例如，可以用語言模型進(jìn)行情感分析、標(biāo)記有害內(nèi)容、回答問題、概述文檔等等。但理論上，語言模型的潛力遠(yuǎn)超以上常見任務(wù)。想象你有一個完備的語言模型，可生成任意類型的文本，并且人們還無法辨別這些內(nèi)容是否由計算機(jī)生成，那么我們就可以使其完成
  • 關(guān)鍵字： 人工智能  LLM  大語言模型  
共11條 1/1 1

llm介紹

您好，目前還沒有人創(chuàng)建詞條llm!
歡迎您創(chuàng)建該詞條，闡述對llm的理解，并與今后在此搜索llm的朋友們分享。    創(chuàng)建詞條

熱門主題

樹莓派    linux   
關(guān)于我們 - 廣告服務(wù) - 企業(yè)會員服務(wù) - 網(wǎng)站地圖 - 聯(lián)系我們 - 征稿 - 友情鏈接 - 手機(jī)EEPW
Copyright ?2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
《電子產(chǎn)品世界》雜志社 版權(quán)所有 北京東曉國際技術(shù)信息咨詢有限公司
備案 京ICP備12027778號-2 北京市公安局備案：1101082052    京公網(wǎng)安備11010802012473