新聞中心

EEPW首頁 > 手機與無線通信 > 設計應用 > 天璣9400首發(fā)端側AI生成視頻,太神奇了!

天璣9400首發(fā)端側AI生成視頻,太神奇了!

作者: 時間:2024-10-15 來源:EEPW 收藏

最近,聯(lián)發(fā)科發(fā)布了全新的旗艦芯片,這是天璣第二代全大核SoC,更是業(yè)界首款旗艦5G智能體AI芯片。繼天璣9300在行業(yè)第一個將生成式AI能力落地到智能手機之后,聯(lián)發(fā)科天璣在領域就一直高歌猛進,不斷地推出新的技術,并擴大天璣的產(chǎn)品優(yōu)勢和生態(tài)優(yōu)勢。最新的不僅拿下了端側的AI性能第一,更是領先行業(yè)首發(fā)手機端側視頻生成、訓練等一系列最先進的生成式AI功能,并聯(lián)合應用生態(tài)打造了豐富的端側AI創(chuàng)新應用。

本文引用地址:http://2s4d.com/article/202410/463662.htm

先進技術創(chuàng)新,開啟“端側視頻”和“端側訓練”的新篇章

還帶來了多項震驚整個行業(yè)的前沿技術,首發(fā)了端側視頻生成應用,這在整個業(yè)界包括云端都是最前沿的功能。據(jù)介紹,天璣9400的NPU 890通過內(nèi)建時域張量(Temporal Tensor)硬件指令加速技術和端側高畫質(zhì)Diffusion Transformer(DiT)技術,在端側實現(xiàn)了類似Sora的視頻生成功能,開創(chuàng)了手機端側AI的新篇章。

從生成圖像到,這是AI技術上的一大跨越,意味著端側AI從此擁有了像云端一樣理解物理世界規(guī)則的能力,可以期待天璣這項技術的成熟和進化,這或許將帶來一場手機應用生態(tài)和手機生產(chǎn)力角色的巨大變革。

智慧的AI體驗,一定是個性化的服務?;趶姾返亩藗人懔蜕墒紸I能力,天璣9400首發(fā)端側LoRA訓練,可以讓用戶利用個人資料在端側訓練和生成個性化內(nèi)容,并建立專屬于個人的AI數(shù)字分身。整個過程無需連網(wǎng),既保護了用戶隱私,又實現(xiàn)了AI的專屬個人化,無限地拓展創(chuàng)意。這是智能手機和應用升級為智能體化的關鍵,在保護用戶隱私的前提下,智能體化的手機會基于個人數(shù)據(jù)越來越懂用戶的偏好、習慣,甚至在未來會理解用戶的情感和行動趨勢。

聯(lián)發(fā)科還與虹軟合作,基于端側個性化模型訓練,打造了生成式AI修圖解決方案,讓搭載天璣9400的手機擁有更好的AI修圖效果。

天璣讓AI更懂你,先進生成式AI讓創(chuàng)意更隨心

天璣9400還帶來了一系列的端側AI應用底層技術創(chuàng)新。天璣9400的Stable Diffusion性能相較前代提升了2倍,可以根據(jù)用戶照片的身體姿態(tài),生成各種頗具創(chuàng)意的動圖,讓用戶在手機端側就可以輕松發(fā)揮創(chuàng)造力。

聯(lián)發(fā)科還和小紅書深度合作,首發(fā)推出端側SDXL高清風格圖,可以將用戶的個人照片通過端側的AI處理生成各種風格的魔幻照片,而且相比云端平均生成時長還要快2倍,本地AI運算快速的優(yōu)勢體現(xiàn)出來了。

此外,聯(lián)發(fā)科還和全民K歌深度合作,首發(fā)推出端側AI純凈人聲萃取技術,通過天璣AI音源分軌技術,將K歌時的人聲提取出來,再搭配stable diffusion算法做人聲還原,可以打造出純凈動聽的歌聲,然后再搭配音樂混音, 可以為用戶提供媲美專業(yè)錄音室的的K歌作品,讓唱歌愛好者用手機就可以享受媲美專業(yè)錄音室級別的效果。

同時,天璣9400的端側長文本處理能力大幅提升,支持32K Tokens,提升到上一代的8倍,極大的提升了端側大語言模型的溝通能力。這意味著可以錄入更多的內(nèi)容給生成式AI應用,人機溝通更加不受限,AI也變得越來越聰明,可以快速學習更豐富的知識來生成更準確的內(nèi)容。

更驚艷的是,天璣9400端側多模態(tài)AI運算性能達到業(yè)界第一的50 Tokens每秒,可以大幅度減少用戶等待內(nèi)容生成的時間。基于強大的端側多模態(tài)AI運算性能,天璣9400可以理解與推理圖片的內(nèi)容,還可以理解圖片中文字和數(shù)字的相對關系,并根據(jù)用戶的喜好提供更加個性化的服務。

聯(lián)發(fā)科技與面壁智能合作,提升端側多模態(tài)AI的理解和推理能力,只需要用手機拍一張圖,就可以讓AI幫你解題。除了做數(shù)學題,還可以實現(xiàn)更多場景應用,比如點餐,只需要拍一張菜單照片,智能體AI就可以根據(jù)你的喜好幫你點餐。

今年,聯(lián)發(fā)科提出的天璣端側AI技術路線包括“芯片、模型、應用”三個維度。為了滿足用戶在端側對不同應用和大模型的需求,天璣9400與阿里云、百川智能、百度智能云、Google、零一萬物、面壁智能、Meta、Microsoft、騰訊混元等全球領先的大模型廠商深度合作,實現(xiàn)了對這些主流大模型的深度適配優(yōu)化,讓用戶自由選擇不受限。

在面向應用開發(fā)者的天璣AI先鋒計劃推動和引領下,目前已經(jīng)有海量AI先行者加入到天璣AI生態(tài)中,共同探索端側AI技術創(chuàng)新路線和應用前景,天璣在端側AI的領導和行業(yè)聚合效應無疑正在為端側AI用戶帶來更多可能性。

NPU性能稱霸,以最強端側AI構筑“智能體化”堅實基底

看天璣9400的AI性能提升。天璣9400搭載聯(lián)發(fā)科全新的第八代AI處理器NPU 890,AI性能和能效都有著飛躍式的提升。在蘇黎世ETHZ AI Benchmark v6.0 芯片AI性能的測試中,天璣9400以絕對高分的成績一騎絕塵,相比友商芯片直接就是倍數(shù)級的領先。此外,天璣9400相較于上一代功耗降低可達35%。AI性能第一、功耗大幅降低,輕松拿下最強手機NPU。聯(lián)發(fā)科對于低功耗的重視真是刻到了骨子里,畢竟只有更好的功耗控制,才有更大的潛力運行各類創(chuàng)新的AI應用。

天璣9400統(tǒng)治級的AI性能已經(jīng)遠超一般迭代的范圍,但聯(lián)發(fā)科花費這么大的力氣提升AI其實并不意外。早在今年上半年聯(lián)發(fā)科就召開了開發(fā)者大會MDDC 2024,與眾多合作伙伴聯(lián)合發(fā)布了《生成式AI手機產(chǎn)業(yè)白皮書》,詮釋了手機發(fā)展與變革的新趨勢,手機和AI應用的智能體化是未來手機進化的主要路線,移動芯片毫無疑問是這一場變革的關鍵。聯(lián)發(fā)科作為端側AI的率先布局者和引領者以及端側AI生態(tài)的建設者,在AI技術和能力上的巨大投入是必然。

面向AI手機和AI應用智能體化這一關鍵趨勢,天璣9400集成了MediaTek天璣AI智能體化引擎,可將傳統(tǒng)AI應用程序升級為更先進的智能體化AI應用。聯(lián)發(fā)科正在積極與開發(fā)者合作,為 AI智能體、第三方應用程序和大模型之間提供統(tǒng)一的標準接口,實現(xiàn)AI跨應用串聯(lián),從而高效地運行邊緣AI計算和云服務。天璣AI智能體化引擎具備自主化、推理化和行動化三大特性,可以自主感知環(huán)境理解目標,可根據(jù)環(huán)境的變化調(diào)整策略以及支持多個智能體交流和協(xié)作,作為集成于天璣9400中的先進AI技術,一經(jīng)發(fā)布就受到了行業(yè)的廣泛關注。

同時,該技術還可縮短AI產(chǎn)品的開發(fā)周期,有利于加速構建應用更豐富、體驗更出色的天璣AI生態(tài)。

不論端側AI技術發(fā)展的如何快速,能夠落地到端側應用,帶給用戶最智能、智慧的體驗才是最終目的。在天璣開發(fā)者大會上,聯(lián)發(fā)科聯(lián)合眾多合作伙伴發(fā)布了天璣AI先鋒計劃,用端側AI生態(tài)的基礎設施建設為AI應用大爆發(fā)埋下了第一個伏筆。天璣AI智能體化引擎則為應用開發(fā)者帶來了更加便捷的解決方案,可以加快移動應用大面積智能體化的進程。

發(fā)布會上,聯(lián)發(fā)科發(fā)布天璣AI智能體化引擎先鋒計劃,在未來將聯(lián)合榮耀、OPPO、vivo、小米、傳音等多個業(yè)界重磅合作伙伴,攜手打造先進的智能體化AI應用體驗。這便是聯(lián)發(fā)科為端側AI應用大爆發(fā)埋下的第二個伏筆。聯(lián)發(fā)科正在從芯片、開發(fā)者解決方案、終端合作構建全鏈路的智能體化AI應用創(chuàng)新環(huán)境。相信很快,在天璣AI生態(tài)深刻而廣泛的推進作用下,端側AI應用將迎來無比繁榮的景象,各種最懂用戶的端側智能體化應用將帶來全面智慧的AI生活體驗。

“端側生成式AI”在去年還是一個前瞻性的詞匯,而僅僅過去一年,創(chuàng)新的端側AI技術和應用就如同雨后春筍般潮涌而來,整個移動硬件和軟件行業(yè)被徹底盤活,這背后正是芯片廠商聯(lián)合整個產(chǎn)業(yè)創(chuàng)造的巨大推手。天璣9400的強悍NPU、AI能力和智能手機的個人化、場景化特點正在完美結合,手機作為端側AI最佳載體的優(yōu)勢已經(jīng)顯露無疑,天璣9400領先行業(yè)的AI性能、生成式AI能力,以及聯(lián)發(fā)科對于整個AI生態(tài)的聚攏和引領,也讓天璣9400成為了智能體化AI手機的最佳選擇。

讓人十分期待的是,一個由AI芯片、應用生態(tài)和終端設備引領的全場景智慧生活時代,正在徐徐到來。



評論


技術專區(qū)

關閉