體驗(yàn)過百度文心一言，也許真會(huì)超出你的預(yù)期（2）

專注中文理解與生成

揭秘文心一言背后的關(guān)鍵技術(shù)

體驗(yàn)完文心一言，我們來了解下其背后的技術(shù)。在昨天的發(fā)布會(huì)上，百度 CTO 王海峰總結(jié)介紹了文心一言背后的關(guān)鍵技術(shù)。

從整體來看，百度文心一言基于知識(shí)增強(qiáng)千億大模型 ERNIE，同時(shí)借鑒了文心對(duì)話大模型 PLATO，二者的技術(shù)都在文心一言身上得到了延伸，在訓(xùn)練過程中不斷改進(jìn)。

具體來講，文心一言包含了六個(gè)核心技術(shù)模塊，分別是有監(jiān)督精調(diào)、人類反饋的強(qiáng)化學(xué)習(xí)、提示以及知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)。其中前三類技術(shù)是對(duì)話大模型都會(huì)用到的，后三類技術(shù)為百度已有技術(shù)優(yōu)勢(shì)的再創(chuàng)新，它們共同構(gòu)筑了文心一言的技術(shù)根基，并在對(duì)話效果上得到充分釋放和呈現(xiàn)。

持續(xù)優(yōu)化對(duì)話大模型通用技術(shù)

針對(duì)有監(jiān)督精調(diào)，除了標(biāo)準(zhǔn)的有監(jiān)督精調(diào)技術(shù)，百度也做了針對(duì)性的優(yōu)化。首先文心一言做了更多中文標(biāo)注數(shù)據(jù)，基于對(duì)中國(guó)語言文化和中文應(yīng)用場(chǎng)景的理解來選擇數(shù)據(jù)，因而在中文任務(wù)上更好用。其次服務(wù)應(yīng)用，百度在為其個(gè)人用戶和企業(yè)客戶服務(wù)中積累了大量對(duì)應(yīng)用需求的理解，在精調(diào)數(shù)據(jù)時(shí)發(fā)揮了作用。最后富含知識(shí)，除了將知識(shí)圖譜應(yīng)用在知識(shí)增強(qiáng)過程中，還基于知識(shí)圖譜產(chǎn)生了很多事實(shí)證明有效的數(shù)據(jù)來用于數(shù)據(jù)精調(diào)。

我們知道，OpenAI 在調(diào)優(yōu) ChatGPT 時(shí)使用了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的組合，其中強(qiáng)化學(xué)習(xí)組件用到了人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）訓(xùn)練機(jī)制，使得模型在訓(xùn)練中使用人類反饋以最小化無益、失真或偏見的輸出。

百度也非?？粗?RLHF 機(jī)制在訓(xùn)練中的重要性，提出了一套完整的技術(shù)，也被證明非常有效。首先接收人類反饋，然后使用反饋數(shù)據(jù)來訓(xùn)練獎(jiǎng)勵(lì)模型，最后再做強(qiáng)化學(xué)習(xí)的策略優(yōu)化。但應(yīng)看到，由于文心一言剛剛上線，用戶需求和反饋數(shù)據(jù)尚不充分，因而后續(xù)一定會(huì)基于更多真實(shí)反饋獲得進(jìn)化。

提示（prompt）已經(jīng)成為與大模型尤其是對(duì)話大模型互動(dòng)最自然直觀的方式。千億以上參數(shù)的大模型往往蘊(yùn)含了極其豐富的數(shù)據(jù)和知識(shí)，如何快速準(zhǔn)確找到并應(yīng)用這些數(shù)據(jù)和知識(shí)變得至關(guān)重要。這時(shí)提示構(gòu)建得好不好將直接影響語言模型表現(xiàn)出的能力，因此文心一言在這方面下了大功夫。

當(dāng)用戶輸入提示時(shí)可以基于很多自動(dòng)構(gòu)建的方法來提升效果，比如補(bǔ)充實(shí)例（解題時(shí)給出示例）、創(chuàng)作時(shí)給出提綱、規(guī)范等。此外大語言模型也會(huì)出現(xiàn)錯(cuò)誤，這時(shí)加入已知的準(zhǔn)確知識(shí)點(diǎn)也能提升回答準(zhǔn)確性。最后在構(gòu)建提示時(shí)加入思維鏈也會(huì)使答案更合理，邏輯更清晰。

獨(dú)特優(yōu)勢(shì)構(gòu)成文心一言強(qiáng)大根基

除了繼續(xù)強(qiáng)化打磨大語言模型的通用技術(shù)，百度還針對(duì)知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)三個(gè)已有優(yōu)勢(shì)進(jìn)行再創(chuàng)新。

知識(shí)增強(qiáng)是文心大模型的核心特色之一，通過從海量的知識(shí)和數(shù)據(jù)中融合學(xué)習(xí)，模型能夠?qū)崿F(xiàn)更高的效率、更好的效果、更強(qiáng)的可解釋性。做到這些需要兩方面的技術(shù) —— 知識(shí)內(nèi)化和知識(shí)外用。知識(shí)內(nèi)化是從大規(guī)模知識(shí)和無標(biāo)注數(shù)據(jù)中，基于語義單元學(xué)習(xí)，利用知識(shí)構(gòu)造訓(xùn)練數(shù)據(jù)，將知識(shí)學(xué)習(xí)到模型參數(shù)中；知識(shí)外用是指知識(shí)在模型參數(shù)中未內(nèi)化進(jìn)去，但在推理過程中引入外部多源異構(gòu)知識(shí)，做知識(shí)推理、提示構(gòu)建等。

此外通過知識(shí)圖譜來構(gòu)建訓(xùn)練數(shù)據(jù)，達(dá)到知識(shí)內(nèi)化的效果。百度擁有世界上最大的多源異構(gòu)知識(shí)圖譜，包含了 50 億實(shí)體和 5500 億事實(shí)，并在不斷演進(jìn)和更新。除了基于知識(shí)圖譜進(jìn)行知識(shí)推理，還可以基于知識(shí)來構(gòu)建提示。

百度在搜索領(lǐng)域擁有很多領(lǐng)先技術(shù)，每天響應(yīng)幾十億次真實(shí)的用戶使用需求。發(fā)展到了今天，百度新一代搜索架構(gòu)已經(jīng)發(fā)展到了基于語義理解和匹配，其中文心大模型分別理解用戶輸入和文檔，形成雙塔模型，然后基于理解進(jìn)行匹配。

這套搜索架構(gòu)與包括文心一言在內(nèi)的文心大模型有著天然不可分的關(guān)聯(lián)，在做生成模型時(shí)可以進(jìn)行聯(lián)合優(yōu)化，將檢索中一些有價(jià)值的結(jié)果（如精準(zhǔn)的信息）帶入生成過程。通過引入搜索結(jié)果，為大模型提供時(shí)效性強(qiáng)、準(zhǔn)確率高的參考信息，更好地滿足用戶需求。

百度在對(duì)話領(lǐng)域同樣擁有很多對(duì)話技術(shù)和應(yīng)用積累。我們知道，對(duì)話很多時(shí)候不是一個(gè)問題和一個(gè)答案，有上下文的多輪對(duì)話才是常態(tài)，因此記憶機(jī)制和上下文理解都很重要。同時(shí)長(zhǎng)對(duì)話還要考慮對(duì)話規(guī)劃，這些結(jié)合起來才能實(shí)現(xiàn)更好的對(duì)話連貫性、合理性和邏輯性。

可以看到，打造出一個(gè)出色的大模型哪有那么容易，在技術(shù)上需要持續(xù)創(chuàng)新。AI 研發(fā)就像燒一壺開水，比 100℃更難的是從 0℃到 99℃。王海峰表示，文心一言是百度多年技術(shù)積累和產(chǎn)業(yè)實(shí)踐的水到渠成。

這一切可以追溯到 2010 年，彼時(shí)深度學(xué)習(xí)尚未大火，百度即開始全面布局人工智能，是全球?yàn)閿?shù)不多、進(jìn)行全棧布局的人工智能公司。從底層芯片到框架、模型和應(yīng)用，百度都擁有領(lǐng)先的自研技術(shù)和產(chǎn)品，通過層與層之間的相互反饋、端到端優(yōu)化提升效率，貫通整個(gè) AI 全產(chǎn)業(yè)鏈。

尤其飛槳深度學(xué)習(xí)平臺(tái)和文心大模型的聯(lián)合優(yōu)化為文心一言提供了堅(jiān)實(shí)的技術(shù)支撐。飛槳支撐了文心一言從開發(fā)訓(xùn)練到推理部署的整個(gè)流程，在開發(fā)訓(xùn)練層面，飛槳?jiǎng)屿o統(tǒng)一的開發(fā)范式和自適應(yīng)分布式架構(gòu)，實(shí)現(xiàn)大模型的靈活開發(fā)和高效訓(xùn)練；在推理部署層面，飛槳支持大模型高效推理，提供服務(wù)化部署能力，包括計(jì)算融合、軟硬協(xié)同的稀疏量化、模型壓縮等。

同時(shí)，文心大模型自 2019 年發(fā)布 ERNIE 1.0 以來，已經(jīng)全面涵蓋了 NLP、CV、跨模態(tài)、生物計(jì)算以及行業(yè)大模型，并基于大模型推出了 AI 作畫產(chǎn)品文心一格和產(chǎn)業(yè)級(jí)搜索系統(tǒng)文心百中。

飛槳深度學(xué)習(xí)平臺(tái)和文心大模型是支撐文心一言的底氣。文心一言還延續(xù)了文心大模型知識(shí)增強(qiáng)的特色，通過理解和生成能力的集成獲得極大助益。

作為國(guó)內(nèi)搜索領(lǐng)域的頭號(hào)玩家，在可預(yù)見的未來，百度或?qū){借文心一言引領(lǐng)中文搜索市場(chǎng)的代際變革，為用戶帶來更便捷友好的搜索體驗(yàn)。此外以文心一言為契機(jī)的大語言模型和生成式 AI 也將助力金融、能源、媒體、政務(wù)等千行百業(yè)的智能化變革。

正如李彥宏在會(huì)上所說，「百度希望和大家一起，推動(dòng)人工智能技術(shù)進(jìn)步，讓所有人都能使用最先進(jìn)的生產(chǎn)力工具，讓所有人都能從中受益?！?/span>

最后感慨一句，ChatGPT、GPT-4 的連番發(fā)布，讓我們一直憂心中國(guó) AI 技術(shù)能否跟上海外的步伐。昨天百度的新聞發(fā)布會(huì)，我們能看到有人調(diào)侃吐槽，但也看到更多人愿意抱著寬容的態(tài)度看待百度勇敢邁出的第一步。期待在百度的這一步之后，更多中國(guó)企業(yè)能夠走的更遠(yuǎn)。