博客專欄

EEPW首頁 > 博客 > 手把手教你用聆思CSK6大模型開發(fā)板接入文心一言/千帆大模型

手把手教你用聆思CSK6大模型開發(fā)板接入文心一言/千帆大模型

發(fā)布人:ListenAI 時(shí)間:2024-07-19 來源:工程師 發(fā)布文章
前言

多模態(tài)交互離不開硬件載體,近期有不少開發(fā)者在研究大模型開發(fā)板除了使用出廠示例自帶的星火大模型,能不能接入文心一言、通義千問、豆包、智譜glm、kimi等國內(nèi)的大模型,這個(gè)是必須支持的。但由于各家接口和數(shù)據(jù)格式不一樣,有些朋友直接參考chatgpt的方式?jīng)]有走通,因此本篇以聆思CSK6大模型開發(fā)板接入文心一言為例,分享具體的接入步驟,大家按照文檔步驟操作即可。


由上圖可見,當(dāng)前SDK方案是把開發(fā)套件當(dāng)做輸入端,文字或圖片內(nèi)容先上傳到聆思的大模型平臺(tái)(LSPlatform),然后平臺(tái)再根據(jù)匹配的應(yīng)用策略轉(zhuǎn)給后端的大模型處理。基于聆思大模型平臺(tái)提供的應(yīng)用編排功能,我們?nèi)绻褂闷渌竽P?,只需要從云端更改大模型接入?jié)點(diǎn),而無需去修改硬件端。

鏈路說明

示例中包含3條鏈路,分別為

 鏈路1: 可通過inject節(jié)點(diǎn)調(diào)用文心一言節(jié)點(diǎn),并將結(jié)果輸出到debug1。

 鏈路2: 可通過web對話頁調(diào)用文心一言節(jié)點(diǎn),最終將大模型結(jié)果輸出到對話頁面上。

 鏈路3: 可通過開發(fā)板調(diào)用文心一言節(jié)點(diǎn),最終將大模型輸出的結(jié)果進(jìn)行語音合成實(shí)現(xiàn)端側(cè)播報(bào)。


云端服務(wù)接入文心一言1、創(chuàng)建應(yīng)用

登錄LSplatform,創(chuàng)建新應(yīng)用


創(chuàng)建成功后在彈出的界面進(jìn)入應(yīng)用編排服務(wù)。


2、導(dǎo)入工程

1.  下載工程示例:文心一言示例.json

2.  導(dǎo)入工程示例:選擇文心一言示例.json文件導(dǎo)入


若提示“您要導(dǎo)入的某些節(jié)點(diǎn)已經(jīng)存在于工作空間中?!保瑒t選擇“導(dǎo)入副本”即可。

3、配置參數(shù)


參數(shù)說明:

 HOST:api.baidubce.com

 AK(Access Key)/SK(Secret Key):這里使用AK和SK鑒權(quán)調(diào)用API流程,可前往百度智能云官網(wǎng)創(chuàng)建AK與SK,詳情可查看文檔 基于安全認(rèn)證AK和SK鑒權(quán)調(diào)用API流程 - 千帆大模型平臺(tái) | 百度智能云文檔

 Model:這里提供ENRIE-3.5-8K/ENRIE-4.0-Turbo-8K-Preview可選擇,若要更換其他模型,可自行添加。調(diào)用其他模型可根據(jù)百度智能云文檔來查詢調(diào)用方法 千帆大模型平臺(tái) | 百度智能云文檔

 Stream:是否流式返回

4、部署驗(yàn)證

在完成參數(shù)配置,進(jìn)入完整體驗(yàn)之前,我們可以簡單測試驗(yàn)證,驗(yàn)證是否成功調(diào)用文心一言。

 部署成功后關(guān)閉當(dāng)前編排服務(wù)


 重啟應(yīng)用


 測試接口

重啟應(yīng)用后,再次點(diǎn)開編排應(yīng)用,點(diǎn)擊時(shí)間戳(注入節(jié)點(diǎn)),會(huì)觸發(fā)一次文心一言子流程調(diào)用,標(biāo)記2紅框輸出類似日志代表成功建立鏈接

 打開web驗(yàn)證頁面

回到我的應(yīng)用,雙擊思CSK6_文心一言應(yīng)用,在彈出的應(yīng)用詳情頁面點(diǎn)擊右上角分享按鈕打開web驗(yàn)證配置,配置包含測試地址和訪問密碼。


 訪問web驗(yàn)證頁面鏈接,打開的web即可與文心一言對話




大模型開發(fā)板接入文心一言

云端接入文心一言成功后,聆思CSK6大模型開發(fā)板進(jìn)行語音交互,需要對接文心一言云端服務(wù)指定開發(fā)板綁定。

1、創(chuàng)建產(chǎn)品

產(chǎn)品管理模塊點(diǎn)擊新建產(chǎn)品按鈕,并按要求填寫你的產(chǎn)品名稱。


2、云端應(yīng)用和云端產(chǎn)品信息綁定

配置你需要調(diào)用的大模型應(yīng)用,完成配置后,用戶即可體驗(yàn)文心一言與開發(fā)板交互。在此我們僅需在配置應(yīng)用勾對文章第一步創(chuàng)建的應(yīng)用即可。



3、云端應(yīng)用設(shè)備列表加入硬件設(shè)備ID

讀取設(shè)備id

設(shè)備ID是一個(gè)產(chǎn)品下的唯一設(shè)備標(biāo)識(shí),我們需要獲取當(dāng)前設(shè)備ID方便后續(xù)在云端配置,才能讓設(shè)備鑒權(quán)通過實(shí)現(xiàn)端云交互。

讀取方式:

cskburn desktop是一款聆思推出的桌面燒錄工具,下載地址(cskburn桌面燒錄工具 | 聆思文檔中心)打開軟件后

1.點(diǎn)擊串口下拉框,選擇連接開發(fā)套件后識(shí)別到的串口編號;

2.點(diǎn)擊獲取信息

3.得到設(shè)備ID


加入設(shè)備列表

聆思平臺(tái)只會(huì)對列表中的設(shè)備鑒權(quán)提供交互服務(wù),因此需要將前面讀取到的設(shè)備ID在設(shè)備管理頁面進(jìn)行導(dǎo)入才能實(shí)現(xiàn)設(shè)備正常交互。



4、CSK6開發(fā)板設(shè)備端寫入云端產(chǎn)品服務(wù)配置

云端配置設(shè)備id后,需將產(chǎn)品ID寫開發(fā)板固件,才能讓設(shè)備運(yùn)行時(shí)找到正確云端產(chǎn)品服務(wù)進(jìn)行鑒權(quán)鑒權(quán)完成就可以進(jìn)行大模型語音交互了。

寫入方式:

使用數(shù)據(jù)線連接開發(fā)板 DAP_USB 接口后,打開聆思在線串口終端,選擇對應(yīng)的串口設(shè) 備進(jìn)行連接,波特率默認(rèn)115200,完成配置后點(diǎn)擊連接按鈕。


通過 aiui set product_id aiui set secret_id指令可以分別配置開發(fā)板接入的大模型應(yīng)用 product ID 及其密鑰,示例如下:

aiui set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

aiui set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

product_idproduct_secret 可在對應(yīng)產(chǎn)品的產(chǎn)品信息中獲取,請將指令中的參數(shù)替換為產(chǎn)品信息中的 id 與 secret 信息。


 語音交互

小美小美喚醒,并提問你是誰,語音回復(fù)它是文心一言即可驗(yàn)證成功。至此,可以確認(rèn)文心一言接入成功。本文使用的聆思CSK6模型開發(fā)板詳細(xì)信息可參考線上文。https://docs2.listenai.com/x/nTn9kMMCU


*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀點(diǎn),如有侵權(quán)請聯(lián)系工作人員刪除。



關(guān)鍵詞: 文心一言 聆思CSK6

相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉