聆思CSK6大模型開發(fā)板英語評測類開源SDK詳解

離線英文評測算法SDK能力簡介

CSK6 大模型開發(fā)套件可以對用戶通過語音輸入的英文單詞進行精準識別，并對單詞的發(fā)音、錯讀、漏讀、多讀等方面進行評估，進行音素級的識別，根據(jù)用戶的發(fā)音給出相應的建議和糾正，幫助用戶更好地掌握單詞的發(fā)音。

離線單詞評測 算法具備以下特性：

●支持單詞評測，評測準確率98%以上

●支持音素級識別

●支持單詞發(fā)音評分

●支持識別無效評測音頻

功能交互展示

視覺語音大模型AI開發(fā)套件（https://docs2.listenai.com/x/nTn9kMMCUSDK ）配套了離線英文評測這一示例工程，文本將對本示例工程進行說明。

1.固件運行后，可以在顯示屏上看到 單詞評測 的圖標，點擊圖標即可進入單詞評測應用：

2.目前固件提供了三種單詞、短語、句子評測模式，點擊對應選項課進入對應的模式：

3.以單詞評測為例，進入該模式后，固件將給出若干個英文單詞，可點擊右下角評測按鈕進行評測：

4.對著開發(fā)套件讀出單詞后，點擊右下角圖標結(jié)束評測，固件將給出此次評測的結(jié)果：

離線英譯中SDK

能力簡介

基于transformer模型，使用聆思科技開源的AI生態(tài)工具鏈LNN(ListenAI Neural Network)，完成中英翻譯任務的訓練、量化、模型轉(zhuǎn)換、仿真調(diào)試等一系列步驟，并實現(xiàn)在聆思CSK6芯片上進行推理。

SDK提供的示例集成了這個模型，可以讓聆思CSK6開發(fā)板實現(xiàn)英譯中功能，可用于體驗離線翻譯功能。

觸摸屏UI交互翻譯

固件燒錄完畢后，程序?qū)⒆詣舆\行，您也可以通過復位按鍵(RST)對程序進行復位，復位后的UI界面如下：

●點擊畫面中心的輸入框，可通過屏幕上顯示的鍵盤輸入句子

●點擊輸入框左側(cè)的按鈕，可隨機填入一句演示的句子

●點擊下方翻譯按鈕，即可輸出改句子的中文翻譯

UART串****互翻譯

本示例也支持通過串口 UART 進行離線翻譯，操作如下：

●打開 聆思在線串口終端(https://tool.listenai.com/serial-term/)，選擇開發(fā)板對應的串口，點擊連接

在下方輸入框輸入待翻譯的英文內(nèi)容，點擊發(fā)送按鈕，即可在接收區(qū)查看到翻譯后的中文結(jié)果。

離線字母拼讀算法SDK

能力簡介

CSK6 大模型開發(fā)套件可以對用戶的語音輸入進行字母(a~z)的識別，通過語音拼讀單詞字母，快速準確地查詢單詞的發(fā)音和含義，可應用于掃描詞典筆、單詞卡、學習機等產(chǎn)品。

可以對用戶的語音輸入進行字母(a~z)的識別，通過語音拼讀單詞字母，快速準確地查詢單詞的發(fā)音和含義。

功能交互展示

聆思 CSK6 大模型開發(fā)套件出廠集成提供了字母拼讀算法的示例，長按即可加載示例進行使用，無需聯(lián)網(wǎng)。

1.固件運行后，可以在顯示屏上看到操作提示詞：

2.按住按鍵進行單詞拼讀：

3.拼讀完成后，固件將會給出單詞的發(fā)音和含義：

SDK資源下載

以上3個離線英語評測SDK可以在以下地址下載：

1、 語音視覺大模型開發(fā)板 SDK：https://cloud.listenai.com/CSKG962172/duomotai_ap/-/tree/master/

●字母拼讀：apps目錄下，工程目錄名稱為 lcd_wsp

●英文評測： apps目錄下，工程目錄名稱為 lcd_csps

●英譯中： apps/thinker_service目錄下，工程目錄名稱為 translation

2、離線英譯中transformer模型項目地址：GitHub - dwzhang00/Offline-translation: An offline translation model based on transformer

補充開發(fā)板信息

開發(fā)板具備豐富語音圖像功能與硬件外設的開發(fā)板，采用有著豐富組件生態(tài)的 Zephyr RTOS 作為操作系統(tǒng)，默認配套開箱即玩的 AI 應用，也可以配合聆思的模型訓練推理工具 LNN 將自己的算法模型部署至芯片上，構(gòu)建自己的 AI 應用，開發(fā)板詳情參考：https://docs2.listenai.com/x/nTn9kMMCU