Arm Neoverse N2 平臺上利用 Arm Kleidi 技術(shù)實現(xiàn)自動語音識別卓越性價比

作者：安謀科技 (Arm China) 高級軟件產(chǎn)品經(jīng)理 楊喜樂；高級軟件工程師 Fred Jin

自動語音識別 (Automatic Speech Recognition) 技術(shù)已經(jīng)深入到現(xiàn)代生活的方方面面，廣泛應(yīng)用于從語音助手、轉(zhuǎn)錄服務(wù)，到呼叫中心分析和語音轉(zhuǎn)文本翻譯等方面，為各行各業(yè)提供了創(chuàng)新解決方案，顯著提升了用戶體驗。

隨著機(jī)器學(xué)習(xí) (ML) 和深度學(xué)習(xí)的最新進(jìn)展，自動語音識別技術(shù)的精密性已經(jīng)達(dá)到一個新的高度?，F(xiàn)在，自動語音識別軟件可以非常準(zhǔn)確地理解各種口音、方言和說話風(fēng)格。FunASR 是阿里巴巴達(dá)摩院開發(fā)的一款先進(jìn)的開源自動語音識別工具包。它為開發(fā)和部署自動語音識別系統(tǒng)提供了一套全面的工具和模型。

FunASR 兼容 CPU 和 GPU 計算。雖然 GPU 為訓(xùn)練深度學(xué)習(xí)模型提供了出色的性能，但 CPU 在邊緣側(cè)和數(shù)據(jù)中心服務(wù)器中更為普遍，并且更適合模型推理。因此，F(xiàn)unASR 可以在 CPU 上進(jìn)行高效的自動語音識別推理，并能在 GPU 加速不可用的情況下（如成本限制、功耗限制或缺乏可用性等），依然能夠順利部署。

Arm Neoverse N2 是一款專為云和邊緣計算設(shè)計的高性能 CPU 處理器。它可以支持包括人工智能 (AI) 和 ML 在內(nèi)的多種云工作負(fù)載，并增加了 SVE2、Bfloat16 (BF16) 數(shù)據(jù)格式和 MMLA 等 AI 功能。

SVE2 使開發(fā)者能夠操作更大的數(shù)據(jù)向量，提升并行處理能力和執(zhí)行效率，這對于 AI 模型訓(xùn)練和推理階段涉及的大量數(shù)學(xué)計算尤為重要。

BF16 是一種較新的浮點格式，專為 AI 和 ML 應(yīng)用而設(shè)計。它提供與 32 位浮點數(shù)相同的動態(tài)范圍，但僅占用 16 位存儲空間，有效縮小了模型尺寸，并顯著提升了計算效率。

MMLA 是 Armv8.6 中的一個架構(gòu)特性。它為 GEMM 運(yùn)算提供了顯著加速。GEMM 是 ML 中的一種基本算法，對兩個輸入矩陣進(jìn)行復(fù)雜的乘法運(yùn)算，得到一個輸出。

Arm 此前推出了 Arm Kleidi 技術(shù)，這是一套專為開發(fā)者設(shè)計的賦能技術(shù)，旨在增強(qiáng) Arm Neoverse、Arm Cortex 等 Arm 平臺上的 AI 性能。Kleidi 技術(shù)廣泛涉及從框架到高度優(yōu)化的算子庫，再到充滿活力的獨立軟件供應(yīng)商 (ISV)  生態(tài)系統(tǒng)，全面覆蓋了 AI 開發(fā)的關(guān)鍵環(huán)節(jié)。

在本文中，我們將分享在基于 Neoverse N2 的阿里巴巴倚天 710 平臺上部署 FunASR 推理過程及基準(zhǔn)測試方法。同時，我們將通過啟用 Arm Kleidi 技術(shù)進(jìn)行對比分析，重點介紹與其他基于 CPU 和 GPU 的平臺相比，在倚天 710 CPU 上運(yùn)行 FunASR 推理在性價比方面的主要優(yōu)勢。

基準(zhǔn)測試設(shè)置

軟件版本：

Ubuntu 22.04（64 位）

PyTorch v2.3.0

pip install funasr==0.8.8

pip install modelscope==1.10.0

模型： speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch

請確保系統(tǒng)上安裝了 PyTorch 和相關(guān)的 python 庫 ^[1] ，如果在 Arm 平臺上運(yùn)行，可使用 Arm 在 docker 倉庫中提供的 PyTorch docker 鏡像 ^[2] ，以便進(jìn)行快速評估。

1

對環(huán)境進(jìn)行初始化并導(dǎo)入所需的依賴項

export OMP_NUM_THREADS=16

export DNNL_VERBOSE=1

import torch

import torch.autograd.profiler as profiler

import os

import random

import numpy as np

from funasr.tasks.asr import ASRTaskParaformer as ASRTask

from funasr.export.models import get_model

from modelscope.hub.snapshot_download import snapshot_download

2

下載并配置模型

Paraformer 是阿里巴巴達(dá)摩院在 FunASR 開源項目中開發(fā)的一款高效自動語音識別模型，旨在提高端到端語音識別系統(tǒng)的魯棒性和效率。該模型基于 Transformer 架構(gòu)，并融入了多項創(chuàng)新，以提升其在語音識別中的性能。為了進(jìn)行基準(zhǔn)測試，我們將使用魔搭社區(qū)中的 FunASR paraformer 模型 ^[3] 。

model_dir = snapshot_download('damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch', cache_dir='./',revision=None)

#set the radom seed 0

random.seed(0)

np.random.seed(0)

torch.random.manual_seed(0)

model, asr_train_args = ASRTask.build_model_from_file(

'damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/config.yaml','damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/model.pb' ,'damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/am.mvn' , 'cpu')

model = get_model(model, dict(feats_dim=560, onnx=False, model_name="model"))

3

使用性能分析器運(yùn)行以獲取模型推理結(jié)果

推理運(yùn)行十次迭代以獲得平均結(jié)果。

batch = 64

seq_len = 93

dim = 560

speech = torch.randn((batch, seq_len, dim))

speech_lengths = torch.tensor([seq_len for _ in range(batch)], dtype=torch.int32)

with torch.no_grad():

with profiler.profile(with_stack=True, profile_memory=False, record_shapes=True) as prof:

for _ in range(10):

model(speech, speech_lengths)

print(prof.key_averages(group_by_input_shape=True).table(sort_by='self_cpu_time_total', row_limit=200))

使用 BF16 Fast Math 內(nèi)核加速推理

作為 Arm Kleidi 技術(shù)的一部分，Arm Compute Library (ACL)  通過利用 BF16 MMLA 指令，提供了優(yōu)化的 BF16 通用矩陣乘法 (GEMM) 內(nèi)核。這些指令在 Neoverse N2 CPU 中得到支持，并且從 PyTorch 2.0 版本開始便通過 oneDNN 后端集成到了 PyTorch 中。ACL 中的 Fast Math GEMM 內(nèi)核可以高度優(yōu)化 CPU 上的推理性能。

要啟用 Fast Math GEMM 內(nèi)核，請在運(yùn)行推理之前設(shè)置以下環(huán)境變量：

$ export DNNL_DEFAULT_FPMATH_MODE=BF16

我們發(fā)現(xiàn)，在基于 Neoverse N2 的倚天 710 平臺上啟用 BF16 Fast Math 內(nèi)核后，與默認(rèn)的 FP32 內(nèi)核相比，性能提高了約 2.3 倍。

性能比較

我們還比較了 FunASR paraformer 模型在倚天 710 和阿里云其他同等級別云實例上的性能*。

Arm Neoverse N2（倚天 710）：

ecs.c8y.4xlarge (16 vCPU + 32GB)

第 4 代英特爾至強(qiáng)“Sapphire Rapids”：

ecs.c8i.4xlarge (16 vCPU + 32GB)

第 4 代 AMD EPYC“Genoa”：

ecs.c8a.4xlarge (16 vCPU + 32GB)

*使用 armswdev/pytorch-arm-neoverse:r24.07-torch-2.3.0-onednn-acl docker 鏡像的倚天 710 ^[2] ，適用于英特爾 Sapphire-Rapids 和 AMD Genoa 的官方 PyTorch v2.3.0

我們發(fā)現(xiàn)，基于 Neoverse N2 的倚天 710，搭配 BF16 Fast Math 內(nèi)核，使得 paraformer 自動語音識別模型的推理性能較同等級別的 x86 云實例有高達(dá) 2.4 倍的優(yōu)勢。

在實際推理部署中，成本是 AI 部署的主要考慮因素之一，對技術(shù)的實現(xiàn)和采用有很大的影響。為全面了解 CPU 和 GPU 平臺上自動語音識別推理部署的總體擁有成本 (TCO)，我們將 NVIDIA A10 GPU 也納入對比分析中。得益于 Neoverse N2 出色的性能和能效，倚天 710 平臺相較于同等級別 x86 實例和 GPU 平臺，展現(xiàn)出更高的成本效益，這一點也體現(xiàn)在了阿里云倚天 710 實例更普惠的定價上。

從基準(zhǔn)測試結(jié)果來看，倚天 710 在自動語音識別推理部署的 TCO 方面具有顯著優(yōu)勢，其性價比較同等級別 x86 和 GPU 平臺高出 3.5 倍。

結(jié)論

基于 Arm Neoverse N2 的阿里巴巴倚天 710 具有 BF16 MMLA 擴(kuò)展等特定 ML 功能，為采用 Arm Kleidi 技術(shù)的 FunASR paraformer 模型提供了出色的推理性能。開發(fā)者在倚天 710 上構(gòu)建自動語音識別應(yīng)用可實現(xiàn)更高性價比。

參考鏈接：

[1] https://pytorch.org/get-started/locally/

[2] https://hub.docker.com/r/armswdev/pytorch-arm-neoverse

[3] https://modelscope.cn/models/iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch