蘋果發(fā)布DeepPCR機器學(xué)習(xí)算法：加速神經(jīng)網(wǎng)絡(luò)的推理和訓(xùn)練

蘋果近日發(fā)布了DeepPCR機器學(xué)習(xí)算法，通過并行處理常規(guī)順序操作，可以加速神經(jīng)網(wǎng)絡(luò)的推理和訓(xùn)練。

神經(jīng)網(wǎng)絡(luò)處理過程中，目前廣泛采取并行化技術(shù)，不過神經(jīng)網(wǎng)絡(luò)中的一些操作仍然是按順序完成的，擴散模型通過一系列的去噪階段生成輸出，并且逐層進行向前和向后傳遞。隨著步驟數(shù)的增加，這些進程的順序執(zhí)行在計算上變得昂貴，可能會導(dǎo)致計算瓶頸。

蘋果科研團隊為了解決這個問題，推出了DeepPCR算法，進一步加速了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理。該團隊采用了平行循環(huán)還原（PCR）算法來檢索該解決方案，將順序過程的計算成本從 O（L）降低到 O（log2 L），降低了復(fù)雜性，提高了運行速度。

團隊表示多層感知器中部署DeepPCR算法之后，并行化前向和后向通過，實現(xiàn)了最高30倍的前向傳遞速度和最高200倍的向后傳遞速度。

DeepPCR算法主要結(jié)論如下：

· DeepPCR是一種用于在神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理中并行化順序過程的創(chuàng)新方法。它的主要特點是能夠?qū)⒂嬎銖?fù)雜度從 O（L）降低到 O（log2 L），其中L是序列長度。

· DeepPCR已用于并行化多層感知器（MLP）中的前向和后向傳遞，還對該技術(shù)的性能進行了廣泛的分析，以確定該方法的高性能狀態(tài)，同時考慮基本設(shè)計參數(shù)。

· DeepPCR已被用于加速MNIST上的深度ResNet訓(xùn)練，以及在MNIST、CIFAR-10和CelebA數(shù)據(jù)集上訓(xùn)練的擴散模型的生成。結(jié)果表明，雖然DeepPCR顯示出顯著的加速，將ResNet訓(xùn)練的數(shù)據(jù)恢復(fù)速度提高了7×，擴散模型創(chuàng)建速度提高了11×。