讓機器更智能 愛芯元智AX650N端側與邊緣側Transformer部署實踐_快看點

(資料圖片僅供參考)

近來,ChatGPT成為社會各界關注的焦點。從技術領域看,ChatGPT的爆發(fā)是深度學習領域演進、發(fā)展和突破的結果,其背后代表著Transformer結構下的大模型技術的飛速進展。因此,如何在端側、邊緣側高效部署Transformer也成為用戶選擇平臺的核心考量。

2023年3月,愛芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的優(yōu)異表現,AX650N受到越來越多有大模型部署需求用戶的青睞,并且先人一步成為Transformer端側、邊緣側落地平臺。

Transformer是當前各種大模型所采用的主要結構,而ChatGPT的火爆讓人們逐漸意識到人工智能有著更高的上限,并可以在計算機視覺領域發(fā)揮出巨大潛能。相比于在云端用GPU部署Transformer大模型,在邊緣側、端側部署Transformer最大的挑戰(zhàn)則來自功耗,這也使得愛芯元智兼具高性能和低功耗特質的混合精度NPU,成為端側和邊緣側部署Transformer的首選平臺,而其優(yōu)越性能則決定了Transformer的運行效果。

作為人工智能視覺感知芯片研發(fā)及基礎算力平臺公司,愛芯元智始終致力于讓更多的實際應用落地。目前大眾普遍采用的Transformer網絡SwinT,在愛芯元智AX650N平臺表現出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的極易部署能力,都讓AX650N在Transformer的落地中有著領先的優(yōu)勢地位。

關鍵詞：