從智能家居到智能交通，從醫療診斷到工業自動化，AI 的應用場景不斷拓展，其對算力的需求也日益攀升。然而，在資源受限的嵌入式設備上實現高效的 AI 推理，一直是困擾業界的難題。

7月18日，在第五屆RISC-V中國峰會的AI分論壇上，芯來科技嵌入式軟件工程師舒卓發表演講時介紹了芯來科技是如何通過 RISC-V V擴展技術，為這一難題提供了一套創新且高效的解決方案，為嵌入式 AI 的發展注入了強勁動力。

背景：嵌入式 AI 的挑戰與機遇

隨著 AI 技術的飛速發展，其應用范圍逐漸從云端服務器向邊緣設備和嵌入式系統延伸。嵌入式設備以其低功耗、高性能、高集成度等特性，在物聯網、智能穿戴、工業控制等領域展現出巨大的應用潛力。然而，嵌入式設備的硬件資源相對有限，其算力難以滿足復雜 AI 模型的直接運行需求。因此，嵌入式 AI 通常采用“訓練 - 推理分離”的模式，即在服務器上完成模型的訓練，然后將訓練好的模型部署到嵌入式設備上進行推理運算。

舒卓指出，在硬件架構方面，嵌入式 AI 系統多采用“通用 + 專用”的架構組合。專用架構如專用的 DSA（Domain - Specific Architecture）或 NPU（Neural Processing Unit），它們針對特定的 AI 算法進行了優化，能夠提供強大的算力支持，但靈活性較差，難以適應算法的快速迭代。而通用架構則以 RISC-V V 擴展為代表，它能夠隨著算子的演進而不斷升級，為嵌入式設備提供了更為靈活的 AI 加速方案。

Nuclei AI Library：為 VPU 加速賦能

在這樣的行業背景下，芯來科技推出了 Nuclei AI Library，旨在為開發者提供一套基于 RISC-V V 擴展的高效 AI 算子優化庫。Nuclei AI Library 的出現，正是為了填補 NPU 在某些場景下無法滿足需求的空白，為嵌入式設備上的 AI 推理提供更強大的支持。

Nuclei AI Library 對常見的 AI 算子進行了深度優化，覆蓋了 int8、int16、fp16、bf16、fp32 等多種數據格式，能夠滿足不同精度要求的 AI 應用場景。無論是矩陣運算、卷積操作，還是激活函數等，這些經過優化的算子都能在 RISC-V VPU（Vector Processing Unit）上實現高效的運行。而且，該庫還提供了對不同運行環境的支持，包括裸機、RTOS（Real - Time Operating System）以及 Linux 環境，極大地增強了其在實際應用中的適用性。

在實際的性能測試中，Nuclei AI Library 的表現令人矚目。以 GEMM（General Matrix Multiply，通用矩陣乘）算子為例，這是 AI 模型中算力占比極高的一個算子。通過采用一系列優化策略，如避免使用效率較低的 Reduction 指令、充分“榨取”已加載的數據以減少 Load 操作、盡量用滿 V 數據寄存器等，Nuclei AI Library 在 Nuclei nx900fdv 上對 GEMM 算子進行了優化，實測結果顯示其性能提升倍數顯著，為嵌入式設備上的矩陣運算帶來了質的飛躍。

對于 CNN（Convolutional Neural Network，卷積神經網絡）中占比極高的 CON2D（二維卷積）算子，Nuclei AI Library 同樣提供了高效的優化方案。目前常用的優化方法有兩種：一種是使用 Im2col + GEMM，另一種是使用 Winograd + GEMM 加速小尺寸卷積核。這兩種方法的核心都是將復雜的卷積運算轉化為矩陣乘法運算，從而充分利用矩陣運算的高效性。在 Nuclei nx900fdv 上的測試數據表明，經過 V 擴展優化后的 CON2D 算子性能得到了大幅提升，為嵌入式設備上 CNN 網絡的推理運算提供了有力支持。

Nuclei BF16 擴展：提升 AI 計算效率的利器

除了對常見 AI 算子的優化，芯來科技還針對當前 AI 領域對計算效率和精度的雙重需求，推出了 Nuclei BF16 擴展。BF16（Brain Floating - Point 16）是由 Google 提出的一種數值格式，它保留了與 FP32（32 位浮點數）相同的 8 位指數寬度，從而具有與 FP32 相同的動態范圍，但在精度上略低于 FP32。然而，在許多深度學習應用場景中，這種精度的降低對最終結果的影響微乎其微，而 BF16 的位寬減半卻能顯著提高內存帶寬利用率，若再配合 SIMD（Single Instruction Multiple Data，單指令多數據）指令優化，計算效率可成倍提升。

RISC-V 官方目前定義了基本的 BF16 轉換指令和向量乘加指令（zvfbfmin 擴展），但這種方式存在一定的局限性，即需要將 BF16 轉換為 FP32 后才能進行其他計算，這無疑降低了計算效率和帶寬利用率。針對這一問題，芯來科技通過硬件與工具鏈的協同優化，提出了 Nuclei BF16 擴展。該擴展兼容官方 BF16 指令，自定義了 BF16 rvv intrinsic function，生成與 FP16 相同的指令，并通過設置不同的寄存器值來切換硬件行為，從而避免了不必要的轉換，充分發揮了 BF16 的算力優勢。

Nuclei BF16 擴展具有諸多顯著特點。首先，它生成的 BF16 指令與 F16 保持一致，通過 CSR（Control and Status Register，控制狀態寄存器）寄存器配置來動態決定硬件處理行為，這種靈活的配置方式使得硬件能夠根據不同的應用場景靈活切換運算模式。其次，Nuclei BF16 擴展提供了專用 intrinsic API，完整支持 BF16 標量和向量運算，為開發者提供了強大的工具，使其能夠充分利用 BF16 的高效計算能力。實際測試結果表明，采用 Nuclei BF16 擴展的方案相比官方 zvfbfmin 擴展，性能提升可達 1 倍以上，這一顯著的性能提升無疑為 AI 應用在嵌入式設備上的高效運行提供了有力保障。

Nuclei 矩陣擴展：定制化指令助力性能飛躍

在 AI 應用中，矩陣運算是最為基礎且頻繁的操作之一，其性能的優劣直接關系到整個 AI 系統的運行效率。舒卓表示，為了進一步提升矩陣計算性能，芯來科技在 Nuclei GCC（GNU Compiler Collection）工具鏈中引入了定制化的 VPU 擴展 Xxlvqmacc。該擴展遵循 IME（Instruction - set Meta - Architecture，指令集元架構）group 規范設計，實現了高效的整數矩陣乘加指令，并提供了相應的 intrinsic functions，以方便開發者在實際編程中使用。

Xxlvqmacc 擴展支持 8 位整數輸入值擴展至 32 位精度，這對于需要高精度計算的 AI 應用場景具有重要意義。通過這種擴展，開發者可以在保持較低存儲和傳輸帶寬需求的同時，獲得更高的計算精度，從而在嵌入式設備上實現更為復雜的 AI 算法。例如，在進行矩陣乘法運算時，傳統的實現方式需要多層循環嵌套，逐個元素進行計算，這種方式在嵌入式設備上效率較低。而借助 Xxlvqmacc 擴展，開發者可以利用向量化的指令，一次性處理多個數據，大大減少了循環迭代次數，顯著提高了運算速度。

結語：引領嵌入式 AI 發展潮流

芯來科技通過 RISC-V V 擴展技術在 AI 推理領域的創新應用，成功地為嵌入式設備上的 AI 運算帶來了前所未有的性能提升。Nuclei AI Library 為開發者提供了豐富的優化算子，涵蓋了多種數據格式和運行環境，極大地簡化了開發流程，降低了開發門檻；Nuclei BF16 擴展則針對 AI 領域對計算效率和精度的特殊需求，提出了高效的解決方案，顯著提高了 BF16 格式的計算性能；而 Nuclei 矩陣擴展更是從底層硬件指令層面出發，為矩陣運算這一 AI 核心操作提供了強大的支持。

在未來的智能時代，隨著 AI 技術的不斷深化和應用場景的持續拓展，嵌入式設備上的 AI 推理將扮演越來越重要的角色。芯來科技憑借其在 RISC-V V 擴展領域的深厚技術積累和持續創新能力，將繼續引領嵌入式 AI 的發展潮流，助力各行業實現智能化升級，為人們的生活和工作帶來更多的便利和可能性。