人工智能發展迅速，創新步伐不斷加快。然而，雖然軟件行業已經成功在生產中部署了 AI，但包括汽車、工業和智能零售等在內的硬件行業，在 AI 產品化方面仍處于初級階段。阻礙 AI 算法概念驗證 (PoC) 成為真正硬件部署的主要差距仍然存在。這些不足之處在很大程度上是由于“小數據”、數據輸入“不完美”以及更 “先進模型”的不斷演進所造成的。對于軟件開發者和 AI 科學家們來說，該如何應對這些挑戰呢？我堅信， 應對之道便是自適應硬件。

小數據

谷歌 ( Goolge ) 和臉書 （ Facegbook） 等互聯網巨頭每天都會定期收集和分析海量數據。然后，他們使用這些數據來創建擁有可接受性能的 AI 模型。在這種情況下，用于訓練模型的硬件與用于運行模型的硬件有很大不同。

另一方面，在硬件行業，大數據的可用性受到更多的限制，導致 AI 模型不夠成熟。因此，收集更多數據和運行“在線模型”（為不斷提高精度在相同的已部署硬件上執行訓練和推斷）成為一種主要推動力。

為了解決這一問題，自適應計算（如：現場可編程門陣列 FPGA 和經過邊緣驗證的自適應片上系統 SoC 器件）可以同時運行推斷和訓練，從而不斷進行自我更新以適應新捕獲的數據。而傳統的 AI 訓練則需要借助云或大型本地數據中心，并花費數天和數周的時間才能完成。另一方面，真正的數據主要是在邊緣生成的，在同一個邊緣設備中運行 AI 推斷和訓練不僅可以降低總擁有成本 (TCO)，而且還可以減少時延和安全漏洞。

數據輸入“不完美”

雖然發布 AI 模型 PoC 來展示使用 X 射線圖像檢測新冠病毒的精度變得越來越容易，但這些 PoC 幾乎總是基于精心整理的干凈的輸入圖片。在現實生活中，來自醫療設備、機器人和移動汽車的攝像頭和傳感器輸入，會出現隨機失真現象，例如暗淡的圖像和各種角度的物體。這些輸入首先需要經過復雜的預處理以進行清理和重新格式化，然后才能輸入到 AI 模型中。對于理解 AI 模型的輸出并做出正確的決策而言，后處理是非常重要的。

的確，有些芯片可能非常擅長 AI 推斷加速，但它們幾乎總是只加速完整應用的一部分。以智能零售為例，預處理包括多流視頻解碼，然后是傳統的計算機視覺算法 ，用于調整視頻的大小、重塑視頻的形狀和轉換視頻的格式。此外，后處理還包括對象跟蹤和數據庫查找。最終客戶不太關心 AI 推斷的運行速度，而是關心它們是否能滿足整個應用管道的視頻流性能和/或實時響應能力。FPGA 和自適應 SoC 在使用特定領域架構 (DSA) 加速這些預處理和后處理算法方面有著良好的記錄。此外，添加 AI 推斷 DSA 將可以支持對整個系統進行優化，以滿足端到端的產品需求。

圖1：DSA 需要加速 AI 和非 AI

圖片來源：Ben Dickson

更“先進模型”的不斷演進

AI 研究界可以說是當今技術領域最活躍的領域之一，世界各地的頂級研究人員每天都在發明新的 AI 模型。這些模型提高了精度，降低了計算要求，并滿足了新型 AI 應用的需求。然而，這種快速的創新，無疑也持續給現有的半導體硬件器件帶來了壓力，需要更新的架構來有效地支持現代算法。MLPerf 等標準基準測試證明：在運行實際 AI 工作負載時，最先進的 CPU、GPU 和 AI ASIC 芯片，遠遠低于這些技術提供商們所宣傳的 30% 的性能。這種差距不斷推動著業界對新型 DSA 的需求，以期跟上創新的步伐。

驅動新型 DSA 需求的主要動力，包括以下這些最新趨勢。深度卷積是一個新興的層，需要高存儲器帶寬和專用內部存儲器緩存才能高效運行。AI 芯片和 GPU 通常采用固定的 L1/L2/L3 緩存架構和有限的內部存儲器帶寬，導致效率十分低下。

研究人員不斷發明新的定制層，而當前的芯片，本身并不提供本地支持。出于這個原因，它們需要在無加速的情況下在主機 CPU 上運行，這往往形成了性能瓶頸。

稀疏神經網絡是另一種富有前景的優化技術。在這種網絡中，通過修剪網絡邊緣、刪除卷積中的精細顆粒矩陣值等措施，網絡被高度修剪，簡化程度有時能高達 99%。然而，要在硬件中高效運行這一優化，則需要專門的稀疏架構，并為這些運算提供編碼器和解碼器，大多數芯片都不具備這些功能。

二進制/三進制屬于極端優化，讓所有數學運算都按單個數位操作。大多數 AI 芯片和 GPU 僅有 8 位、16 位或浮點計算單元，因此采用極低精度并不能獲得任何性能或功耗效率。FPGA 和自適應 SoC 是完美的，因為開發者可以開發完美的 DSA，并根據產品的工作負載對現有器件進行重新編程。作為證明，最新的 MLPerf 包括賽靈思與Mipsology合作提交的一份文件，該文件使用 ResNet-50 標準基準測試實現了 100% 的硬件數據表性能。

圖2：針對 FPGA 的 MLPerf 基準測試

圖片來源：Ben Dickson

沒有硬件專業知識？毫無問題！

一直以來，FPGA 和自適應 SoC 面臨的最大挑戰，就是需要硬件專業知識來實施和部署 DSA。好消息是：現在有了支持 C++、Python 和流行 AI 框架（如 TensorFlow 和 PyTorch）的工具，如：Vitis 統一軟件平臺，軟件和 AI 開發者之間的差距被大大縮小了。

除了軟件抽象工具方面的更多開發以外，開源庫（如 Vitis 硬件加速庫）在開發者社區中的采用度也顯著提高。在賽靈思最近舉辦的設計競賽中，吸引了 1000 多名開發者，并發布了眾多創新項目，從用手勢控制的無人機，到使用二進制神經網絡的強化學習，不一而足。重要的是，大多數提交的項目都是由不具備 FPGA 使用經驗的軟件和 AI 開發者完成的。這證明 FPGA 行業正在采取正確的措施，使軟件和 AI 開發者能夠化解現實生活中的 AI 產品化難題。

圖3：靈活應變萬物智能

圖片來源：Ben Dickson

直到最近，普通軟件開發者和 AI 科學家在想要利用硬件的自適應特性時仍會望而卻步， 因為這在以前都需要特定的硬件專業知識。而現如今，通過借助新的開源工具，軟件開發者一樣能夠運用自適應硬件。編程難度的下降，使得數十萬名軟件開發者和 AI 科學家們，能更充分地受益于 FPGA 和自適應 SoC 的優勢，讓硬件解決方案成為下一代應用的選擇。事實上，DSA 將代表 AI 推斷的未來，軟件開發者和 AI 科學家將借助s硬件的自適應特性來開發他們的下一代應用。