麼是人工智慧(Artificial Intelligence, AI)？「人工智慧(AI)」存在多種不同的定義，本文專指使用稱作「深度學習(Deep Learning)」先進方法的系統。深度學習使得人工智慧能夠從原始資料中自行提取重點，而不是依賴預先編程的規則。在架構上，深度學習是透過堆疊多層薄神經網路來實現這一點。
目前，大多數人工智慧應用透過將資料流傳輸到位於網際網路上的強大伺服器來運作。然而，發送資料到雲端恐有潛在機密訊息洩露等隱私與安全問題，也帶來更高的成本、網路壅塞以及因頻繁傳輸高速資料而增加的能量耗損。
邊緣AI(Edge AI)藉由配置AI算力在收集資料的網路邊緣端來解決這些問題。在邊緣端直接處理資料，可以轉換百萬位元組的影音、感測資料為寥寥幾行文字，大幅減少網路頻寬與延遲。
在本文中將討論邊緣AI是什麼？它的特徵、優勢、缺點等，並提供當前使用案例，也將探討廠商如村田如何將邊緣AI從實驗室轉而運用在生產線。
1. 邊緣AI運作機制
在深度學習應用中，模型會先基於已知資料進行訓練，以生成稱為「推斷」(Inferences)的結果。例如，一個人工智慧系統使用生產線上的攝影機來識別產品是否有刮痕，則該模型會先使用有刮痕和無刮痕產品的圖像進行訓練。一旦模型完成訓練，就可以用來處理來自攝影機的即時資料。以此為例，雲端AI(Cloud AI)和邊緣AI(Edge AI)會採取不同的處理方式(圖1)。
在雲端AI中，圖像資料從攝影機透過網際網路(雲)傳輸到遠程資料中心進行處理、推斷結果(產品是否存在缺陷等)，接著發送回生產線；而在邊緣AI中，AI推斷會直接在攝影機處即時運算，大幅減少所需的昂貴通訊基礎設施，對於擁有多個攝影機的工廠來說，能大幅降低成本。
以前文提到的工廠生產線為例，接續觀察雲端AI和邊緣AI如何在不斷流動的產品生產線上執行即時預估(推斷)，以解釋這兩類的AI如何運作及其特徵。
先思考一下在雲端運行AI的情況(見圖1右側)。在雲端AI中，執行動作是在雲端的大型伺服器上進行。這種方式的缺點包括：
・需要高效運用雲運算資源，成本較高。
・將影像資料傳輸到雲端會對網路造成很大的負擔。
・在網際網路上傳輸時，可能會有洩露製造過程機密的風險。
而透過邊緣AI將能避免上述缺點，在邊緣設備(攝影機等)中直接建置算力，以便在邊緣端直接處理影像資料：
・無須雲運算的重複費用。
・減少網路負載。
・影像資料不會離開生產環境，確保安全處理機密資料。
邊緣AI利用每個邊緣設備上設置的小型AI模型來運作，圖像資料在設備上處理，僅將推斷結果透過網路傳輸。
2. 邊緣AI的優/缺點
表1稍微深入探討邊緣AI的優點和缺點。
3. 邊緣人工智慧在圖像/語音識別中的應用
在語音和圖像識別中，邊緣AI提供高性能和即時處理能力。下述應用案例包括監視器、人員檢測、機器人技術以及語音控制設備。
| NO. | 項目 | 優點/缺點 | |
|---|---|---|---|
| 1 | 處理延遲 | AI模型在設備上運算，因此為零延遲，可以即時獲得結果。 | |
| 2 | CPU大小 | 根據應用需求，AI功能通常可以在邊緣設備既有的CPU上運作。 而若為高性能應用，可能就需要高速CPU或專用AI協同處理器晶片。所以 若需要高速，可能會增加邊緣端功耗。 | |
| 3 | 網路負載 | 非常低(單AI結果)。 | |
| 4 | 資料機密性 | 原始資料不會暴露於外。 | |
| 5 | 離線連接 | 不需連接網際網路，可直接離線運行。 | |
| 6 | 成本 | 導入成本 | 若需AI協同處理器或高速CPU，則單個設備的成本可能會較高。 此外，可能需要對員工進行新系統使用培訓。 |
| 運作成本 | 維護需求很少。 | ||
| 7 | 能量耗損 | 一些專門進行邊緣AI處理的IC已高度優化以提高效率，可以將功耗減少10 倍甚至更多。 |
3.1 使用邊緣AI進行圖像識別
攝影機可以啟用內建的邊緣AI處理器，作為智慧鎖運用，使用面部識別、自動打開門。智慧攝影機還能用於監控應用，以檢測人員進出特定區域或手勢識別。在基礎設施應用中，邊緣AI攝影機可以檢測掉落的物體或被闖入的管控區(例如鐵路軌道或停車場)。在智慧工廠中，AI具有很大的潛力。AI可用於污染檢測、形狀測試以及安全監控，以檢測工人是否過於接近重型機械(圖2)。
3.2 使用邊緣AI進行語音識別
邊緣AI的語音應用包括對照明或機器的語音控制。多數情況下，當雙手被占用或手上沾有大量灰塵或污垢時，使用平板電腦或觸控螢幕並不合適，運用免持控制(Hands-free)會方便許多。另一方面，在缺乏其他輸入方式的小型設備(如穿戴式設備)也相當適合使用語音識別，改善用戶體驗。此外，邊緣AI還可以設計用來識別說話者(圖3)，提高語音安全性。
4. 邊緣AI模組
邊緣AI技術可以幫助解決雲端AI所帶來的基本限制。接下來將介紹廠商村田提供的產品如何協助發揮邊緣AI的潛力。
4.1 創新模組設計
作為智慧型手機產業迷你化、高性能通訊模組的供應商，村田累積大量技術專業知識。在靈活運用度和客戶承諾方面享有聲譽，故已有新興AI公司尋求合作，希望製造簡化AI與物聯網應用整合的模組。
設計模組時，其一重要考量因素為管控熱散逸。模組中含有大量產生熱能的元件，因此如何設計有效的散熱措施、以避免因過熱而導致故障具有相當大的挑戰。村田運用獨有技術與知識進行布局和裝配。除了熱散逸，還開發了屏蔽措施，以抑制電磁雜訊，防止因雜訊引發錯誤，提高產品可靠性。
4.2 特殊用途的邊緣AI模組性能
邊緣AI的另一個新應用領域是單板機和系統模組(System-on-Modules, SOMs)。下文將用這種方法與特殊用途AI模組進行比較。
因SOM是一具有許多機載周邊設備的通用微控制器(Microcontroller Unit,MCU)，因此較容易與外部設備和感測器整合。例如，只需添加攝影機模組和圖像識別軟體庫，就可以輕鬆製作一個簡單的邊緣AI攝影機原型。另一方面，在通用微控制器上運行AI軟體往往效率不高，導致性能低下且耗電量大，這可能需要更大的電源供應和散熱。
而透過將MCU與AI加速器(如Murata的Type 1WV，是基於Google的Coral晶片)相連接，可以大幅提高系統效率。Coral經過優化、進行神經網路AI處理，提供4TOPS(每秒兆次運算)的算力，比典型高性能MCU快達100倍，且功耗低於2W。村田的散熱模組設計確保該晶片能在最大速度下工作，而且無需冷卻風扇。
另一方面，Type 1WV的額外優勢是可以加速處理速度，從每2秒處理1幀、提升到以60fps或更高速度地即時處理影像，足以支援各種智慧相機和音訊應用。
4.3 邊緣AI的未來
隨著物聯網設備數量的成長和智慧化不斷向邊緣端推進，對於提供更小型產品、實現更高速度、降低功耗以及最大化可靠性方面，AI模組將能發揮關鍵作用。廠商村田正在開發各式模組，以便在最小的尺寸下，提供最高效的AI性能，同時以最低功耗運行。
對邊緣AI日益成長的期望
到2030年，連接到網際網路的邊緣設備(包括智慧型手機、平板電腦、攝影機和感測器)的數量預計將達到290億台。在同一時期，全球邊緣AI市場預計將從2022年的150億美元成長至超過1070億美元。
隨著AI加速器採用率提高、整體系統性能提升，邊緣AI協同處理器市場預計將從2022年的28億美元成長至2032年的110億美元，年均成長率為
15.56%。
預期邊緣AI市場將迅速擴展的原因包括以下幾點：
隨著越來越多設備連接到網路，邊緣AI相對於雲端AI的優勢日益明顯且重要—即時性能、隱私保護、低資料流量、低功耗等，可以實現「綠色」運算以及離線運行。
而市場上促進數位社會與數位轉型(Digital Transformation, DX)，帶來的行動與網際網路資料流量增加(圖4)，進一步提升降低功耗的期望。
在過去幾年中，各界對於邊緣AI降低功耗的優勢，關注不斷提升。如上所述，雲運算是當前社會基礎設施常見的網路形式。然而，由於雲伺服器持續運作所造成的顯著功耗，以及長距離資料傳輸導致的熱損耗，讓雲運算存在效率低下的耗能問題，雲端AI亦是如此。
因此，邊緣運算和邊緣AI被推廣為透過分布式處理來提高效能的方法，而不是依賴於雲運算的集中資料處理。邊緣AI在邊緣設備內部完成AI操作，而無需依賴雲伺服器，且因資料傳輸造成的熱損耗很低，能夠為數位社會基礎設施帶來顯著的節能貢獻。