Zephyr和TensorFlow Lite中的I2S語音識別是什么

Zephyr和TensorFlow Lite中的I2S語音識別是什么，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

機器學習主要仍然在云中完成，這在很多情況下可能會導致不必要的延遲、過度的功耗和對無線連接可用性的依賴。由于在微控制器和FPGA（Antmicro目前大力參與的領域）上的機器學習領域的最新發展，小型設備變得足夠強大，可以在本地執行機器學習任務，如圖像或聲音識別。

機器學習和FPGA

我們在機器學習方面的經驗，包括創建復雜的人工智能算法、構建ML/AI加速器、設計專用驅動程序，以及提供簡化ML開發的工具。雖然我們的許多人工智能工作是在高端平臺，如NVIDIA Xavier NX、谷歌Coral或Xilinx UltraScale+，但越來越多的客戶也在考慮在更小的設備上實現ML。

在最近與谷歌的一次合作中，我們啟用了在基于軟SoC生成框架LiteX的FPGA平臺上，運行他們的TensorFlow Lite機器學習框架。該項目首次將TF Lite引入了FPGA，這意味著一組全新的嵌入式和物聯網設備，現在可以從谷歌框架的功能中獲益，因為開發人員可以在這些設備上，部署用于手勢和語音識別、關鍵字檢測等的ML模型。它也為使用FPGA中的專用硬件加速器進一步優化ML應用，打開了大門。在TF Lite博客上的一篇文章中，我們描述了這項工作，并演示了在開源模擬器Renode中運行和測試ML框架。重要的是，作為這項工作的一部分，我們將TF Lite Micro與Zephyr實時操作系統集成在一起。隨著谷歌和Facebook成為白金會員，該RTOS正在經歷一個前所未有的增長時期。與Zephyr的集成使得可以相對快速地添加新的平臺和應用程序，如本文所示。

設置和架構概述

這一發展使得在運行基于LiteX的軟SoC的系統中執行語音識別成為可能。

作為例子使用的設置包括一個來自Digilent的Arty A7板和Pmod I2S2。

在演示中（說明可在GitHub上找到），Pmod上的ADC（模數轉換器）芯片收集模擬信號，對其進行采樣，將其轉換為數字信號，然后通過I2S發送至FPGA，我們擴展的基于LiteX的IP內核將其以PCM格式接收。然后，Zephyr驅動程序實時從FIFO緩沖區讀取數據，并將其提供給執行語音識別的TF Lite應用程序。

LiteX通過Zephyr得到聲音

要實現上面描述的結果，首先我們必須擴展LiteX中的I2S接口支持，以便將其配置為master，這使得接口不僅可以播放聲音，而且可以捕獲聲音。下一步，我們開發了一個Zephyr驅動程序，它使I2S能夠與Pmod通信，并允許CPU處理接收到的數據。我們還在TF Lite語音識別演示中編寫了一個軟件接口，用于從Zephyr驅動程序中提取聲音并將其傳遞給神經網絡。

最初的基于LiteX的FPGA IP核心只支持每樣本24位的立體聲數據，因此，作為最后的工作，我們將其擴展為語音識別演示所需的格式，例如mono 16位。神經網絡能夠識別單詞“yes”和“no”，這是演示的重點，并驗證了我們的FPGA/軟件設計。

看完上述內容，你們掌握Zephyr和TensorFlow Lite中的I2S語音識別是什么的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！