TinyML-CAM - MobiCom'22 論文「TinyML-CAM: 80 FPS 画像認識 in 1 KB RAM」のコード

(Code for MobiCom'22 paper 'TinyML-CAM: 80 FPS Image Recognition in 1 Kb RAM')

Created at: 2022-07-18 12:31:50

Language: Jupyter Notebook

URL: https://github.com/bharathsudharsan/TinyML-CAM

License: Apache-2.0

ESP32は、画像フレームからラズベリーパイピコ、ポルテンタH7、Wioターミナルを分類します

ビデオから次のことがわかります。

時間。画像フレームの場合、デジタル信号処理(DSP)ベースの特徴抽出時間は≈12ms、分類時間は≈ <20μs(DSPの1/1000⁾です。
FPS.これは 1000/12 ミリ秒 = 83.3 FPS で、TinyML-CAM システムが HOG 特徴抽出 (DSP を使用) と分類に要する時間です。ESP32のフレームレートは30FPSであるため、フレームをキャプチャするだけで、1000/30 = 33ミリ秒かかります。DSPと分類時間は≈わずか12ミリ秒であるため、画像認識は2つの連続するフレーム間でリアルタイムで行われ、ESP32カメラのFPSは変更されません。
精度。ペアプロット解析で予想されたように、Portenta と Pi (フィーチャが重複している) のラベルが誤って表示されることがよくありますが、データセットの品質を向上させることで修正できます。
記憶。消費するRAMはわずか1kBで、TinyML-CAM画像認識システムを追加する前後のArduino IDEによって計算されたRAMの差です。

ESP32から画像を簡単にキャプチャするには、Arduino IDEライブラリマネージャーを介してEloquentライブラリをインストールします。
PC で画像を収集し、ML 分類器をトレーニングするには、EverywhereML Python パッケージをインストールします。
TinyML-CAMパイプラインをテストするには、ユーザーは任意のバリアントのESP32のみを必要とします。
- AIシンカー(最も広く使用されている)
- M5スタック(4 Mbの外部PSRAMが付属しているため、推奨)
- エスプレッシフ

[ino]-CameraWebServer.ino- 画像データセットコレクション用。ESP32にアップロードした後、WiFiネットワークに接続し、任意のWebブラウザからアクセスできるHTTPビデオストリーミングサーバーを起動します。
[h]-HogClassifier.h- には、収集された画像データを使用してトレーニングされたランダムフォレスト分類器が含まれています。
[h]-HogPipeline.h- 画像フレーム用のHOG機能エクストラタが含まれています。
[ino]-arduino-ESP32-code.ino- 上記の2つの.hファイルとともにESP32にアップロードします。アップロード後、オブジェクトをカメラの前に配置して、予測されたラベルを確認します。
[ipynb]-TinyML-CAM-full-code-with-markdown.ipynb- このプロジェクトに必要なすべてのコードと、各ステップのサンプル出力が含まれています。

フレームレートを向上させる数学的近似法を実装することにより、DSP時間(現在は12ミリ秒)を短縮するには、つまり、6ミリ秒に短縮すると、1000/6ミリ秒= 166.6FPSになります。

TinyMLベンチマークと同様に、さまざまなデータセット、MLアルゴリズム、IoTボードでパイプラインをテストする予定です。