エッジAIがIoTのあり方を変え続けている今日、Nordic SemiconductorはnRF54LM20Bでこの流れに応えます。nRF54Lシリーズの新製品であるこの超低消費電力ワイヤレスSoCは、Axon NPU (Neural Processing Unit) を内蔵し、同シリーズのnRF54LM20Aと同様、大容量メモリ、最大66本のGPIO、ハイスピードUSBを備えています。
本稿では、Axon NPUのメリット、nRF54LシリーズにおけるnRF54LM20Bの位置づけ、Nordic Edge AI Labによるウェイク ワードモデルの自動生成、Edge AI Add-onを備えたnRF Connect SDKのサポート等、本デバイスでの開発における様々な選択肢について解説します。
AI機能の拡充
nRF54LM20Bは、ニューラル ネットワークをより高速かつ効率的に実行する専用のプロセッサコアである「AIアクセラレータ ハードウェア」を内蔵した、Nordic Semiconductor初の製品です。Axon NPUは、Nordicが独自に開発したもので、独自のアーキテクチャを活用し、超低消費電力と高い処理性能を達成しています。
Axon NPUにより、nRF54Lシリーズの新しい利用方法が可能になります。キーワード認識(KWS)やウェイクワード等の音声分類、過度なレイテンシや非効率的なCPU実行を生じさせることがある先進のLiteRTモデルの実行の高速化等です。これは待望の新製品であり、リリース済みのNeutonモデルを補完するものです。加速度センサーやPPGセンサーからの低レートセンサーデータを解釈する等のシンプルなエッジAIアプリケーションに適した、超高効率のCPU駆動エッジAIモデルです。
無線製品ポートフォリオ全体において
nRF54LM20Bだけでなく、セルラーIoTモジュールであるnRF92シリーズや、他の無線技術に対応した将来のSoCもAxon NPUを内蔵する予定です。
新しいツール
エッジAIアプリケーションの開発を支援するため、ローカルおよびクラウドベースのワークフローに対応した新しいツールが求められています。
Edge AI Add-on v2.0
nRF Connect SDK向けEdge AI Add-on v2.0では、ローレベルのAxon NPUドライバが導入され、nRF Edge AIライブラリ(nrf_edgeai_lib)がAxonに対応しました。さらに、Axon NPUコンパイラとともに互換性のあるコードサンプルも提供しており、LiteRTモデルを変換してAxon NPU上で実行することが可能です。これは、nRF Connect SDK内でカスタムNeutonモデルに対応した12月のv1.0リリースに続くものです。
Axonコンパイラ
Axonコンパイラは、tfliteまたはh5形式のAIモデルを、ヘッダーファイル(.h)と、テストベクタを含む別のヘッダーファイルで構成される、Axon NPU互換のモデルに変換するためのツールです。本コンパイラは、モデルのメモリ使用量、推論時間、精度、混同行列、量子化損失に関する性能指標も提供します。本ツールは、すぐに使えるDockerイメージとして利用可能であるほか、ソースコードから手作業でビルドすることもできます。
Axon NPUは、1Dおよび2D畳み込み、深度方向畳み込み、全結合層、プーリング、要素ごとの演算をネイティブに高速化します。これらはすべて、8ビット量子化データに対して実行されます。ハードウェアアクセラレーションに対応していない演算子は、コンパイラによってAxon NPUに効率的にマッピングされます。ReLUやLeakyReLUといったネイティブの活性化関数は、全てNPU上で実行されますが、シグモイドやTanhなどの活性化関数は、CPUへのフォールバックを通して透過的に処理されます。本アーキテクチャは、呼び出し間でのステートフル推論、ストライド付きスライスや連結といったテンソル操作、ソフトマックスにも対応しており、開発者は様々なモデルトポロジーをデバイス上で効率的に展開できます。
Edge AI Lab
Nordic Edge AI Labには、Axon NPUをサポートする2つの新機能が追加されました。1つは、カスタムデータセットに基づいて分類および回帰モデルを学習させる機能、もう1つは「Text-to-wake-word」と呼ばれる、データ不要の自動ウェイクワード生成パイプラインを利用する機能です。
Text-to-wake-word
この機能は、「Okay Nordic」等の1つののテキスト入力からウェイクワードモデルを生成します。これにより、何千もの音声サンプルを収集・ラベル付けする必要がなくなります。Edge AI Labは、音声中のウェイクワードを認識するための分類器を自動的に生成します。これにより、データ収集時間が大幅に短縮され、音声トリガーを早期に評価できるようになります。生成されたモデルは、Edge AI Add-onを使ってnRF Connect SDKアプリケーションに組み込み、nRF54LM20B等のAxon NPU内蔵Nordic SoCで実行できます。
Axon NPU用モデルビルダー
Nordic Edge AI Labは、Axon NPU向けLiteRTモデルの構築に対応しました。これにより、カスタムデータセットをアップロードし、モデルアーキテクチャを指定して分類および回帰モデルを生成し、Axon NPU内蔵SoCにデプロイできます。これは、Axon NPU上で実行可能なモデルを提供することで、自動化されたNeuton (CPU実行)フローを補完するものです。nRF54LM20Bでは、内蔵のAxon NPUがこれらのTensorFlow Liteクラスモデルを実行し、CPU比で最大15倍高速な推論を実現しています。そのため、スループットと効率が重要な高レートセンサー ストリーム、音声、画像処理に理想的です。
このワークフローは、カスタムNeutonモデルが提供するものと似ています。つまり、ユーザーがカスタムデータセットをアップロードし、アプリケーションのユースケースに基づいたモデルを作成します。主な違いは、データセットをアップロードした後、トレーニングセッションを完了させるには、ユーザーがアーキテクチャも指定する必要がある点です。
ニューラルネットワークのアーキテクチャを定義する上で最も重要なのは、層の数と各層の内容を指定することです。2つのプリセットが用意されています。「Simple Fully Connected」は、それぞれ64、32、16個のニューロンを持つ3つの全結合層で構成されています。「Fully Connected」プリセットには、256、128、64個のニューロンからなる3つの全結合層と、各ニューロン層の後にドロップアウト率0.2のドロップアウト層が含まれます。上級ユーザーは、Axon NPUの機能セットの一部として利用可能な層ブロックや演算に基づき、独自のカスタムアーキテクチャを指定することも可能です。
トレーニングが完了すると、モデルを表すヘッダーファイル(.h)としてモデルがダウンロードされ、Axon NPU上での推論用にコンパイルされます。これらのモデルをCPU上で実行することはできません。
Edge Impulseによる対応
サードパーティ製のエッジAIモデルトレーニングプラットフォームであるEdge Impulseも、完全にAxon NPUに対応しました。本プラットフォームのユーザーは、従来通りの方法でモデルを学習させることができます。学習済みのモデルは、Axon NPUアーキテクチャ向けにコンパイルされたライブラリとして、あるいはそのままnRF54LM20 DKに書き込めるファームウェアのイメージとしてエクスポートできます。つまり、Edge ImpulseのモデルをNPU上で実行するためにAxonコンパイラを使用する必要はありません。
nRF54LM20Bを使った開発
AIモデルの生成が完了し、ローカルのTensorFlowツールチェーンから標準のLiteRTモデルを使用する場合はその変換も完了したら、モデルをSDKアプリケーションに組み込む段階です。モデル インスタンスは生成されたヘッダーファイル内で宣言されており、そこではすべてのファイル名とシンボル名にモデル名が組み込まれています。そのため、ひとつのプロジェクト内で複数のモデルがクリーンに共存できます。そこから、正しいAPIを呼び出すことで推論を行います。Nordic Edge AI Labで生成されたモデルは、抽象化されたnrf_edgeai_lib APIを使用するのに対し、Axon NPUコンパイラで変換されたモデルは、ローレベルのAxon NPUドライバAPIを直接使用します。モデルの推論開始後、ユーザーによる操作は不要です。開発者は推論が完了するまで呼び出しがブロックされる同期処理と、完了時にコールバック関数が呼び出される非同期処理(その間に他の処理を実行できる)のどちらかを選択できます。
nRF54LM20B向けの初期開発は、nRF Connect SDK v3.3.0-preview2を基盤とする、Edge AI Add-on v2.0.0によってサポートされています。プレビュー版を別途インストールする必要はありません。アドオンと一緒に自動的にインストールされます。Axon NPUを必要としないサンプルは、現時点ではnRF54LM20Aが唯一のターゲットです。nRF Connect SDKの次期正式リリース(v3.3.0)では、nRF54LM20Aが対応している全てのサンプルが、明示的にnRF54LM20Bをターゲットとして対応します。
まとめ
これまで述べたように、Axon NPUはnRF54LシリーズにエッジAIの新たな可能性をもたらします。Edge AI Labの新しい開発ツールとユニークな「Text-to-wake-word」機能により、超低消費電力のエンドデバイスに先進AIの導入が容易になります。
nRF54LM20B SoCの評価をご希望の場合、nRF54LM20 DKの製品ページでキットを在庫している販売代理店をご覧いただけます。同開発キットは、nRF54LM20A SoC向けのアプリケーション開発にも使用できます。