産業用デバイスに必要なTOPS:エッジAIハードウェアの選び方

in

産業用デバイスにAIを組み込む際には、アプリケーションにどの程度の処理能力が必要かを見極める必要があります。TOPSの数値が高ければ安心に見えるかもしれません。しかし、その数値だけでは、要求する応答時間を満たせるか、既存の筐体に収まるか、現在使用しているソフトウェアに対応できるかは判断できません。

TOPSは、1秒間に実行できる演算回数を兆単位で表す指標です。公表されているAI TOPSの数値は、一般に、特定の数値精度における理論上の最大演算能力を示します。プロセッサやアクセラレータ単体の値を示す場合もあれば、メーカーが定義した複数の処理ユニットの合計値を示す場合もあります。調達担当者にとっては、評価するプラットフォームの候補を絞り込むために役立つ指標です。最終的な選定は、想定する処理を完成品のシステム全体で実行できるかどうかに基づいて行います。

産業用AIに共通する、一律のTOPS要件はありません。適切な構成とは、デバイスの電力、放熱、組み込み上の制約の範囲内で、使用するモデルの精度、応答時間、継続的な処理量の目標を満たす構成です。

本記事では、産業用エッジAIの開発に向けて、AI機能をハードウェア要件に落とし込む方法、構成を比較する方法、プラットフォームの採用前に検証すべき項目を解説します。

TOPSを比較する前にAIハードウェアの要件を定義する

まず、デバイスが実行する処理を明確にします。必要なときに音声コマンドを処理するHMIと、カメラ映像を連続して解析するパネルPCでは、必要な性能が異なります。作業者の操作に応じて画像を解析する現場用タブレットにも、それぞれ異なる処理要件があります。

エンジニアリングチームが検証できる形で、次の項目を整理します。

  • どのカメラやセンサーから、どのようなデータを入力するか。
  • どの程度の頻度で、そのデータを処理する必要があるか。
  • どのような結果を出力し、どの程度の時間内に返す必要があるか。
  • 検出漏れや誤検出を含め、どの程度の精度を許容するか。
  • 同時に実行する必要がある他の機能は何か。

使用するモデルが決まっている場合は、モデルのバージョン、入力データのサイズ、デプロイ形式も明記します。まだ決まっていない場合は、実行したい処理と実際の利用条件を代表するデータを用意します。そのうえで、モデルの選定とハードウェア上での実現可能性を並行して評価できます。

これにより、推論をデバイス内で実行する必要があるか、通信接続を安定して利用できるか、通信が途切れた際にどの機能を継続する必要があるかも整理できます。これらの要件は、AI対応の堅牢コンピューティングプラットフォームを評価するうえでも重要な要素です。

実際の処理負荷に照らしてAI TOPSを評価する

カメラを使った検査システムを例に、仮の条件を考えてみます。一方のデバイスは毎秒1枚の画像を検査し、もう一方は毎秒30フレームを処理しながら、HMIの動作と検査結果の記録も行う必要があります。同じモデルと入力サイズを使用していても、後者にはより高い処理量が求められ、他の機能とシステムリソースを共有する必要があります。ただし、いずれの処理頻度も、そのまま必要なTOPSに換算できるわけではありません。選定したモデル、要求する応答時間、同時に実行する処理を用いて、候補となる構成を比較します。

AI TOPSを比較する前に、数値がどのような条件に基づいているかを確認します。INT8 TOPSは8ビット整数演算の性能を示すため、FP16の浮動小数点演算性能とは直接比較できません。また、Dense TOPSとSparse TOPSでは、演算の前提条件が異なります。NPU TOPSを確認する際は、NPU単体の値なのか、複数の処理ユニットを合計した値なのかも確認します。QualcommによるDense TOPSとSparse TOPSの解説では、公表値を読み解く際に数値精度と演算条件を確認することの重要性が説明されています。

TOPSとFLOPSの違いにも注意が必要です。FLOPSは、1秒間の浮動小数点演算回数を示します。一方、TOPSの数値を適切に解釈するには、使用する数値精度を確認する必要があります。同じ条件の指標を比較してから、性能を判断してください。

モデルの数値精度、メモリ、ソフトウェア、電力と放熱、遅延、スループットなど、TOPS以外にエッジAIの実性能を左右する要素。

次に、実際の利用条件を代表する処理を候補構成で実行します。推論時間と、入力から結果の出力までのエンドツーエンドの応答時間を、それぞれ記録します。画像処理では、後者に画像の取得、デコード、リサイズ、推論、後処理、アプリケーションへの結果の受け渡しが含まれる場合があります。

想定するバッチサイズと同時実行条件でテストします。多くの画像をまとめて処理すると処理量が向上しても、個々の要求に対して必要な応答時間を満たせない場合があります。モデルの変換や量子化を行った後も、精度を確認してください。

モデル、入力データ、ソフトウェア構成、動作条件を明確にしたテスト結果を、構成選定の根拠にします。合意した精度、応答時間、処理量の目標を満たしているかを記録します。

TOPSの向上が追加コストに見合うかを判断する

構成が目標を満たせない場合は、より高性能なプロセッサに変更する前に、ボトルネックを特定します。原因は、モデルの演算処理、利用可能なメモリ、データ転送、映像のデコード、アクセラレータ以外でCPUが行う処理などにある可能性があります。アクセラレータの処理能力を高めても、実際の制約が解消されない場合があります。

構成を変更することで、何が改善されるかを確認します。実測した応答時間が短くなるのか、カメラの入力を追加できるのか、より厳しい精度要件を満たすモデルを使用できるのか。これらは、仕様書上の数値が大きくなることよりも、演算能力を増やす明確な理由になります。

構成全体と開発範囲を比較します。変更によって、メモリ、冷却、電源供給、筐体内のスペース、ソフトウェア移植の要件が変わるかを確認してください。基板の価格が低くても、デバイスの他の部分に大幅な変更が必要であれば、適切な選択とは限りません。

将来の処理能力も、同じ考え方で評価します。確定した計画と、可能性として検討している機能を区別してください。次のバージョンで画像の解像度を上げたり、2つ目のモデルを実行したりする予定がある場合は、その処理を早い段階で評価します。将来の機能が未定であれば、根拠のない余裕率を設定するのではなく、不確定な要素を記録します。

目指すのは、プロジェクトの予算、物理的な制約、開発日程の範囲内で、現在の要件を満たし、具体的に想定できる次の段階にも対応できる構成です。

利用形態に合わせてハードウェアを選ぶ

産業用AIコンピュータを選ぶ際は、人や設備がどのようにデバイスを使用するかによって、演算性能を比較する前にプラットフォームの候補を絞り込める場合があります。

産業用途に対応するEdge-70組み込みHMI、PPC-4910パネルPC、MW-130堅牢タブレット、HMI-100車載パネルPC。

設備の操作に組み込むHMI

HMIは、機械や機器の内部で、作業者による操作とローカル処理を組み合わせます。AI処理の高速化だけでなく、タッチ操作、取り付け方法、コントローラとのインターフェース、ソフトウェアの動作も重要です。

エッジAI対応HMIプラットフォームのEdge-70は、このような組み込みを検討する際の一例です。公開仕様には、最大1 TOPSの内蔵NPUと、パネルマウントおよびオープンフレームのオプションが記載されています。タッチ操作の応答性、コントローラとの通信、推論に利用できるリソースを含め、HMIアプリケーションとAI処理を同時に評価します。

固定設置する産業用パネルPC

パネルPCでは、結果の表示、機械との接続、カメラを使うアプリケーションへの対応を、1つの設置システムで実現する必要がある場合があります。

エッジAIパネルPCのPPC-4910は、NXP i.MX8M Plusを採用し、NPUの性能は最大2.3 TOPSとされています。データシートには、カスタマイズ向けのデュアルMIPI CSI対応と、産業用通信インターフェースも記載されています。画像処理のプロジェクトでは、カメラの組み込み、使用可能なインターフェース、モデルのデプロイを併せて確認します。

車両・移動機器向けの車載パネルPC

車載パネルPCには、操作インターフェースとローカル処理機能に加え、車両・移動機器の電源条件や取り付け要件への対応が求められます。

HMI-100 堅牢型車載パネルPCは、オクタコアのArm Cortex-A72+Cortex-A53プロセッサーと6 TOPSのNPUを搭載しています。12~36V DC入力とACC連動のシャットダウン遅延機能により、車両への組み込みに対応します。AI用途では、対象モデルに加え、HMIソフトウェア、接続機器、連続稼働時の温度条件を含めて評価する必要があります。6 TOPSという数値だけで、アプリケーションへの適合性を判断することはできません。

現場で持ち運んで使う堅牢タブレット

持ち運んで使用する場合は、バッテリーの使用状況、画面の視認性、データ取得、充電、ドッキングも選定条件に加わります。堅牢タブレットプラットフォームのMW-130は、これらのモバイル用途のハードウェア要件を検討する際の参考になります。想定するモバイルAIの処理に合わせて、プロセッサ構成とソフトウェアの実行環境を選定します。

これらの形態は、それぞれ異なる組み込み上の課題に対応します。TOPSだけで比較すると、各形態が特定の利用方法に適している理由を見落としてしまいます。

既存のソフトウェアや設備との互換性を確認する

アクセラレータは、ソフトウェアの実行環境がその機能を有効に利用できて初めて役立ちます。検討する構成に対して、OS、ボードサポートパッケージ(BSP)、ドライバ、ランタイム、モデル変換の要件を確認してください。

対応するモデル形式であっても、すべての演算がNPU上で実行されるとは限りません。ランタイムやその設定によっては、一部の演算が他の処理ユニットで実行される場合があります。ONNX RuntimeのExecution Providerに関するドキュメントでは、対応するノードやサブグラフがハードウェアの実行先に割り当てられる仕組みと、Execution Providerの優先順位が実行に与える影響が説明されています。

既存のアプリケーションについては、どの部分を継続して使用でき、どの部分に変更が必要かを確認します。ユーザーインターフェース、カメラドライバ、制御ソフトウェア、特定のプロセッサアーキテクチャやOSに依存するライブラリも対象に含めます。

物理的な接続や組み込みも、同じように確認します。カメラ用コネクタがあることだけでは、使用したいカメラのドライバが動作するとは判断できません。また、シリアルインターフェースが仕様に記載されていても、すべてのコントローラとの互換性を保証するものではありません。利用可能なポートの組み合わせ、電気的要件、データ転送速度、ソフトウェアの対応状況を確認してください。

こうした選定には、OEM/ODMプラットフォームの評価と開発が役立ちます。既存のハードウェアやソフトウェアのうち継続して使用できる部分、変更が必要なインターフェース、筐体の構造や機能、ファームウェア、量産前に検証すべき項目を明確にします。モデルとアプリケーションソフトウェアの提供、必要な移植作業、組み込み後のシステム検証について、お客様のエンジニアリングチームと担当範囲を合意します。

量産前にエッジAIの性能を検証する

開発ボード上でのデモが成功することは、開発初期の節目です。量産に進む前に、完成品を代表する構成で改めて評価を行います。

量産前のエッジAI検証で確認する精度、エンドツーエンド遅延、持続的な処理性能、同時動作、電力と放熱、再現性。

テストの前に、次の合格基準を定義します。

  • アプリケーション性能:実際の利用条件を代表する入力データに対して、許容できる精度、エンドツーエンドの遅延、継続的な処理量を満たすこと。
  • 同時動作:HMI、通信、データ記録、その他の想定機能と並行してAI処理を実行できること。
  • メモリ使用量:ピーク時も含め、モデル、中間データ、ランタイム、アプリケーションに必要な容量を確保できること。
  • 電力と温度:想定する電源またはバッテリー、筐体、取り付け方法、使用環境におけるシステムの動作を測定すること。
  • 再現性:変更後も結果を再現できるよう、ハードウェア、ソフトウェアのバージョン、設定、テスト手順を記録すること。

短時間のデモだけに頼らず、動作が安定した状態を観察できる時間までテストを続けます。温度と性能を同時に監視し、継続的な負荷による性能抑制や変動がないかを確認します。NVIDIAのTensorRT/GPUベンチマークガイドには、電力制限、温度条件、データ転送がGPUの測定結果に与える影響の例が示されています。これらの測定の考え方を参考にしつつ、選定したプラットフォームに適したツールとテスト手順を使用してください。

バッテリー駆動のデバイスでは、画面、無線通信、カメラ、実際の利用パターンを含めて稼働時間を評価します。固定設置する設備では、プラットフォームを組み込んだ後も、選定した電源と冷却方法が適切かを確認します。

検証記録は、構成の選定記録と併せて保管します。これにより、調達担当者とエンジニアリングチームが、プラットフォームの採用判断や後の変更評価に共通の根拠を持つことができます。

エッジAIハードウェアの要件をご相談ください

産業用AIプラットフォームの選定は、アプリケーションの要件を明確にすることから始まります。想定するAI処理、モデルまたは実際の利用条件を代表するデータ、応答時間の目標、設備とのインターフェース、電力上の制約、使用環境をEstone Technologyにお知らせください。初期検討を通じて、候補となるプラットフォーム、評価すべきハードウェアとソフトウェアの変更、プロジェクトに必要な検証範囲を整理できます。プロジェクトについて、当社チームにご相談ください。

このサイトは開発サイトとして wpml.org に登録されています。本番サイトキーに切り替えて remove this banner を実行してください。