インテル® Gaudi® 2 概要実証: neoAI が提供するエンタープライズ規模の生成 AI
著者: 大槻 真輝、Rahul Unnikrishnan Nair
生成 AI が産業構造を変革する時代において、エンタープライズ・グレードの AI ワークロードには、堅牢でスケーラブルなインフラストラクチャーが不可欠です。日本の AI スタートアップ企業であり、インテル® Liftoff for Startups プログラムのメンバーである neoAI は最近、インテル® Tiber™ AI クラウド上でインテル® Gaudi® 2 AI アクセラレーターの評価を行いました。この概念実証は、ゆうちょ銀行や九州電力などの大手企業をサポートする検索拡張生成 (RAG) 対応の LLM プラットフォームである neoAI Chat の、インテル® Gaudi® 2 におけるパフォーマンスを評価することを目的としていました。
neoAI: LLM AI チャットボット・ソリューション
neoAI は、企業がコーディングすることなく AI エージェントを作成してデータをさまざまな LLM に接続できる SaaS プラットフォームである neoAI Chat など、エンタープライズ・ビジネス向けの生成 AI アプリケーションを提供しています。
インテル® Tiber™ AI クラウドにおける PoC の目標
neoAI は以下の 3 点を目標として定めました。
1. 同時実行パフォーマンス: インテル® Gaudi® 2 が処理できる同時推論リクエストの数をテストして NVIDIA L40S および H100 GPU と比較する。
2. 推論速度: トークン生成速度のベンチマークを行う。
3. ソフトウェア開発エクスペリエンス: インテル® Gaudi® 2 上での AI ワークロードのデプロイの容易さを評価する。
重要なポイント
1. 同時実行パフォーマンス
同時実行テストでは、LLM スループットのスケーリングが停止してレイテンシーが増加し始めるエルボーポイントを特定することに重点を置きました。下のグラフは、さまざまなアクセラレーターのエルボーポイントを示しています。
このグラフから、以下のことがわかります。
- L40S (x2) は、同時リクエスト数 16 でエルボーポイントに達しています。
- H100 (x1) は、同時リクエスト数 32 でエルボーポイントに達しています。
- インテル® Gaudi® 2 (x2) とH100 (x2) は、同時リクエスト数 64 でエルボーポイントに達しています。
これは、インテル® Gaudi® 2 がデュアル H100 に匹敵する同時処理能力、つまり需要の高いエンタープライズ AI タスクに対するスケーラビリティーを備えていることを実証しています。
2. 推論速度
1 つの同時リクエストにおける推論速度の比較を、以下に示します。
| アクセラレーター構成 | トークン数/秒 |
| L40S (x2) | 23.6 |
| H100 (x2) | 65.7 |
| インテル® Gaudi® 2 (x2) | 26.9 |
インテル® Gaudi® 2 はトークン数/秒で L40S を若干上回っていますが、デュアル H100 には及んでいません。しかし、同時処理能力の優位性により、単一ストリーム速度よりも並列処理を優先するワークロードでは、インテル® Gaudi® 2 は強力な候補となります。
3. ソフトウェア開発エクスペリエンス
neoAI のチームは、インテル® Gaudi® 2 向けのすぐに使える Docker イメージによって、スムーズな本番環境エクスペリエンスが得られたと報告しています。セットアップ・プロセスは簡単で、効率的な PoC 実行が保証されました。
「インテル® Tiber™ AI クラウドは、インテル® Gaudi® 2 AI アクセラレーターの複数の同時リクエスト管理能力をテストするという目標の達成に役立ちました。96GB のメモリーを搭載したインテル® Gaudi® 2 のパフォーマンスは良好で、すぐに使える Docker イメージによってプロセスをスムーズに実行でき、好ましい結果とパフォーマンスを得ることができました。」
— neoAI Research 責任者、大槻 真輝
準備はいいですか?
この PoC では、インテル® Gaudi® 2 の同時実行パフォーマンスの高さは、エンタープライズ AI ワークロードで H100 などの従来の GPU に代わる、コスト効率の良い、スケーラブルな代替手段となり得ることが強調されています。インテル® Liftoff for Startups プログラムの下でのコラボレーションにより、neoAI は新しいハードウェア・ソリューションを調査し、スタートアップが AI イノベーションを推進できるようにインテルが提供している高度なインフラストラクチャーとカスタマイズされたサポートの効果を実証しました。
インテル® Liftoff は、初期段階の AI スタートアップ企業向けの無料の仮想プログラムです。インテルによる株主資本（エクイティー）や期限の制限はありません。今すぐお申し込みください!
関連情報
インテル® Tiber™ AI クラウド – AI の開発とデプロイのためのクラウド・プラットフォーム
インテル® Gaudi® 2 AI アクセラレーター – ディープラーニング・ワークロード向けに設計されたハイパフォーマンス AI トレーニング・プロセッサー
インテル® ソフトウェア開発ツール向けサポートサービス
エクセルソフトが提供するインテル® ソフトウェア開発ツール向けサポートサービスでは、インテル® ソフトウェア開発ツールの旧バージョンから新バージョンへの移行、CUDA から SYCL へのコード移行、他社製 GPU とのコード互換など、新しい環境でこれまで通り業務を遂行するための移行を支援します。製品の移行に関してお悩み、質問などお気軽にお問い合わせください。