ビュンビュン!! NvidiaがGTC会議で発表したNIMは、カスタムおよびプリトレーニングされたAIモデルを生産環境に簡単に展開できる新しいソフトウェアプラットフォームだ！このNIM、開発者が同様のコンテナを出荷するのに通常は数週間から数ヶ月かかるとNvidiaは主張するが、このNIMを使えばそんな心配はなし！Nvidiaは、ハードウェアとしての自社製品を基盤層とし、これらのカリキュラムされたマイクロサービスを中核ソフトウェア層として使用するAI対応コンテナのエコシステムを明確に作り出すことを目指しているんだ。
ゴニョゴニョと話してる間にも、NIMは既にNVIDIA、A121、Adept、Cohere、Getty Images、Shutterstockからのモデルだけでなく、Google、Hugging Face、Meta、Microsoft、Mistral AI、Stability AIからのオープンモデルもサポートしているぞ！Amazon、Google、Microsoftとも手を組んで、これらのNIMマイクロサービスをSageMaker、Kubernetes Engine、Azure AIで利用可能にしようとしているんだ！ほらほら、さらにはDeepset、LangChain、LlamaIndexのようなフレームワークにも統合されるってさ！
例えばこんな感じ？
象がパソコンを使ってるみたいに、トントンとやってるだけで、AIモデルがスムーズに動き出すんだよ。まるで、象がスマートフォンで写真を撮るようなもんだ！
箇条書きでポイント
- Nvidia NIMはAIモデルをサクサクと展開するための新しいソフトウェアプラットフォームだぞ！
- サポートされているモデルはNVIDIAからGoogle、Metaまでバラエティ豊か！
- Amazon、Google、Microsoftとの連携でさらにアクセスが容易に！
話は変わって
NvidiaのManuvir Dasがプレスカンファレンスで「Nvidia GPUがこれらのモデルの推論を実行するのに最適な場所であり、NVIDIA NIMが開発者がその上に構築するための最高のソフトウェアパッケージ、最高のランタイムであると我々は信じています。」って大胆発言！実際には、推論エンジンとしてTriton推論サーバー、TensorRT、TensorRT-LLMを使用するんだって。Nvidiaマイクロサービスの中には、Riva（スピーチと翻訳モデルのカスタマイズ）、cuOpt（ルーティング最適化）、Earth-2モデル（天気と気候シミュレーション）などが含まれるよ！これからもっと色んな機能が追加される予定だって、わくわくしちゃうね！
企業のAI化を加速
NvidiaのJensen Huangは、「確立された企業プラットフォームは、変換可能なデータの金鉱を持っています。これらのコンテナ化されたAIマイクロサービスは、あらゆる業界の企業がAI企業になるための構成要素です。」って。まるで宇宙船が新しい惑星に着陸するようなもんで、これからの企業はAIで加速していくんだね！
さあ、みんなもNIMの波に乗って、AIの未来へレッツゴー！エンジン全開でビューンと飛ばして、もっと知らないことを探求しようぜ！さて、どうなることやら、クエスチョンマークがいっぱい！ビックリマークも忘れずに！
https://techcrunch.com/2024/03/18/nvidia-launches-a-set-of-microservices-for-optimized-inferencing/