Milvus

Milvusは、AIおよびGenAIアプリケーションを大規模にサポートするために特別に設計された、主要なオープンソースのベクトルデータベースです。テキスト、画像、音声などの非構造化データを数値で表現した埋め込みベクトルの巨大なコレクションを保存、インデックス付け、検索することに優れています。与えられたクエリに最も類似したベクトルを見つけることで、Milvusは高度な検索エンジン、推薦システム、検索拡張生成（RAG）パイプラインなど、セマンティックな理解を必要とするアプリケーションのバックボーンを形成します。その高性能、信頼性、スケーラビリティにより、開発者や企業から信頼されています。

Milvusの使い方

Milvusの利用開始は、開発者がローカルマシンから本格的な本番クラスタまでスケールアップできるよう、シンプルに設計されています。

1. インストールとセットアップ： Pythonのパッケージマネージャーを介して簡単にインストールできるMilvus Liteからローカルで始めることができます：pip install pymilvus。本番環境では、Docker、Docker Compose、または分散設定のためにKubernetes上にMilvusをデプロイできます。
2. Milvusへの接続： クライアントをインスタンス化してMilvusインスタンスに接続します。ローカル開発の場合、client = MilvusClient("milvus_demo.db")のように簡単です。サーバーへのデプロイの場合は、URIとアクセストークンを提供します。
3. コレクションの作成： コレクションは、従来のデータベースのテーブルに相当します。名前とベクトルの次元を持つコレクションを定義する必要があります。また、プライマリキー、ベクトルフィールド、メタデータ用の様々なスカラーフィールドを指定する、より詳細なスキーマを作成することもできます。
4. データの準備と挿入： 事前学習済みモデル（例：Hugging Faceのモデル）を使用して、非構造化データ（テキスト、画像など）をベクトル埋め込みに変換します。次に、ベクトルと関連メタデータを含むこのデータをコレクションに挿入します。データは通常、辞書のリストとしてフォーマットされます。
5. 検索とクエリ： 1つ以上のクエリベクトルを提供することで、超高速の類似性検索を実行します。例えばfilter="subject == 'biology'"のような強力なメタデータフィルターを適用して検索を絞り込むことができます。Milvusは、プライマリキーやフィルター式によるエンティティの取得や削除もサポートしています。
6. シームレスなスケーリング： ローカル開発用に作成したクライアントコードは、本番グレードのMilvusクラスタに接続するために再利用でき、プロトタイピングから大規模なデプロイへのスムーズな移行を保証します。

Milvusの主な機能

• 超高速検索： HNSW、IVF_FLAT、IVF_RABITQなどの最先端のインデックスアルゴリズムとGPUアクセラレーションを活用し、数十億規模のデータセットでミリ秒レベルの検索応答を実現します。
• 柔軟なデプロイオプション： あらゆるニーズに対応する複数のデプロイモデルを提供します：軽量なローカル開発用のMilvus Lite、単一サーバー本番用のMilvus Standalone、大規模エンタープライズクラスタ用のMilvus Distributed、そして完全マネージドのサーバーレス体験を提供するZilliz Cloud。
• 高度な検索機能： ハイブリッド検索（ベクトル類似性とキーワード/スカラーフィルタリングの組み合わせ）、マルチベクトル検索、スパースベクトルサポートにより、複雑でニュアンスのあるクエリを効果的に処理します。
• 豊富なデータとフィルタリング： ベクトル埋め込みと幅広いスカラーデータ型（文字列、整数、ブール値）の両方を管理します。その強力なフィルタリングエンジンにより、検索前または検索中にメタデータ属性に基づいて正確なデータ取得が可能です。
• 高いスケーラビリティと信頼性： ストレージとコンピューティングを分離したクラウドネイティブな分散アーキテクチャ上に構築されており、変動する要求に応じてリソースを弾力的にスケーリングし、高可用性を確保します。
• 統一された多言語SDK： Python、Java、Go、C#、Node.jsなどの人気言語向けに、包括的で開発者フレンドリーなSDKを提供し、一貫した開発体験を実現します。

Milvusの使用例

Milvusは、さまざまなAI搭載アプリケーションの基盤となるインフラです：

• 検索拡張生成（RAG）： 大規模言語モデル（LLM）の外部知識ベースとして機能し、関連性の高い事実に基づいたコンテキストを取得して、ハルシネーションを減らし、最新で正確な回答を提供します。
• セマンティック検索と質問応答： 単純なキーワードマッチングを超えて、ユーザーのクエリの背後にある意味と意図を理解する検索システムを強化し、より関連性の高い結果を提供します。
• 画像・動画検索： アプリケーションが視覚的に類似したコンテンツを見つけることを可能にし、eコマースの商品発見、デジタル資産管理、セキュリティ監視に不可欠です。
• 推薦エンジン： 高次元のベクトル空間でユーザープロファイルとアイテムの特性を照合することにより、製品、記事、音楽、その他のコンテンツを推薦します。
• マルチモーダルアプリケーション： テキストの説明を使って特定の画像やオーディオクリップを見つけるなど、異なるデータモダリティ間での検索を容易にします。

Milvusの利点

• オープンソース＆コミュニティ主導： LF AI & Data Foundationの卒業プロジェクトとして、Milvusは大規模で活発な貢献者コミュニティの恩恵を受けており、継続的な改善、広範なドキュメント、豊富な共有リソースが保証されています。
• 本番環境での実績： 多くの主要企業によってミッションクリティカルなアプリケーションで本番利用が証明されており、プレッシャー下での安定性、信頼性、パフォーマンスを示しています。
• コスト効率： オープンソースであるため、Milvusはライセンス料を不要にします。その効率的なクラウドネイティブアーキテクチャは、リソース利用を最適化することで運用コストの管理に役立ちます。
• 豊富なエコシステム統合： LangChain、LlamaIndex、PyTorch、TensorFlowなどの主要なAI/MLフレームワークやツールとシームレスに統合し、エンドツーエンドの開発ワークフローを合理化します。

料金プラン

Milvusはオープンソースプロジェクトであり、ダウンロード、使用、変更は完全に無料です。ユーザーは、それを実行するインフラのコストのみを負担します。マネージドで手間のかからないソリューションを好むユーザーのために、Milvusを最初に作成した企業であるZillizはZilliz Cloudを提供しています。Zilliz Cloudは、Milvusをベースにした完全マネージドのベクトルデータベースサービスで、フリーミアムモデルで運営されています。開発や小規模プロジェクト向けの永久無料の「スターター」ティアと、本番ワークロード向けに強化されたパフォーマンス、自動スケーリング、エンタープライズグレードのサポートを提供する有料の「サーバーレス」および「専用」プランが含まれています。