Milvus

Milvus는 AI 및 GenAI 애플리케이션을 대규모로 지원하기 위해 특별히 설계된 선도적인 오픈 소스 벡터 데이터베이스입니다. 텍스트, 이미지, 오디오와 같은 비정형 데이터의 수치적 표현인 임베딩 벡터의 방대한 컬렉션을 저장, 인덱싱 및 검색하는 데 탁월합니다. 주어진 쿼리에 가장 유사한 벡터를 찾아냄으로써 Milvus는 고급 검색 엔진, 추천 시스템 및 검색 증강 생성(RAG) 파이프라인과 같이 시맨틱 이해가 필요한 애플리케이션의 중추를 형성합니다. 고성능, 신뢰성 및 확장성으로 개발자와 기업의 신뢰를 받고 있습니다.

Milvus 사용 방법

Milvus 시작하기는 개발자가 로컬 머신에서 전체 프로덕션 클러스터로 확장할 수 있도록 간단하게 설계되었습니다.

1. 설치 및 설정: Python의 패키지 관리자를 통해 쉽게 설치할 수 있는 Milvus Lite로 로컬에서 시작할 수 있습니다: pip install pymilvus. 프로덕션 환경의 경우 Docker, Docker Compose 또는 Kubernetes에 Milvus를 배포하여 분산 설정을 할 수 있습니다.
2. Milvus에 연결: 클라이언트를 인스턴스화하여 Milvus 인스턴스에 연결합니다. 로컬 개발의 경우 client = MilvusClient("milvus_demo.db")와 같이 간단하게 할 수 있습니다. 서버 배포의 경우 URI와 액세스 토큰을 제공해야 합니다.
3. 컬렉션 생성: 컬렉션은 기존 데이터베이스의 테이블과 유사합니다. 이름과 벡터의 차원을 가진 컬렉션을 정의해야 합니다. 또한 기본 키, 벡터 필드 및 메타데이터를 위한 다양한 스칼라 필드를 지정하는 더 자세한 스키마를 생성할 수 있습니다.
4. 데이터 준비 및 삽입: 사전 훈련된 모델(예: Hugging Face의 모델)을 사용하여 비정형 데이터(텍스트, 이미지 등)를 벡터 임베딩으로 변환합니다. 그런 다음 벡터 및 관련 메타데이터를 포함한 이 데이터를 컬렉션에 삽입합니다. 데이터는 일반적으로 사전 목록으로 형식화됩니다.
5. 검색 및 쿼리: 하나 이상의 쿼리 벡터를 제공하여 번개처럼 빠른 유사성 검색을 수행합니다. 예를 들어 filter="subject == 'biology'"와 같은 강력한 메타데이터 필터를 적용하여 검색을 구체화할 수 있습니다. Milvus는 또한 기본 키 또는 필터 표현식으로 엔티티를 검색하거나 삭제하는 것을 지원합니다.
6. 원활한 확장: 로컬 개발을 위해 작성한 클라이언트 코드를 프로덕션 등급의 Milvus 클러스터에 연결하는 데 재사용할 수 있어 프로토타이핑에서 대규모 배포로의 원활한 전환을 보장합니다.

Milvus의 핵심 기능

• 초고속 검색: HNSW, IVF_FLAT, IVF_RABITQ와 같은 최첨단 인덱싱 알고리즘과 GPU 가속을 활용하여 수십억 규모의 데이터 세트에서 밀리초 수준의 검색 응답을 제공합니다.
• 유연한 배포 옵션: 모든 요구에 맞는 여러 배포 모델을 제공합니다: 경량 로컬 개발을 위한 Milvus Lite, 단일 서버 프로덕션을 위한 Milvus Standalone, 대규모 엔터프라이즈 클러스터를 위한 Milvus Distributed, 그리고 완전 관리형 서버리스 경험을 위한 Zilliz Cloud.
• 고급 검색 기능: 하이브리드 검색(벡터 유사성과 키워드/스칼라 필터링 결합), 다중 벡터 검색 및 희소 벡터 지원을 통해 복잡하고 미묘한 쿼리를 효과적으로 처리합니다.
• 풍부한 데이터 및 필터링: 벡터 임베딩과 다양한 스칼라 데이터 유형(문자열, 정수, 부울)을 모두 관리합니다. 강력한 필터링 엔진을 통해 검색 전이나 도중에 메타데이터 속성을 기반으로 정확한 데이터를 검색할 수 있습니다.
• 높은 확장성 및 신뢰성: 스토리지와 컴퓨팅을 분리하는 클라우드 네이티브 분산 아키텍처를 기반으로 구축되어 변동하는 수요를 충족시키기 위해 리소스를 탄력적으로 확장하고 고가용성을 보장합니다.
• 통합된 다국어 SDK: Python, Java, Go, C#, Node.js를 포함한 인기 있는 언어에 대한 포괄적이고 개발자 친화적인 SDK로 일관된 개발 경험을 제공합니다.

Milvus의 사용 사례

Milvus는 다양한 AI 기반 애플리케이션의 기본 인프라입니다:

• 검색 증강 생성(RAG): 대규모 언어 모델(LLM)의 외부 지식 베이스 역할을 하여 관련성 있고 사실적인 컨텍스트를 검색하여 환각을 줄이고 최신의 정확한 답변을 제공합니다.
• 시맨틱 검색 및 질의응답: 단순한 키워드 매칭을 넘어 사용자의 쿼리 뒤에 있는 의미와 의도를 이해하는 검색 시스템을 구동하여 더 관련성 높은 결과를 제공합니다.
• 이미지 및 비디오 검색: 애플리케이션이 시각적으로 유사한 콘텐츠를 찾을 수 있게 하여 전자 상거래 제품 발견, 디지털 자산 관리 및 보안 감시에 중요합니다.
• 추천 엔진: 고차원 벡터 공간에서 사용자 프로필과 아이템 특성을 매칭하여 제품, 기사, 음악 또는 기타 콘텐츠를 추천합니다.
• 멀티모달 애플리케이션: 텍스트 설명을 사용하여 특정 이미지나 오디오 클립을 찾는 등 다양한 데이터 양식에 걸친 검색을 용이하게 합니다.

Milvus의 장점

• 오픈 소스 및 커뮤니티 주도: LF AI & Data Foundation의 졸업 프로젝트로서 Milvus는 크고 활동적인 기여자 커뮤니티의 혜택을 받아 지속적인 개선, 광범위한 문서 및 풍부한 공유 리소스를 보장합니다.
• 프로덕션 준비 완료: 수많은 선도 기업에서 미션 크리티컬 애플리케이션에 대해 프로덕션에서 입증되어 압박 속에서도 안정성, 신뢰성 및 성능을 보여줍니다.
• 비용 효율적: 오픈 소스이므로 Milvus는 라이선스 비용이 없습니다. 효율적인 클라우드 네이티브 아키텍처는 리소스 활용을 최적화하여 운영 비용 관리에 도움이 됩니다.
• 풍부한 생태계 통합: LangChain, LlamaIndex, PyTorch, TensorFlow와 같은 주요 AI/ML 프레임워크 및 도구와 원활하게 통합되어 엔드투엔드 개발 워크플로를 간소화합니다.

가격 및 플랜

Milvus는 오픈 소스 프로젝트이며 다운로드, 사용 및 수정이 완전히 무료입니다. 사용자는 실행하는 인프라 비용만 책임지면 됩니다. 관리형의 번거로움 없는 솔루션을 선호하는 사용자를 위해 Milvus를 처음 만든 회사인 Zilliz는 Zilliz Cloud를 제공합니다. Zilliz Cloud는 Milvus를 기반으로 한 완전 관리형 벡터 데이터베이스 서비스로, 프리미엄(freemium) 모델로 운영됩니다. 개발 및 소규모 프로젝트를 위한 영구 무료 "스타터" 등급과 향상된 성능, 자동 확장 및 엔터프라이즈급 지원을 제공하는 프로덕션 워크로드를 위한 유료 "서버리스" 및 "전용" 플랜이 포함되어 있습니다.