Milvus

Milvus est une base de données vectorielle open-source de premier plan, spécialement conçue pour alimenter les applications d'IA et de GenAI à grande échelle. Elle excelle dans le stockage, l'indexation et la recherche de collections massives de vecteurs d'embedding, qui sont des représentations numériques de données non structurées comme le texte, les images et l'audio. En trouvant les vecteurs les plus similaires à une requête donnée, Milvus constitue l'épine dorsale des applications nécessitant une compréhension sémantique, telles que les moteurs de recherche avancés, les systèmes de recommandation et les pipelines de Génération Augmentée par Récupération (RAG). Les développeurs et les entreprises lui font confiance pour ses hautes performances, sa fiabilité et son évolutivité.

Comment utiliser Milvus

La prise en main de Milvus est conçue pour être simple pour les développeurs, évoluant d'une machine locale à un cluster de production complet.

1. Installation et configuration : Vous pouvez commencer localement avec Milvus Lite, qui s'installe facilement via le gestionnaire de paquets de Python : pip install pymilvus. Pour les environnements de production, Milvus peut être déployé avec Docker, Docker Compose ou sur Kubernetes pour des configurations distribuées.
2. Se connecter à Milvus : Instanciez un client pour vous connecter à votre instance Milvus. Pour le développement local, cela peut être aussi simple que client = MilvusClient("milvus_demo.db"). Pour les déploiements sur serveur, vous fournirez l'URI et un jeton d'accès.
3. Créer une collection : Une collection est analogue à une table dans une base de données traditionnelle. Vous devez définir une collection avec un nom et la dimension de vos vecteurs. Vous pouvez également créer un schéma plus détaillé spécifiant des clés primaires, des champs vectoriels et divers champs scalaires pour les métadonnées.
4. Préparer et insérer des données : Convertissez vos données non structurées (texte, images, etc.) en embeddings vectoriels à l'aide d'un modèle pré-entraîné (par exemple, de Hugging Face). Ensuite, insérez ces données, y compris les vecteurs et toutes les métadonnées associées, dans votre collection. Les données sont généralement formatées comme une liste de dictionnaires.
5. Rechercher et interroger : Effectuez des recherches de similarité ultra-rapides en fournissant un ou plusieurs vecteurs de requête. Vous pouvez affiner les recherches en appliquant de puissants filtres de métadonnées, par exemple, filter="subject == 'biology'". Milvus prend également en charge la récupération ou la suppression d'entités par leurs clés primaires ou leurs expressions de filtre.
6. Évoluer en toute transparence : Le code client que vous écrivez pour le développement local peut être réutilisé pour vous connecter à un cluster Milvus de production, assurant une transition en douceur du prototypage au déploiement à grande échelle.

Fonctionnalités principales de Milvus

• Recherche ultra-rapide : Utilise des algorithmes d'indexation de pointe comme HNSW, IVF_FLAT et IVF_RABITQ, ainsi que l'accélération GPU, pour fournir des réponses de recherche en quelques millisecondes sur des ensembles de données de plusieurs milliards de vecteurs.
• Options de déploiement flexibles : Offre plusieurs modèles de déploiement pour répondre à tous les besoins : Milvus Lite pour le développement local léger, Milvus Standalone pour la production sur un seul serveur, Milvus Distributed pour les clusters d'entreprise à grande échelle, et Zilliz Cloud pour une expérience entièrement gérée et sans serveur.
• Capacités de recherche avancées : Prend en charge la recherche hybride (combinant la similarité vectorielle avec le filtrage par mots-clés/scalaires), la recherche multi-vectorielle et le support des vecteurs creux pour traiter efficacement les requêtes complexes et nuancées.
• Données riches et filtrage : Gère à la fois les embeddings vectoriels et une large gamme de types de données scalaires (chaînes de caractères, entiers, booléens). Son puissant moteur de filtrage permet une récupération précise des données basée sur des attributs de métadonnées avant ou pendant une recherche.
• Haute évolutivité et fiabilité : Construit sur une architecture distribuée et native du cloud qui sépare le stockage et le calcul, permettant une mise à l'échelle élastique des ressources pour répondre aux demandes fluctuantes et garantir une haute disponibilité.
• SDK unifiés et multilingues : Offre une expérience cohérente et conviviale pour les développeurs avec des SDK complets pour les langages populaires, notamment Python, Java, Go, C# et Node.js.

Cas d'utilisation pour Milvus

Milvus est l'infrastructure fondamentale pour un large éventail d'applications basées sur l'IA :

• Génération Augmentée par Récupération (RAG) : Agit comme une base de connaissances externe pour les grands modèles de langage (LLM), en récupérant un contexte pertinent et factuel pour réduire les hallucinations et fournir des réponses à jour et précises.
• Recherche sémantique et réponse aux questions : Alimente les systèmes de recherche qui comprennent le sens et l'intention derrière les requêtes des utilisateurs, allant au-delà de la simple correspondance de mots-clés pour fournir des résultats plus pertinents.
• Recherche d'images et de vidéos : Permet aux applications de trouver du contenu visuellement similaire, ce qui est essentiel pour la découverte de produits dans le commerce électronique, la gestion des actifs numériques et la surveillance de sécurité.
• Moteurs de recommandation : Recommande des produits, des articles, de la musique ou d'autres contenus en faisant correspondre les profils d'utilisateurs et les caractéristiques des articles dans un espace vectoriel de haute dimension.
• Applications multimodales : Facilite la recherche à travers différentes modalités de données, comme l'utilisation d'une description textuelle pour trouver une image spécifique ou un clip audio.

Avantages de Milvus

• Open-source et communautaire : En tant que projet diplômé de la LF AI & Data Foundation, Milvus bénéficie d'une communauté de contributeurs large et active, garantissant une amélioration continue, une documentation complète et une multitude de ressources partagées.
• Prêt pour la production à grande échelle : Prouvé en production par de nombreuses entreprises de premier plan pour des applications critiques, démontrant sa stabilité, sa fiabilité et ses performances sous pression.
• Rentable : Étant open-source, Milvus élimine les frais de licence. Son architecture efficace et native du cloud aide à gérer les coûts opérationnels en optimisant l'utilisation des ressources.
• Riche écosystème d'intégration : S'intègre de manière transparente avec les principaux cadres et outils d'IA/ML comme LangChain, LlamaIndex, PyTorch et TensorFlow, rationalisant le flux de travail de développement de bout en bout.

Tarification et plans

Milvus est un projet open-source et est entièrement gratuit à télécharger, utiliser et modifier. Vous n'êtes responsable que des coûts de l'infrastructure sur laquelle vous l'exécutez. Pour les utilisateurs qui préfèrent une solution gérée et sans tracas, Zilliz, la société qui a initialement créé Milvus, propose Zilliz Cloud. Zilliz Cloud est un service de base de données vectorielle entièrement géré basé sur Milvus qui fonctionne sur un modèle freemium. Il comprend un niveau "Starter" gratuit à vie pour le développement et les petits projets, ainsi que des plans payants "Serverless" et "Dedicated" pour les charges de travail de production qui offrent des performances améliorées, une mise à l'échelle automatique et un support de niveau entreprise.