Qualcomm AI Hub

Qualcomm AI Hub est une plateforme complète conçue pour les développeurs afin de simplifier et d'accélérer le déploiement de modèles d'IA sur des appareils en périphérie (edge) alimentés par les plateformes Snapdragon® et Qualcomm®. Elle offre une solution de bout en bout qui transforme les modèles d'IA de leur framework d'origine en applications hautement optimisées et accélérées par le matériel, fonctionnant directement sur l'appareil, et prenant en charge n'importe quel modèle, n'importe quel appareil et n'importe quel environnement d'exécution.

La plateforme est conçue pour relever les défis clés de l'IA sur l'appareil, notamment l'optimisation des performances, l'efficacité énergétique et la complexité du déploiement. En donnant accès à une vaste bibliothèque de modèles pré-optimisés et à un puissant ensemble d'outils, Qualcomm AI Hub permet aux développeurs de créer des expériences utilisateur intelligentes, réactives et personnalisées dans les secteurs du mobile, de l'informatique, de l'automobile et de l'IoT.

Comment utiliser Qualcomm AI Hub

Démarrer avec Qualcomm AI Hub est un processus simplifié conçu pour les développeurs. Le flux de travail comprend généralement les étapes suivantes :

1. Configuration et Installation : Commencez par installer la bibliothèque Python de Qualcomm AI Hub via pip : pip3 install qai-hub. Il est recommandé d'utiliser une version de Python entre 3.9 et 3.11.
2. Authentification : Connectez-vous au site web de Qualcomm AI Hub avec votre ID Qualcomm pour générer un jeton d'API. Configurez votre environnement local avec ce jeton à l'aide de la commande : qai-hub configure --api_token VOTRE_JETON_API.
3. Sélection du Modèle : Vous pouvez soit choisir parmi plus de 100 modèles pré-optimisés disponibles dans la bibliothèque du Hub (couvrant la vision, la parole, l'audio et le texte), soit apporter votre propre modèle au format PyTorch ou ONNX.
4. Compilation et Optimisation : Soumettez votre modèle pour compilation. Le Hub convertit et optimise automatiquement le modèle pour un appareil et un environnement d'exécution Qualcomm cibles (par exemple, TensorFlow Lite, ONNX Runtime ou Qualcomm® AI Runtime), en tirant parti du CPU, du GPU ou du NPU de l'appareil pour des performances maximales.
5. Profilage sur des Appareils Réels : Soumettez le modèle compilé pour l'exécuter sur un appareil physique hébergé dans le cloud (comme un Samsung Galaxy S24). Cela vous permet d'analyser des métriques de performance détaillées, y compris la latence, l'utilisation de la mémoire et l'utilisation de l'unité de calcul, garantissant que votre modèle répond aux exigences du monde réel.
6. Exécution de l'Inférence et Déploiement : Testez votre modèle en exécutant des tâches d'inférence sur l'appareil hébergé avec vos propres données. Une fois validé, vous pouvez télécharger le modèle optimisé et utiliser les applications exemples et les SDK fournis pour l'intégrer dans votre application finale pour un déploiement sur l'appareil.

Fonctionnalités principales de Qualcomm AI Hub

• Vaste Bibliothèque de Modèles : Accédez à une collection de plus de 100 modèles d'IA de pointe et pré-optimisés, dont Llama 3.2, Mistral et MobileNet, prêts pour un déploiement immédiat.
• Apportez Votre Propre Modèle (BYOM) : Téléchargez, convertissez et optimisez en toute transparence vos modèles PyTorch ou ONNX personnalisés pour le matériel Qualcomm.
• Optimisation Consciente du Matériel : Optimise automatiquement les modèles pour qu'ils s'exécutent efficacement sur les unités de traitement spécifiques (CPU, GPU, NPU) des plateformes Snapdragon, maximisant les performances et minimisant la consommation d'énergie.
• Profilage sur des Appareils Hébergés dans le Cloud : Testez et validez les performances des modèles sur une large gamme d'appareils réels alimentés par Qualcomm, sans avoir besoin de posséder le matériel.
• Prise en Charge Flexible des Environnements d'Exécution : Déployez des modèles à l'aide d'environnements d'exécution populaires comme TensorFlow Lite, ONNX Runtime et le performant Qualcomm® AI Runtime.
• Riche Écosystème de Développeurs : S'intègre avec des services et outils de ML de premier plan comme Amazon SageMaker, Dataloop et Hugging Face pour fournir un flux de travail complet de bout en bout.

Cas d'utilisation pour Qualcomm AI Hub

Qualcomm AI Hub est polyvalent et prend en charge un large éventail d'applications d'IA sur l'appareil :

• Mobile : Création d'expériences mobiles intelligentes comme l'amélioration d'image en temps réel (super-résolution), la segmentation sémantique pour les effets de caméra, et l'IA générative sur l'appareil pour du contenu personnalisé.
• Informatique (PC) : Alimenter les applications d'IA de nouvelle génération sur les PC équipés de Snapdragon X Elite, ouvrant des possibilités infinies pour la productivité et la créativité.
• Automobile : Ouvrir une nouvelle ère de la mobilité avec l'IA embarquée pour l'aide à la conduite, l'infodivertissement et la personnalisation de l'utilisateur.
• IoT : Déployer l'IA en temps réel sur une variété d'appareils connectés pour les maisons intelligentes, l'automatisation industrielle et les expériences utilisateur de nouvelle génération.
• IA Générative : Exécuter de grands modèles de langage (LLM) et des modèles de génération d'images directement sur l'appareil pour des applications comme le résumé de texte, la génération de code et la création artistique.

Avantages de Qualcomm AI Hub

Le principal avantage de Qualcomm AI Hub est sa capacité à simplifier considérablement le cycle de vie du développement de l'IA sur l'appareil. Il abstrait les complexités de l'optimisation spécifique au matériel, permettant aux développeurs de se concentrer sur la création d'applications innovantes. En donnant accès à des appareils réels pour le profilage, il réduit les risques du processus de déploiement et garantit des performances prévisibles. La flexibilité de la plateforme, sa vaste bibliothèque de modèles et son puissant moteur d'optimisation en font un outil indispensable pour quiconque cherche à exploiter tout le potentiel de l'IA en périphérie sur les appareils alimentés par Qualcomm.

Tarification et plans

Qualcomm AI Hub est accessible aux développeurs en s'inscrivant pour un ID Qualcomm gratuit. Cela donne accès aux fonctionnalités de base de la plateforme, y compris la bibliothèque de modèles, les outils d'optimisation et un niveau gratuit pour le profilage sur des appareils hébergés dans le cloud. Ce modèle est conçu pour favoriser une forte communauté de développeurs et encourager l'innovation sur les plateformes Qualcomm. Pour une utilisation intensive ou des besoins d'entreprise, des plans et des tarifs spécifiques peuvent être disponibles en contactant directement Qualcomm.