Qualcomm AI Hub

Qualcomm AI Hub es una plataforma integral diseñada para que los desarrolladores simplifiquen y aceleren el despliegue de modelos de IA en dispositivos de borde (edge) impulsados por las plataformas Snapdragon® y Qualcomm®. Ofrece una solución de extremo a extremo que lleva los modelos de IA desde su marco original hasta aplicaciones altamente optimizadas y aceleradas por hardware que se ejecutan directamente en el dispositivo, soportando cualquier modelo, cualquier dispositivo y cualquier tiempo de ejecución (runtime).

La plataforma está construida para abordar los desafíos clave de la IA en el dispositivo, incluyendo la optimización del rendimiento, la eficiencia energética y la complejidad del despliegue. Al proporcionar acceso a una vasta biblioteca de modelos preoptimizados y un potente conjunto de herramientas, Qualcomm AI Hub capacita a los desarrolladores para crear experiencias de usuario inteligentes, receptivas y personalizadas en los sectores de la telefonía móvil, la computación, la automoción y el IoT.

Cómo usar Qualcomm AI Hub

Comenzar a usar Qualcomm AI Hub es un proceso simplificado diseñado para desarrolladores. El flujo de trabajo generalmente implica los siguientes pasos:

1. Configuración e Instalación: Comience instalando la biblioteca de Python de Qualcomm AI Hub usando pip: pip3 install qai-hub. Se recomienda usar una versión de Python entre 3.9 y 3.11.
2. Autenticación: Inicie sesión en el sitio web de Qualcomm AI Hub con su ID de Qualcomm para generar un token de API. Configure su entorno local con este token usando el comando: qai-hub configure --api_token SU_TOKEN_DE_API.
3. Selección de Modelo: Puede elegir entre más de 100 modelos preoptimizados disponibles en la biblioteca del Hub (que cubren visión, habla, audio y texto) o traer su propio modelo en formato PyTorch u ONNX.
4. Compilar y Optimizar: Envíe su modelo para su compilación. El Hub convierte y optimiza automáticamente el modelo para un dispositivo y tiempo de ejecución de Qualcomm objetivo (por ejemplo, TensorFlow Lite, ONNX Runtime o Qualcomm® AI Runtime), aprovechando la CPU, GPU o NPU del dispositivo para un rendimiento máximo.
5. Perfilar en Dispositivos Reales: Envíe el modelo compilado para que se ejecute en un dispositivo físico alojado en la nube (como un Samsung Galaxy S24). Esto le permite analizar métricas de rendimiento detalladas, incluyendo latencia, uso de memoria y utilización de la unidad de cómputo, asegurando que su modelo cumpla con los requisitos del mundo real.
6. Ejecutar Inferencia y Desplegar: Pruebe su modelo ejecutando trabajos de inferencia en el dispositivo alojado con sus propios datos. Una vez validado, puede descargar el modelo optimizado y usar las aplicaciones de muestra y los SDK proporcionados para empaquetarlo en su aplicación final para su despliegue en el dispositivo.

Características principales de Qualcomm AI Hub

• Amplia Biblioteca de Modelos: Acceda a una colección curada de más de 100 modelos de IA de última generación y preoptimizados, incluyendo Llama 3.2, Mistral y MobileNet, listos para su despliegue inmediato.
• Traiga su Propio Modelo (BYOM): Cargue, convierta y optimice sin problemas sus modelos personalizados de PyTorch u ONNX para el hardware de Qualcomm.
• Optimización Consciente del Hardware: Optimiza automáticamente los modelos para que se ejecuten de manera eficiente en las unidades de procesamiento específicas (CPU, GPU, NPU) de las plataformas Snapdragon, maximizando el rendimiento y minimizando el consumo de energía.
• Perfilado en Dispositivos Alojados en la Nube: Pruebe y valide el rendimiento del modelo en una amplia gama de dispositivos reales impulsados por Qualcomm, sin necesidad de poseer el hardware.
• Soporte Flexible de Tiempos de Ejecución: Despliegue modelos utilizando tiempos de ejecución populares como TensorFlow Lite, ONNX Runtime y el Qualcomm® AI Runtime de alto rendimiento.
• Rico Ecosistema de Desarrolladores: Se integra con los principales servicios y herramientas de ML como Amazon SageMaker, Dataloop y Hugging Face para proporcionar un flujo de trabajo completo de extremo a extremo.

Casos de uso para Qualcomm AI Hub

Qualcomm AI Hub es versátil y soporta una amplia gama de aplicaciones de IA en el dispositivo:

• Móvil: Creación de experiencias móviles inteligentes como la mejora de imágenes en tiempo real (super-resolución), la segmentación semántica para efectos de cámara y la IA generativa en el dispositivo para contenido personalizado.
• Computación (PCs): Impulsando aplicaciones de IA de próxima generación en PCs con Snapdragon X Elite, permitiendo infinitas posibilidades para la productividad y la creatividad.
• Automoción: Desbloqueando una nueva era de movilidad con IA en el vehículo para asistencia al conductor, infoentretenimiento y personalización del usuario.
• IoT: Desplegando IA en tiempo real en una variedad de dispositivos conectados para hogares inteligentes, automatización industrial y experiencias de usuario de próxima generación.
• IA Generativa: Ejecutando grandes modelos de lenguaje (LLMs) y modelos de generación de imágenes directamente en el dispositivo para aplicaciones como el resumen de texto, la generación de código y la creación artística.

Ventajas de Qualcomm AI Hub

La principal ventaja de Qualcomm AI Hub es su capacidad para simplificar drásticamente el ciclo de vida del desarrollo de la IA en el dispositivo. Abstrae las complejidades de la optimización específica del hardware, permitiendo a los desarrolladores centrarse en la construcción de aplicaciones innovadoras. Al proporcionar acceso a dispositivos reales para el perfilado, reduce el riesgo del proceso de despliegue y garantiza un rendimiento predecible. La flexibilidad de la plataforma, su amplia biblioteca de modelos y su potente motor de optimización la convierten en una herramienta indispensable para cualquiera que busque aprovechar todo el potencial de la IA en el borde en dispositivos impulsados por Qualcomm.

Precios y planes

Qualcomm AI Hub es accesible para los desarrolladores registrándose para obtener un ID de Qualcomm gratuito. Esto proporciona acceso a las características principales de la plataforma, incluyendo la biblioteca de modelos, las herramientas de optimización y un nivel gratuito para el perfilado en dispositivos alojados en la nube. Este modelo está diseñado para fomentar una fuerte comunidad de desarrolladores y alentar la innovación en las plataformas de Qualcomm. Para un uso extensivo o necesidades a nivel empresarial, pueden estar disponibles planes y precios específicos contactando directamente a Qualcomm.