FriendliAI

FriendliAI es una compañía integral de infraestructura de IA generativa dedicada a hacer que el despliegue y la escalada de modelos de IA sean sencillos, rápidos y eficientes en costos. La plataforma proporciona un conjunto de herramientas diseñadas para acelerar la inferencia de IA generativa, permitiendo a las empresas pasar del desarrollo a la producción sin problemas. Al aprovechar tecnologías de optimización innovadoras, FriendliAI reduce significativamente los costos operativos y los requisitos de hardware, al tiempo que aumenta el rendimiento. Admite un vasto ecosistema de más de 400,000 modelos, incluidos populares LLMs de código abierto como Llama, Mixtral y Qwen, así como modelos personalizados y multimodales.

El núcleo de la oferta de FriendliAI es la Friendli Suite, que incluye tres productos principales adaptados a diferentes necesidades de despliegue: Friendli Dedicated Endpoints para un rendimiento garantizado, Friendli Serverless Endpoints para una flexibilidad de pago por uso, y Friendli Container para una máxima seguridad dentro de la propia infraestructura de una empresa. La plataforma se basa en tecnologías propietarias como Iteration Batching (Continuous Batching), kernels de GPU optimizados y cuantización nativa, que en conjunto ofrecen un rendimiento y una latencia líderes en la industria.

Cómo usar FriendliAI

Comenzar con FriendliAI es un proceso sencillo diseñado para desarrolladores y equipos de MLOps. A continuación, se muestra un flujo de trabajo típico:

1. Regístrese y Elija un Producto: Cree una cuenta en la Friendli Suite. Dependiendo de sus necesidades, puede comenzar con una prueba gratuita o créditos. Elija entre Dedicated Endpoints, Serverless Endpoints o la solución Container.
2. Cree un Nuevo Endpoint: En el panel de control, cree un nuevo proyecto y luego un nuevo endpoint. Asígnele un nombre único.
3. Seleccione un Modelo: Puede desplegar modelos directamente desde repositorios populares como Hugging Face o Weights & Biases (W&B). Simplemente proporcione el ID del modelo. Alternativamente, puede subir su propio modelo entrenado a medida.
4. Configure la Instancia: Seleccione el tipo de instancia de GPU apropiado (por ejemplo, A100, H100) según el tamaño de su modelo y los requisitos de rendimiento. La plataforma ofrece sugerencias para evitar problemas de VRAM.
5. Configure el Autoescalado: Configure los parámetros de autoescalado para gestionar los costos y el rendimiento de manera eficaz. Puede establecer réplicas mínimas y máximas, con la capacidad de escalar a cero para eliminar costos durante los períodos de inactividad.
6. Despliegue y Pruebe: Haga clic en 'Crear' para desplegar el endpoint. Una vez inicializado, puede usar el 'Playground' incorporado para enviar prompts de prueba y verificar la salida.
7. Integre con su Aplicación: Use las claves de API y los fragmentos de código proporcionados (cURL, Python) para integrar el endpoint de inferencia en sus aplicaciones, productos o servicios.
8. Monitoree y Optimice: Aproveche el panel de control integrado para monitorear el rendimiento del endpoint, ver registros y analizar métricas para optimizar aún más su despliegue.

Características principales de FriendliAI

• Friendli Suite: Una plataforma todo en uno con tres opciones de despliegue: Dedicated Endpoints (recursos garantizados), Serverless Endpoints (pago por uso) y Container (on-premise/VPC).
• Rendimiento Revolucionario: Utiliza tecnologías propietarias como Iteration Batching (Continuous Batching) para lograr un rendimiento hasta 10.7 veces mayor y una latencia 6.2 veces menor en comparación con las alternativas.
• Eficiencia de Costos: Ofrece un ahorro de costos del 50-90% al requerir hasta 6 veces menos GPUs para la misma carga de trabajo.
• Amplio Soporte de Modelos: Despliegue sin problemas más de 400,000 modelos de Hugging Face, W&B, o suba modelos personalizados, incluidos los multimodales.
• Cuantización Avanzada: Admite técnicas de cuantización nativas como FP8, INT8 y AWQ para servir modelos de manera eficiente sin comprometer la precisión.
• Autoescalado Inteligente: Ajusta automáticamente los recursos según la demanda en tiempo real, incluida la capacidad de escalar a cero para minimizar los costos.
• Herramientas para Construir Agentes de IA: Cuenta con llamadas a funciones agnósticas del modelo, salidas estructuradas e integración con herramientas como búsqueda web y calculadoras para construir agentes de IA fiables y complejos.
• Listo para Producción: Ofrece SLAs garantizados, seguridad robusta para despliegues en la nube o locales, y herramientas avanzadas de monitoreo y depuración.

Casos de uso para FriendliAI

FriendliAI cuenta con la confianza de empresas líderes para aplicaciones de IA exigentes y de nivel de producción.

• Servicios de IA a Gran Escala: Proveedores de telecomunicaciones como SKT utilizan FriendliAI para potenciar servicios de IA para millones de usuarios, logrando un rendimiento 5 veces mayor y un ahorro de costos 3 veces superior.
• Chatbots de Alto Volumen: Empresas como NextDay AI ejecutan chatbots de personajes personalizados que procesan más de 3 billones de tokens al mes, ahorrando más del 50% en el uso de GPU con Friendli Container.
• Aplicaciones de IA Empresariales: Despliegue modelos ajustados para funciones empresariales específicas, como búsqueda en bases de conocimiento internas, generación de código o automatización del soporte al cliente, con total privacidad de datos utilizando Friendli Container.
• Evaluación y Selección de Modelos: Utilice la función de comparación lado a lado en Serverless Endpoints para evaluar y seleccionar el modelo de mejor rendimiento para un caso de uso específico.
• Construcción de Agentes de IA Complejos: Potencie a los agentes de IA con herramientas externas y llamadas a funciones fiables para realizar tareas complejas como análisis de datos, sistemas de reserva o flujos de trabajo automatizados.

Ventajas de FriendliAI

FriendliAI proporciona una clara ventaja competitiva a través de su enfoque en el rendimiento, el costo y la flexibilidad. Su principal ventaja radica en su motor de inferencia propietario que supera drásticamente a otras soluciones. Esto se traduce en beneficios directos como facturas de computación en la nube significativamente más bajas y la capacidad de servir a más usuarios con menos hardware. La flexibilidad de la plataforma permite a las empresas elegir el modelo de despliegue perfecto para sus necesidades de seguridad y escalado, ya sea una API sin servidor totalmente gestionada o un contenedor que se ejecuta en su nube privada. La facilidad de uso, con despliegues de un solo clic desde Hugging Face y herramientas de monitoreo completas, reduce la carga operativa de los equipos de ingeniería, permitiéndoles centrarse en la construcción de productos de IA innovadores.

Precios y planes

FriendliAI ofrece un modelo de precios flexible y basado en el uso, con un punto de entrada freemium.

• Plan Básico: Comience con $5 en créditos gratuitos. Este plan es de pago por uso y proporciona acceso a características principales como el autoescalado configurable y el despliegue de modelos personalizados.
• Plan Enterprise: Diseñado para despliegues a gran escala, este plan incluye todo lo del Básico más acceso prioritario a GPUs de alta demanda, monitoreo avanzado (Métricas y Registros), soporte dedicado y cotizaciones de precios personalizadas.

El precio de Friendli Dedicated Endpoints se factura por hora de GPU, con tarifas que varían según el tipo de GPU:

• A100 80GB: $2.9 / hora
• H100 80GB: $4.9 / hora
• H200 141GB: $5.9 / hora

Los precios para Friendli Container y Friendli Serverless Endpoints también están disponibles y se adaptan a sus patrones de uso específicos. Los clientes empresariales pueden contactar a ventas para obtener un plan de precios con descuento personalizado.