FriendliAI

A FriendliAI é uma empresa abrangente de infraestrutura de IA generativa dedicada a tornar a implantação e o escalonamento de modelos de IA fáceis, rápidos e eficientes em termos de custo. A plataforma fornece um conjunto de ferramentas projetadas para acelerar a inferência de IA generativa, permitindo que as empresas passem do desenvolvimento para a produção de forma transparente. Ao alavancar tecnologias de otimização inovadoras, a FriendliAI reduz significativamente os custos operacionais e os requisitos de hardware, ao mesmo tempo que aumenta o desempenho. Ela suporta um vasto ecossistema de mais de 400.000 modelos, incluindo LLMs populares de código aberto como Llama, Mixtral e Qwen, bem como modelos personalizados e multimodais.

O núcleo da oferta da FriendliAI é o Friendli Suite, que inclui três produtos principais adaptados a diferentes necessidades de implantação: Friendli Dedicated Endpoints para desempenho garantido, Friendli Serverless Endpoints para flexibilidade de pagamento conforme o uso, и Friendli Container para segurança máxima dentro da própria infraestrutura de uma empresa. A plataforma é construída sobre tecnologias proprietárias como Iteration Batching (Continuous Batching), kernels de GPU otimizados e quantização nativa, que coletivamente entregam a maior taxa de transferência e a menor latência do setor.

Como usar FriendliAI

Começar a usar o FriendliAI é um processo simples, projetado para desenvolvedores e equipes de MLOps. Aqui está um fluxo de trabalho típico:

1. Inscreva-se e Escolha um Produto: Crie uma conta no Friendli Suite. Dependendo de suas necessidades, você pode começar com um teste gratuito ou créditos. Escolha entre Dedicated Endpoints, Serverless Endpoints ou a solução Container.
2. Crie um Novo Endpoint: No painel, crie um novo projeto e, em seguida, um novo endpoint. Dê a ele um nome exclusivo.
3. Selecione um Modelo: Você pode implantar modelos diretamente de repositórios populares como Hugging Face ou Weights & Biases (W&B). Basta fornecer o ID do modelo. Alternativamente, você pode carregar seu próprio modelo treinado personalizado.
4. Configure a Instância: Selecione o tipo de instância de GPU apropriado (por exemplo, A100, H100) com base no tamanho do seu modelo e nos requisitos de desempenho. A plataforma fornece sugestões para evitar problemas de VRAM.
5. Configure o Auto-Escalonamento: Configure os parâmetros de auto-escalonamento para gerenciar custos e desempenho de forma eficaz. Você pode definir réplicas mínimas e máximas, com a capacidade de escalar para zero para eliminar custos durante períodos de inatividade.
6. Implante e Teste: Clique em 'Criar' para implantar o endpoint. Uma vez inicializado, você pode usar o 'Playground' integrado para enviar prompts de teste e verificar a saída.
7. Integre com sua Aplicação: Use as chaves de API e os trechos de código fornecidos (cURL, Python) para integrar o endpoint de inferência em suas aplicações, produtos ou serviços.
8. Monitore e Otimize: Aproveite o painel integrado para monitorar o desempenho do endpoint, visualizar logs e analisar métricas para otimizar ainda mais sua implantação.

Recursos principais do FriendliAI

• Friendli Suite: Uma plataforma tudo-em-um com três opções de implantação: Dedicated Endpoints (recursos garantidos), Serverless Endpoints (pague pelo uso) e Container (on-premise/VPC).
• Desempenho Inovador: Utiliza tecnologias proprietárias como Iteration Batching (Continuous Batching) para alcançar até 10.7x mais taxa de transferência e 6.2x menos latência em comparação com alternativas.
• Eficiência de Custo: Oferece de 50 a 90% de economia de custos, exigindo até 6x menos GPUs para a mesma carga de trabalho.
• Suporte Extensivo a Modelos: Implante sem problemas mais de 400.000 modelos do Hugging Face, W&B, ou carregue modelos personalizados, incluindo os multimodais.
• Quantização Avançada: Suporta técnicas de quantização nativas como FP8, INT8 e AWQ para servir modelos de forma eficiente sem comprometer a precisão.
• Auto-Escalonamento Inteligente: Ajusta automaticamente os recursos com base na demanda em tempo real, incluindo o escalonamento para zero para minimizar os custos.
• Ferramentas para Construção de Agentes de IA: Apresenta chamada de função agnóstica de modelo, saídas estruturadas e integração com ferramentas como pesquisa na web e calculadoras para construir agentes de IA confiáveis e complexos.
• Pronto para Produção: Oferece SLAs garantidos, segurança robusta para implantações em nuvem ou on-premise, e ferramentas avançadas de monitoramento e depuração.

Casos de uso para FriendliAI

A FriendliAI é confiável por empresas líderes para aplicações de IA exigentes e de nível de produção.

• Serviços de IA em Larga Escala: Provedores de telecomunicações como a SKT usam a FriendliAI para alimentar serviços de IA para milhões de usuários, alcançando 5x mais taxa de transferência e 3x de economia de custos.
• Chatbots de Alto Volume: Empresas como a NextDay AI executam chatbots de personagens personalizados que processam mais de 3 trilhões de tokens por mês, economizando mais de 50% no uso de GPU com o Friendli Container.
• Aplicações de IA Empresariais: Implante modelos ajustados para funções de negócios específicas, como busca em base de conhecimento interna, geração de código ou automação de suporte ao cliente, com total privacidade de dados usando o Friendli Container.
• Avaliação e Seleção de Modelos: Use o recurso de comparação lado a lado nos Serverless Endpoints para avaliar и selecionar o modelo de melhor desempenho para um caso de uso específico.
• Construção de Agentes de IA Complexos: Capacite agentes de IA com ferramentas externas e chamadas de função confiáveis para realizar tarefas complexas como análise de dados, sistemas de reserva ou fluxos de trabalho automatizados.

Vantagens do FriendliAI

A FriendliAI oferece uma vantagem competitiva distinta através de seu foco em desempenho, custo e flexibilidade. Sua principal vantagem reside em seu motor de inferência proprietário que supera drasticamente outras soluções. Isso leva a benefícios diretos, como contas de computação em nuvem significativamente mais baixas e a capacidade de servir mais usuários com menos hardware. A flexibilidade da plataforma permite que as empresas escolham o modelo de implantação perfeito para suas necessidades de segurança e escalonamento, seja uma API sem servidor totalmente gerenciada ou um contêiner rodando em sua nuvem privada. A facilidade de uso, com implantações de um clique do Hugging Face e ferramentas de monitoramento abrangentes, reduz a carga operacional sobre as equipes de engenharia, permitindo que se concentrem na construção de produtos de IA inovadores.

Preços e planos

A FriendliAI oferece um modelo de preços flexível e baseado no uso, com um ponto de entrada freemium.

• Plano Básico: Comece com $5 em créditos gratuitos. Este plano é de pagamento conforme o uso e fornece acesso a recursos principais como auto-escalonamento configurável e implantação de modelos personalizados.
• Plano Empresarial: Projetado para implantações em larga escala, este plano inclui tudo do Básico, mais acesso prioritário a GPUs de alta demanda, monitoramento avançado (Métricas e Logs), suporte dedicado e cotações de preços personalizadas.

O preço para Friendli Dedicated Endpoints é cobrado por hora de GPU, com taxas que variam de acordo com o tipo de GPU:

• A100 80GB: $2.9 / hora
• H100 80GB: $4.9 / hora
• H200 141GB: $5.9 / hora

Os preços para o Friendli Container e Friendli Serverless Endpoints também estão disponíveis e são adaptados aos seus padrões de uso específicos. Clientes empresariais podem entrar em contato com as vendas para um plano de preços com desconto personalizado.