Together AI

Together AI 将自己定位为AI加速云，是一个专为开发者和研究人员设计的端到端平台，旨在构建生成式AI的未来。它提供了一套全面的工具和基础设施，用于训练、微调和运行大量开源模型。该平台建立在尖端研究的基础上，旨在提供无与伦比的速度、成本效益和灵活性，并坚定地致力于开源社区。

其核心在于，Together AI 提供了一个无缝衔接的服务连续体，涵盖了整个生成式AI生命周期。用户可以从推理API开始，将超过200个预训练模型快速集成到他们的应用中；接着可以利用自己的数据对这些模型进行微调以适应特定任务；或者利用强大的GPU集群从头开始训练新的自定义模型。这种集成方法使各种规模的组织都能够创新和部署复杂的AI解决方案，而无需担心供应商锁定。

如何使用Together AI

根据不同需求，上手Together AI非常简单：

1. 用于推理： 开发者可以注册以获取API密钥。利用其与OpenAI兼容的API，他们可以轻松地从其他服务迁移或开始新项目。您可以对各种模型（聊天、图像、代码等）的无服务器端点进行API调用，并按使用量付费。对于需要持续高吞吐量的场景，可以部署专用实例。
2. 用于微调： 以标准格式（如JSONL）准备您的训练数据。使用简单的命令行界面（CLI）上传您的数据集。然后，运行 `together finetune create` 命令，指定您希望微调的基础模型和您的数据集。您可以从一个简单的命令开始，也可以深入控制超参数，如学习率、批量大小和训练轮数，以优化性能。
3. 用于在GPU集群上训练： 对于大规模项目，您可以预订专用的GPU集群。这些集群配备了顶级的NVIDIA GPU（如H100、H200和GB200）和高速互连。您可以使用标准的编排工具（如Slurm或Kubernetes）来管理您的训练工作负载。

Together AI的核心功能

• 广泛的模型库： 可访问超过200个生成式AI模型，包括Llama、Mixtral、Qwen、Gemma和DeepSeek等领先的开源模型家族，涵盖聊天、代码生成、图像创建、音频转录和嵌入等功能。
• 高性能推理引擎： Together推理引擎由FlashAttention-3和自定义内核等研究创新驱动，为模型推理提供行业领先的速度和吞吐量，显著降低延迟。
• 可定制的微调： 提供用户友好的API和CLI，用于微调开源模型。它支持高效的LoRA（低秩适应）和全量微调，让您完全拥有最终模型的所有权。
• 专用GPU集群： 按需访问最先进的NVIDIA GPU集群，用于大规模训练和推理，配备高速网络以消除瓶颈。
• 与OpenAI兼容的API： 作为OpenAI API的直接替代品，允许以最少的代码更改将现有应用程序无缝迁移到开源模型上运行。
• 企业级安全： 该平台符合SOC 2和HIPAA标准，提供强大的安全性，并支持在企业自己的虚拟私有云（VPC）内部署。

Together AI的使用案例

该平台支持广泛的应用，包括：

• 高级聊天机器人和虚拟助手： 为客户支持、个人助理等构建和部署高响应性和情境感知的对话式AI。
• 代码生成和开发者工具： 将强大的代码模型集成到IDE中，以协助代码补全、调试和根据提示生成整个代码库。
• 创意内容生成： 使用最先进的图像和语言模型创建高质量的图像、营销文案和其他创意内容。
• 数据分析和提取： 为情感分析、文档摘要和从非结构化文本中提取结构化数据等专业数据任务微调模型。
• AI研究和基础模型训练： 为研究人员提供训练和实验新AI架构所需的高性能计算资源。

Together AI的优势特点

Together AI 提供几大关键优势：

• 速度与性能： 它是市面上最快的AI基础设施平台之一，其优化为训练和推理都提供了卓越的吞吐量。
• 成本效益： 通过专注于开源模型和优化的基础设施，它提供了比专有AI服务更经济实惠的替代方案。
• 开放性与控制权： 它倡导开源生态系统，让用户完全控制自己的模型和数据，避免供应商锁定。
• 端到端解决方案： 它为整个AI开发生命周期提供了一个单一、统一的平台，简化了工作流程并加快了产品上市时间。

定价和计划

Together AI 提供透明的、按使用量付费的定价模式：

• 推理API： 按每100万个token（输入和输出）计费。费率因模型的规模和家族（如Llama、Qwen、DeepSeek）而异。图像模型按百万像素计费，音频模型按字符计费。
• 专用端点： 为保证性能，用户可以租用专用GPU实例，按小时计费。价格因GPU类型（如RTX-6000、A100、H100）而异。
• 微调： 根据训练期间处理的token数量（数据集大小乘以训练轮数）计费。LoRA和全量微调的价格不同。
• GPU集群： 可按小时租用配备NVIDIA H100、H200和Blackwell GPU的预留集群，H100 GPU的起价约为每小时1.75美元。
• 免费端点： 提供多种模型的免费端点，供用户测试和实验。