Not Diamond

Not Diamond là một nền tảng cơ sở hạ tầng AI tinh vi được thiết kế cho các nhà phát triển và doanh nghiệp đang định hướng tương lai đa mô hình phức tạp của trí tuệ nhân tạo. Nó hoạt động như một "siêu mô hình" hoặc một lớp định tuyến thông minh nằm trên các mô hình ngôn ngữ lớn (LLM) khác nhau. Sứ mệnh cốt lõi của Not Diamond là cho phép các nhóm tận dụng thế mạnh của nhiều mô hình AI, thay vì bị khóa chặt vào một mô hình duy nhất. Bằng cách đó, nó cải thiện đáng kể độ chính xác, giảm chi phí vận hành và giảm độ trễ cho các ứng dụng được hỗ trợ bởi AI.

Nền tảng này được xây dựng dựa trên niềm tin rằng tương lai của AI không phải là một mô hình nguyên khối duy nhất, mà là một hệ sinh thái mạng lưới của hàng ngàn mô hình chuyên biệt. Not Diamond cung cấp cơ sở hạ tầng quan trọng để quản lý hệ sinh thái này một cách hiệu quả. Nó phân tích các yêu cầu đến và, dựa trên dữ liệu đánh giá do người dùng xác định và logic kinh doanh, dự đoán mô hình nào (ví dụ: GPT-4o, Claude 3.5 Sonnet, v.v.) là phù hợp nhất cho tác vụ. Quá trình này vượt trội hơn bất kỳ mô hình riêng lẻ nào về chất lượng đồng thời tối ưu hóa tốc độ và chi phí.

Cách sử dụng Not Diamond

Not Diamond được thiết kế để tích hợp liền mạch vào các quy trình phát triển hiện có. Các nhà phát triển có thể truy cập các khả năng của nó thông qua SDK Python, máy khách TypeScript hoặc API REST linh hoạt, giúp nó tương thích với hầu hết mọi ngăn xếp công nghệ.

Quy trình làm việc điển hình như sau:

1. Tích hợp: Tích hợp SDK hoặc API của Not Diamond vào ứng dụng của bạn.
2. Huấn luyện Bộ định tuyến: Cung cấp dữ liệu đánh giá của riêng bạn (ví dụ về đầu vào và đầu ra mong muốn hoặc điểm chất lượng). Not Diamond sử dụng dữ liệu này để huấn luyện một bộ định tuyến tùy chỉnh hiểu được miền cụ thể, định nghĩa chất lượng và yêu cầu kinh doanh của bạn.
3. Định tuyến yêu cầu: Thay vì gọi trực tiếp API LLM, bạn gửi yêu cầu của mình đến điểm cuối của Not Diamond.
4. Nhận đề xuất: Bộ định tuyến của Not Diamond phân tích đầu vào và, trong vòng chưa đầy 60ms, trả về một đề xuất về mô hình tối ưu để sử dụng cho yêu cầu cụ thể đó.
5. Thực thi phía máy khách: Ứng dụng của bạn sau đó thực hiện một cuộc gọi trực tiếp, phía máy khách, đến API của LLM được đề xuất. Not Diamond không phải là một proxy; nó chỉ cung cấp trí thông minh định tuyến, đảm bảo bạn duy trì toàn quyền kiểm soát dữ liệu và các cuộc gọi API của mình.

Tính năng chính của Not Diamond

• Định tuyến mô hình thông minh: Tận dụng dữ liệu đánh giá của bạn để dự đoán lựa chọn LLM phù hợp nhất cho mỗi đầu vào, cân bằng giữa độ chính xác, chi phí và độ trễ để vượt trội hơn bất kỳ mô hình đơn lẻ nào.
• Thích ứng Prompt tự động: Tự động dịch và tối ưu hóa một prompt được viết cho một mô hình (ví dụ: GPT-4o) để hoạt động hiệu quả trên bất kỳ mô hình mục tiêu nào khác (ví dụ: Claude 3.5 Sonnet), tiết kiệm đáng kể thời gian kỹ thuật prompt thủ công.
• Đánh đổi có thể điều khiển: Cho phép bạn đặt ngưỡng chất lượng, cho phép hệ thống sử dụng các mô hình nhanh hơn và rẻ hơn cho các tác vụ ít quan trọng hơn mà không ảnh hưởng đến chất lượng đầu ra.
• Suy luận cực nhanh: Quá trình lựa chọn mô hình cực kỳ nhanh chóng, thường mất chưa đến 50-60ms, điều này có nghĩa là nó thêm chi phí không đáng kể và thậm chí có thể dẫn đến tăng tốc độ ròng bằng cách định tuyến đến các mô hình nhanh hơn.
• Bảo mật cấp doanh nghiệp: Not Diamond tuân thủ SOC-2 và cung cấp các tính năng bảo mật mạnh mẽ, bao gồm thực thi yêu cầu phía máy khách, chính sách không lưu giữ dữ liệu và hỗ trợ triển khai VPC để bảo mật tối đa ở mọi quy mô.
• SDK thân thiện với nhà phát triển: Cung cấp các máy khách dễ sử dụng cho Python và TypeScript, cũng như một API REST toàn diện để tích hợp vào bất kỳ môi trường nào.

Các trường hợp sử dụng Not Diamond

Not Diamond lý tưởng cho các nhóm đang mở rộng quy mô hoạt động AI của họ trên nhiều ứng dụng và mô hình.

• Tự động hóa hỗ trợ khách hàng: Một công ty có thể định tuyến các truy vấn khách hàng đơn giản, khối lượng lớn đến một mô hình nhanh, rẻ tiền, trong khi các yêu cầu hỗ trợ phức tạp, tinh vi được gửi đến một mô hình mạnh mẽ, hiện đại hơn, tối ưu hóa cả chi phí và sự hài lòng của khách hàng.
• Nền tảng tạo nội dung: Một nền tảng tiếp thị có thể sử dụng Not Diamond để chọn mô hình tốt nhất cho các loại nội dung khác nhau — một mô hình sáng tạo cho các bài đăng blog, một mô hình ngắn gọn cho các cập nhật trên mạng xã hội và một mô hình kỹ thuật cho tài liệu.
• Phân tích và tóm tắt dữ liệu: Một ứng dụng phân tích các tài liệu khác nhau có thể định tuyến các yêu cầu tóm tắt hợp đồng pháp lý đến một mô hình có khả năng suy luận mạnh mẽ, trong khi định tuyến yêu cầu tóm tắt một bài báo đến một mô hình nhanh hơn, có mục đích chung hơn.

Ưu điểm của Not Diamond

Bằng cách áp dụng chiến lược đa mô hình với Not Diamond, các nhóm phát triển có được những lợi thế cạnh tranh đáng kể:

• Giảm chi phí: Giảm đáng kể chi phí vận hành LLM bằng cách tránh lạm dụng các mô hình đắt tiền cho các tác vụ có thể được xử lý bằng các giải pháp thay thế rẻ hơn.
• Cải thiện độ chính xác & chất lượng: Đạt được chất lượng đầu ra tổng thể cao hơn bằng cách luôn sử dụng công cụ tốt nhất cho công việc, tận dụng thế mạnh độc đáo của các mô hình khác nhau.
• Tăng tốc phát triển: Rút ngắn đáng kể chu kỳ phát triển bằng cách trừu tượng hóa sự phức tạp của việc lựa chọn mô hình và kỹ thuật prompt.
• Giảm độ trễ: Đạt được thời gian phản hồi nhanh hơn bằng cách định tuyến thông minh đến các mô hình nhanh hơn khi thích hợp.
• Sẵn sàng cho tương lai: Dễ dàng thích ứng với bối cảnh AI đang phát triển nhanh chóng bằng cách tích hợp liền mạch các mô hình mới mà không cần tái cấu trúc logic ứng dụng hiện có.

Giá cả và gói dịch vụ

Not Diamond cung cấp cấu trúc giá theo tầng để phù hợp với các nhóm ở mọi quy mô:

• Discovery (Miễn phí): Bao gồm tới 100.000 yêu cầu định tuyến API hàng tháng, khả năng huấn luyện một bộ định tuyến tùy chỉnh và hỗ trợ thích ứng prompt. Lý tưởng cho các cá nhân và nhóm nhỏ mới bắt đầu.
• Possibility ($100/tháng + phí sử dụng): Bao gồm mọi thứ trong gói Discovery, cộng với yêu cầu định tuyến API không giới hạn (với giá $0.001 cho mỗi yêu cầu sau 100K đầu tiên), bộ định tuyến tùy chỉnh không giới hạn và các tính năng bảo mật dữ liệu nâng cao. Được thiết kế cho các nhóm và ứng dụng đang phát triển.
• Necessity (Giá tùy chỉnh): Một gói dịch vụ riêng cho các doanh nghiệp lớn. Nó bao gồm tất cả các tính năng của gói Possibility, cộng với triển khai VPC, hỗ trợ tích hợp và huấn luyện chuyên dụng, và quản lý quyền truy cập và cấp phép nâng cao.