TwelveLabs

TwelveLabs là một nền tảng AI tiên phong dành riêng cho việc hiểu video. Nó cung cấp cho các nhà phát triển và doanh nghiệp các mô hình AI đa phương thức mạnh mẽ có thể xem, nghe và hiểu nội dung video ở cấp độ giống như con người. Bằng cách xử lý đồng thời dữ liệu hình ảnh, bản âm thanh và lời nói, TwelveLabs biến các thư viện video khổng lồ từ các kho lưu trữ không thể tìm kiếm thành các tài sản có cấu trúc, có thể truy vấn. Nền tảng này được xây dựng trên các mô hình nền tảng tiên tiến, Marengo cho tìm kiếm và truy xuất, và Pegasus cho việc tạo văn bản từ video, cho phép một thế hệ ứng dụng video thông minh mới.

Cách sử dụng TwelveLabs

TwelveLabs là một nền tảng ưu tiên API được thiết kế để tích hợp dễ dàng vào các ứng dụng mới hoặc hiện có. Quy trình làm việc điển hình như sau:

1. Đăng ký & Nhận khóa API: Đăng ký trên trang web của TwelveLabs để nhận khóa API miễn phí.
2. Sử dụng Playground: Để kiểm tra nhanh không cần mã, bạn có thể tải video của riêng mình trực tiếp lên TwelveLabs Playground để xem khả năng của AI hoạt động.
3. Tích hợp với SDK: Để phát triển, hãy sử dụng các SDK chính thức (có sẵn cho Python, Node.js, v.v.). Trước tiên, bạn sẽ tạo một 'chỉ mục', là một không gian dành riêng cho dữ liệu video của bạn.
4. Lập chỉ mục cho video của bạn: Tải video của bạn lên chỉ mục đã tạo. Nền tảng sẽ xử lý và lập chỉ mục chúng, tạo ra các nhúng đa phương thức nắm bắt được bản chất của nội dung.
5. Truy vấn qua API: Sau khi lập chỉ mục hoàn tất, bạn có thể sử dụng API để thực hiện các hành động:
   • Tìm kiếm: Sử dụng ngôn ngữ tự nhiên để tìm các khoảnh khắc cụ thể (ví dụ: "một người đang leo thang").
   • Phân tích: Tạo tóm tắt, chương, điểm nổi bật hoặc đặt câu hỏi cụ thể về nội dung video.
   • Nhúng (Embed): Truy xuất các nhúng vector cho video của bạn để xây dựng các giải pháp tùy chỉnh như công cụ đề xuất hoặc trình phân loại nội dung.

Tính năng chính của TwelveLabs

• Tìm kiếm video đa phương thức: Vượt ra ngoài việc gắn thẻ từ khóa. Tìm kiếm các hành động, đối tượng, âm thanh và các cụm từ được nói bằng các truy vấn ngôn ngữ tự nhiên. AI hiểu được ngữ cảnh và các mối quan hệ thời gian trong video.
• Phân tích & Tạo video: Tự động tạo văn bản phong phú từ video. Điều này bao gồm các bản tóm tắt ngắn gọn, phân tích chi tiết các chương, các đoạn nổi bật, Hỏi & Đáp và các đề xuất bài đăng trên mạng xã hội.
• Nhúng video: Chuyển đổi video, âm thanh, hình ảnh và văn bản thành các nhúng vector mạnh mẽ. Các nhúng này cho phép các trường hợp sử dụng nâng cao như tìm kiếm tương tự ngữ nghĩa, đề xuất nội dung và phân loại tùy chỉnh mà không cần đào tạo mô hình sâu rộng.
• Các mô hình nền tảng tiên tiến: Nền tảng được cung cấp bởi các mô hình độc quyền: Marengo, vượt trội trong các tác vụ truy xuất bất kỳ-đến-bất kỳ (văn bản-sang-video, video-sang-video, v.v.), và Pegasus, một mô hình ngôn ngữ ưu tiên video để tạo văn bản chất lượng cao.
• Triển khai & Tùy chỉnh linh hoạt: Triển khai trên đám mây, đám mây riêng hoặc tại chỗ (on-premise). Các mô hình có thể được tinh chỉnh bằng dữ liệu của riêng bạn để trở thành chuyên gia trong lĩnh vực cụ thể của bạn, đảm bảo độ chính xác và mức độ liên quan cao hơn.

Các trường hợp sử dụng TwelveLabs

TwelveLabs rất linh hoạt và phục vụ nhiều ngành công nghiệp khác nhau:

• Truyền thông & Giải trí: Tự động hóa việc tạo các clip quảng cáo, nhanh chóng xác định các cảnh cụ thể để chỉnh sửa, tạo tóm tắt nội dung cho kho lưu trữ và cung cấp năng lượng cho các nền tảng khám phá nội dung cho người xem.
• Quảng cáo: Cho phép đặt quảng cáo theo ngữ cảnh bằng cách phân tích nội dung video để khớp với các quảng cáo có liên quan và tăng tốc quy trình sáng tạo bằng cách nhanh chóng tìm thấy các cảnh quay phù hợp.
• Chính phủ & An ninh: Nhanh chóng xác định các sự kiện quan trọng và những người được quan tâm trong một lượng lớn cảnh quay giám sát, tăng cường an ninh và thời gian phản hồi.
• Ứng dụng dành cho nhà phát triển: Xây dựng các ứng dụng sáng tạo như công cụ phân tích hiệu suất phỏng vấn, công cụ tạo chương YouTube tự động, công cụ tìm tông màu sản phẩm trong các bài đánh giá video hoặc công cụ tạo điểm nổi bật thể thao.

Ưu điểm của TwelveLabs

TwelveLabs mang lại những lợi thế đáng kể so với xử lý video truyền thống và các mô hình AI khác:

• Độ chính xác đẳng cấp thế giới: Các mô hình gốc video của nó liên tục vượt trội so với các tiêu chuẩn do các nhà cung cấp đám mây lớn và các giải pháp thay thế mã nguồn mở đặt ra.
• Khả năng mở rộng lớn: Cơ sở hạ tầng được thiết kế để xử lý các thư viện video khổng lồ, lên đến petabyte dữ liệu, mà không ảnh hưởng đến hiệu suất.
• Hiểu biết đa phương thức thực sự: Bằng cách kết hợp thông tin hình ảnh, âm thanh và văn bản, AI có được sự hiểu biết sâu sắc, theo ngữ cảnh mà các hệ thống đơn phương thức đơn giản thiếu.
• Ưu tiên nhà phát triển: Cung cấp tài liệu toàn diện, SDK, gói miễn phí để thử nghiệm và mô hình trả tiền theo mức sử dụng có thể mở rộng theo nhu cầu của bạn.

Giá cả và gói dịch vụ

TwelveLabs cung cấp một cấu trúc giá cả linh hoạt, theo tầng:

• Gói miễn phí: Lý tưởng để thử nghiệm và xây dựng nguyên mẫu. Bao gồm tối đa 10 giờ (600 phút) lập chỉ mục video miễn phí, với giới hạn cuộc gọi API hàng ngày.
• Gói dành cho nhà phát triển: Một gói trả tiền theo mức sử dụng để khởi chạy và phát triển ứng dụng. Giá cả dựa trên việc sử dụng, với các khoản phí tính theo phút cho việc lập chỉ mục video, cho mỗi 1000 truy vấn tìm kiếm và cho mỗi 1k token để tạo văn bản. Gói này cung cấp lập chỉ mục không giới hạn và giới hạn API cao hơn.
• Gói doanh nghiệp: Một gói tùy chỉnh cho việc triển khai quy mô lớn và các nhu cầu dịch vụ cụ thể. Nó bao gồm cơ sở hạ tầng chuyên dụng, sử dụng không giới hạn, khả năng tinh chỉnh, SSO và hỗ trợ cao cấp. Liên hệ với bộ phận bán hàng để có báo giá tùy chỉnh.