Rerun

Rerun là một ngăn xếp dữ liệu chuyên dụng được thiết kế cho lĩnh vực mới nổi của AI Vật lý (Physical AI), bao gồm robot, điện toán không gian và AI hiện thân. Nó cung cấp một bộ công cụ mã nguồn mở toàn diện được thiết kế để xử lý sự phức tạp của dữ liệu đa phương thức, chuỗi thời gian. Về cốt lõi, Rerun cung cấp một giải pháp ghi nhật ký và trực quan hóa mạnh mẽ cho phép các nhà phát triển và nhà nghiên cứu xem, hiểu và gỡ lỗi hệ thống của họ với độ rõ nét chưa từng có. Bằng cách cung cấp SDK bằng các ngôn ngữ phổ biến như Python, C++ và Rust, Rerun tích hợp liền mạch vào các quy trình phát triển hiện có, trở thành một công cụ thiết yếu cho bất kỳ ai làm việc với dữ liệu cảm biến phức tạp, mô phỏng hoặc các mô hình AI tương tác với thế giới vật lý.

Nền tảng này được xây dựng xung quanh một mô hình dữ liệu Hệ thống Thành phần Thực thể (ECS) nhận biết thời gian, đặc biệt phù hợp để xử lý các luồng dữ liệu không đồng nhất (ví dụ: đám mây điểm 3D, hình ảnh, biến đổi, luồng video) trong khi giữ chúng được đồng bộ hóa hoàn hảo về mặt thời gian. Điều này cho phép gỡ lỗi 'du hành thời gian' một cách trực quan, nơi người dùng có thể lướt qua một bản ghi để xác định chính xác thời điểm xảy ra sự cố. Rerun Viewer là một ứng dụng tương tác hiệu suất cao chạy nguyên bản, trên trình duyệt hoặc có thể được nhúng trực tiếp vào sổ tay Jupyter và các ứng dụng khác, mang lại sự linh hoạt tối đa.

Cách sử dụng Rerun

Việc sử dụng Rerun được thiết kế đơn giản, cho phép bạn bắt đầu trực quan hóa dữ liệu trong vài phút. Dưới đây là một quy trình làm việc điển hình:

1. Cài đặt: Cài đặt Rerun SDK cho ngôn ngữ ưa thích của bạn. Đối với Python, chỉ cần chạy pip install rerun-sdk.
2. Khởi tạo: Trong mã ứng dụng của bạn, khởi tạo thư viện Rerun và kết nối với trình xem. Bạn có thể tạo một quy trình xem mới, kết nối với một quy trình từ xa hoặc ghi nhật ký vào một tệp để xem sau. Ví dụ: rr.init("my_application", spawn=True).
3. Ghi nhật ký dữ liệu: Sử dụng hàm rr.log() để gửi dữ liệu đến trình xem. Rerun cung cấp các nguyên mẫu tích hợp cho các loại dữ liệu phổ biến như điểm 3D (rr.Points3D), hình ảnh (rr.Image), biến đổi 3D (rr.Transform3D) và cả luồng video trực tiếp (rr.VideoStream). Bạn có thể ghi lại vị trí, màu sắc, văn bản, tensor, v.v.
4. Trực quan hóa: Rerun Viewer sẽ tự động hiển thị dữ liệu đã ghi của bạn. Bạn có thể tương tác với hình ảnh trực quan bằng cách xoay, di chuyển và thu phóng. Sử dụng thanh trượt dòng thời gian ở phía dưới để điều hướng qua thời gian, phát lại chuỗi hoặc chuyển đến các sự kiện cụ thể.
5. Tùy chỉnh và Phân tích: Tùy chỉnh bố cục và hình ảnh trực quan trực tiếp trong giao diện người dùng hoặc theo chương trình thông qua SDK. Để phân tích sâu hơn, hãy sử dụng API truy vấn của Rerun để trích xuất dữ liệu được căn chỉnh theo thời gian từ các bản ghi của bạn sang các định dạng như Apache Arrow, có thể dễ dàng tải vào các thư viện phân tích dữ liệu như Pandas hoặc Polars.

Tính năng chính của Rerun

• Trực quan hóa đa phương thức: Hỗ trợ nguyên bản một loạt các loại dữ liệu bao gồm đám mây điểm 3D, hình ảnh, văn bản, tensor, hình dạng hình học 3D/2D và các phép biến đổi.
• Tập trung vào chuỗi thời gian: Một dòng thời gian trung tâm cho phép lướt và phát lại dữ liệu một cách trực quan, điều này rất quan trọng để gỡ lỗi các hệ thống động.
• SDK đa ngôn ngữ: Cung cấp các SDK dễ sử dụng cho Python, Rust và C++, đảm bảo khả năng tương thích rộng rãi với hầu hết các dự án robot và AI.
• Trình xem hiệu suất cao: Được xây dựng từ đầu bằng Rust để đạt hiệu suất cao, trình xem có thể xử lý các bộ dữ liệu lớn một cách mượt mà. Nó chạy nguyên bản trên các hệ điều hành chính, trong các trình duyệt web hiện đại thông qua WebAssembly và có thể được nhúng.
• Mô hình dữ liệu linh hoạt: Mô hình Hệ thống Thành phần Thực thể (ECS) cho phép ghi nhật ký các cấu trúc dữ liệu phức tạp, đang phát triển mà không cần các lược đồ cứng nhắc.
• Phát trực tiếp & Ghi lại: Hỗ trợ cả phát trực tiếp dữ liệu để gỡ lỗi thời gian thực và ghi vào các tệp .rrd hiệu quả để phân tích và chia sẻ ngoại tuyến.
• Sẵn sàng cho Robot: Bao gồm các tính năng tích hợp cho robot, chẳng hạn như trình tải dữ liệu URDF (Unified Robot Description Format) để trực quan hóa và tạo hoạt ảnh cho các mô hình robot.
• API truy vấn dữ liệu: Cho phép trích xuất theo chương trình các bộ dữ liệu sạch, được căn chỉnh theo thời gian từ các tệp nhật ký lộn xộn, thu hẹp khoảng cách giữa gỡ lỗi và đào tạo mô hình.

Các trường hợp sử dụng Rerun

Rerun rất linh hoạt và được sử dụng trong nhiều lĩnh vực khác nhau:

• Robot: Gỡ lỗi các ngăn xếp nhận thức của robot, trực quan hóa sự kết hợp cảm biến (LIDAR, máy ảnh, IMU), tạo hoạt ảnh cho động học của cánh tay robot và phân tích nhật ký mô phỏng. Dự án LeRobot của Hugging Face sử dụng Rerun cho các công cụ trực quan hóa của mình.
• Thị giác máy tính: Trực quan hóa các bước trung gian và kết quả cuối cùng của các thuật toán phát hiện đối tượng, phân đoạn ngữ nghĩa, SLAM (Định vị và Lập bản đồ đồng thời) và tái tạo 3D.
• AI không gian & Hiện thân: Hiểu hành vi của các tác nhân AI trong môi trường mô phỏng hoặc thế giới thực bằng cách ghi lại nhận thức, trạng thái và hành động của chúng theo thời gian.
• Phương tiện tạo sinh: Trực quan hóa sự phát triển của các mô hình tạo sinh, chẳng hạn như xem quá trình khuếch tán trong các mô hình tạo hình ảnh từng khung hình.
• Mô phỏng: Ghi lại và phát lại các mô phỏng vật lý hoặc đa tác nhân phức tạp để hiểu các hành vi mới nổi và gỡ lỗi động lực học của hệ thống.

Ưu điểm của Rerun

Rerun mang lại những lợi thế đáng kể cho các nhà phát triển trong không gian AI Vật lý:

• Gỡ lỗi trực quan: Tính năng 'du hành thời gian' biến việc gỡ lỗi từ một quy trình tẻ nhạt, dựa trên bản in thành một cuộc khám phá trực quan, sinh động.
• Tăng tốc phát triển: Bằng cách giúp dễ dàng 'nhìn thấy' những gì mã của bạn đang làm, Rerun giảm đáng kể thời gian cần thiết để xác định và sửa lỗi trong các hệ thống phức tạp.
• Cải thiện hợp tác: Các tệp nhật ký .rrd của Rerun là độc lập và di động, giúp dễ dàng chia sẻ các kịch bản phức tạp với đồng đội để gỡ lỗi cộng tác.
• Mã nguồn mở và do cộng đồng định hướng: Các công cụ trực quan hóa cốt lõi là miễn phí, mã nguồn mở (được cấp phép kép MIT/Apache 2) và được phát triển tích cực với sự đóng góp của một cộng đồng ngày càng phát triển.
• Kiến trúc có thể mở rộng: Nền tảng được thiết kế để mở rộng từ một tập lệnh đơn giản trên máy tính xách tay đến một giải pháp quản lý dữ liệu quy mô lớn với ưu đãi thương mại sắp tới.

Giá cả và gói dịch vụ

Rerun hoạt động theo mô hình freemium:

• Mã nguồn mở: Các SDK và Trình xem cốt lõi của Rerun hoàn toàn miễn phí và là mã nguồn mở. Điều này bao gồm tất cả các chức năng trực quan hóa, ghi nhật ký và xử lý nhật ký đơn giản. Nó được cấp phép kép theo MIT và Apache 2.
• Thương mại: Rerun đang phát triển một nền tảng đám mây thương mại được thiết kế để quản lý dữ liệu ở quy mô lớn. Nền tảng này sẽ cung cấp cơ sở hạ tầng được quản lý để nhập, lưu trữ, lập chỉ mục và truyền phát dữ liệu AI Vật lý quy mô lớn. Sản phẩm này hiện đang được phát triển với các đối tác thiết kế được chọn và các bên quan tâm có thể đăng ký vào danh sách chờ.