Cleora

Cleora là một mô hình mã nguồn mở đa năng, được phát triển bởi đội ngũ Synerise.com, được thiết kế để học các nhúng thực thể một cách hiệu quả và có thể mở rộng từ dữ liệu quan hệ phức tạp, không đồng nhất. Nó xuất sắc trong việc biến đổi các thực thể và tương tác của chúng—chẳng hạn như các sản phẩm trong giỏ hàng, người dùng trên mạng xã hội, hoặc protein trong hệ thống sinh học—thành các vectơ số có ý nghĩa. Các vectơ này, hay còn gọi là nhúng, nắm bắt được các mối quan hệ và sự tương đồng tiềm ẩn, khiến chúng trở nên vô giá cho các tác vụ học máy ở các bước tiếp theo.

Được xây dựng với lõi hiệu suất cao bằng Rust và được cung cấp thông qua một gói Python thân thiện với người dùng (pycleora), Cleora đạt được tốc độ xử lý nhanh hơn các phương pháp truyền thống như DeepWalk hoặc PyTorch-BigGraph nhiều bậc. Nó hoạt động dựa trên nguyên tắc chiếu ngẫu nhiên lặp đi lặp lại trên ma trận chuyển đổi Markov được suy ra từ dữ liệu, một phương pháp tránh được nhiễu và sự thiếu hiệu quả của việc lấy mẫu âm. Điều này cho phép nó xử lý các đồ thị và siêu đồ thị cực lớn trên một máy tính duy nhất, một lợi thế đáng kể cho các ứng dụng trong thế giới thực.

Cách sử dụng Cleora

Việc sử dụng Cleora rất đơn giản đối với các nhà phát triển và nhà khoa học dữ liệu quen thuộc với Python. Quá trình này thường bao gồm các bước sau:

1. Cài đặt: Cài đặt gói Python trực tiếp bằng pip: pip install pycleora.
2. Chuẩn bị dữ liệu: Cấu trúc dữ liệu của bạn thành một chuỗi các siêu cạnh. Một siêu cạnh là một nhóm các thực thể đồng xuất hiện. Ví dụ, một dòng trong tệp đầu vào của bạn có thể đại diện cho tất cả các sản phẩm được mua trong một giao dịch duy nhất, được phân tách bằng dấu cách. Điều này có thể được chuẩn bị từ một DataFrame pandas hoặc bất kỳ trình lặp Python nào.
3. Tạo ma trận: Sử dụng hàm SparseMatrix.from_iterator() để chuyển đổi dữ liệu đã chuẩn bị của bạn thành một ma trận chuyển đổi Markov thưa. Ma trận này đại diện cho các mối quan hệ trong siêu đồ thị của bạn.
4. Khởi tạo nhúng: Bạn có thể để Cleora khởi tạo các vectơ nhúng một cách xác định hoặc cung cấp các vectơ ban đầu của riêng bạn. Tính năng độc đáo này cho phép bạn kết hợp thông tin bên ngoài, chẳng hạn như nhúng từ văn bản (ví dụ: Sentence-BERT) hoặc hình ảnh (ví dụ: ViT), vào cấu trúc đồ thị.
5. Lan truyền: Thực hiện một vài lần lặp lan truyền Markov bằng cách sử dụng mat.left_markov_propagate(embeddings). Thông thường, 3 đến 7 lần lặp là đủ. Ít lần lặp hơn sẽ nắm bắt được sự đồng xuất hiện trực tiếp, trong khi nhiều lần lặp hơn sẽ nắm bắt được sự tương đồng theo ngữ cảnh sâu hơn.
6. Chuẩn hóa: Chuẩn hóa các vectơ nhúng kết quả, thường bằng chuẩn L2, để đảm bảo chúng nằm trên một siêu cầu. Điều này làm cho chúng có thể so sánh được bằng cách sử dụng độ tương tự cosine hoặc tích vô hướng.
7. Sử dụng: Các vectơ được chuẩn hóa cuối cùng là các nhúng thực thể của bạn, sẵn sàng để được sử dụng cho các tác vụ đề xuất, phân loại, phân cụm hoặc tìm kiếm tương tự.

Tính năng chính của Cleora

• Hiệu suất cực cao: Được viết bằng Rust và tối ưu hóa cho xử lý đồng thời và sự mạch lạc của bộ nhớ cache, làm cho nó cực kỳ nhanh.
• Khả năng mở rộng: Có khả năng nhúng các đồ thị và siêu đồ thị cực lớn với hàng tỷ cạnh trên một máy tính thông thường.
• Học quy nạp: Có thể tạo ra các nhúng cho các thực thể mới, chưa từng thấy một cách nhanh chóng mà không cần huấn luyện lại toàn bộ mô hình, giải quyết hiệu quả vấn đề khởi đầu lạnh (cold start).
• Ổn định & Xác định: Không giống như các phương pháp như Node2vec, Cleora tạo ra các nhúng giống nhau cho cùng một dữ liệu đầu vào qua nhiều lần chạy, đảm bảo khả năng tái tạo và ổn định.
• Hỗ trợ siêu đồ thị: Xử lý tự nhiên các siêu đồ thị (ví dụ: sản phẩm trong giỏ hàng, người dùng trong một nhóm), mạnh mẽ hơn so với việc phân rã đồ thị thành các cặp đơn giản.
• Tích hợp Python: Cung cấp một API Python (pycleora) liền mạch với sự tích hợp sâu với NumPy để dễ dàng sử dụng trong các quy trình khoa học dữ liệu.
• Khởi tạo tùy chỉnh: Cho phép người dùng khởi tạo các nhúng bằng các vectơ từ các nguồn khác (ví dụ: mô hình văn bản, hình ảnh), cho phép phân tích đa phương thức.

Các trường hợp sử dụng Cleora

Tính linh hoạt của Cleora làm cho nó phù hợp với một loạt các ứng dụng trong nhiều ngành công nghiệp khác nhau:

• Thương mại điện tử: Tạo ra các nhúng sản phẩm mạnh mẽ cho các hệ thống đề xuất (ví dụ: 'khách hàng đã mua sản phẩm này cũng đã mua...'), sự tương tự của sản phẩm và phân tích giỏ hàng.
• Phân tích mạng xã hội: Nhúng người dùng và nội dung để xác định cộng đồng, dự đoán kết nối và đề xuất nội dung.
• Tin sinh học: Phân tích các tương tác giữa protein, thuốc và gen bằng cách nhúng chúng dựa trên sự đồng xuất hiện trong các con đường sinh học.
• Dịch vụ tài chính: Phát hiện hoạt động gian lận bằng cách xác định các mẫu bất thường trong đồ thị giao dịch.
• Nghiên cứu học thuật: Phân tích mạng lưới đồng tác giả để khám phá các cộng đồng nghiên cứu và các tác giả có ảnh hưởng.

Ưu điểm của Cleora

Cleora nổi bật so với các khung nhúng khác nhờ một số lợi thế chính:

• Tốc độ vô song: Nhanh hơn đáng kể (ví dụ: nhanh hơn DeepWalk hơn 190 lần trong các bài kiểm tra) so với nhiều lựa chọn thay thế phổ biến.
• Sẵn sàng cho sản xuất: Sự ổn định, tính quy nạp và khả năng cập nhật thời gian thực của nó làm cho nó trở nên lý tưởng để triển khai trong các môi trường sản xuất trực tiếp.
• Nhúng chất lượng cao: Phương pháp đi bộ ngẫu nhiên rõ ràng trên một ma trận chuyển đổi đầy đủ, không có lấy mẫu âm, dẫn đến các nhúng chất lượng cao hơn và chính xác hơn.
• Hiệu quả tài nguyên: Nó được thiết kế để chạy hiệu quả trên một máy tính duy nhất, giảm nhu cầu về các cụm máy tính phân tán đắt tiền.
• Đơn giản và linh hoạt: Mô hình có khái niệm đơn giản nhưng mạnh mẽ, cung cấp sự linh hoạt trong việc nhập dữ liệu và khởi tạo nhúng.

Giá cả và gói dịch vụ

Cleora là một dự án mã nguồn mở hoàn toàn được phát hành theo Giấy phép MIT. Điều này có nghĩa là nó hoàn toàn miễn phí để sử dụng cho cả mục đích học thuật và thương mại. Không có gói trả phí hoặc chi phí ẩn. Mã nguồn được cung cấp công khai trên GitHub để bất kỳ ai cũng có thể sử dụng, kiểm tra hoặc đóng góp.