Unsloth

Unsloth là một thư viện AI mã nguồn mở mang tính cách mạng được thiết kế để giải quyết hai trong số những thách thức lớn nhất trong việc tùy chỉnh Mô hình Ngôn ngữ Lớn (LLM): tốc độ huấn luyện và mức tiêu thụ bộ nhớ. Được phát triển bởi một đội ngũ tận tâm, Unsloth định nghĩa lại hiệu quả của việc tinh chỉnh bằng cách sử dụng các tối ưu hóa toán học được suy ra thủ công và các nhân GPU được viết tay. Cách tiếp cận sáng tạo này cho phép các nhà phát triển, nhà nghiên cứu và doanh nghiệp huấn luyện các mô hình như Llama, Mistral và Gemma nhanh hơn tới 30 lần so với các phương pháp tiêu chuẩn như Flash Attention 2, và với mức giảm đáng kinh ngạc 90% trong việc sử dụng bộ nhớ. Điều này có nghĩa là các tác vụ từng mất một tháng giờ đây có thể được hoàn thành chỉ trong 24 giờ, và các mô hình mạnh mẽ có thể được tinh chỉnh trên một GPU cấp tiêu dùng duy nhất.

Phép màu cốt lõi của Unsloth nằm ở sự tối ưu hóa sâu ở cấp độ phần cứng. Thay vì dựa vào các thư viện cấp cao chung chung, những người tạo ra Unsloth đã quay trở lại các nguyên tắc đầu tiên, viết lại các bước tính toán nặng nề nhất của quá trình huấn luyện để tối đa hóa hiệu quả của GPU. Điều này không chỉ dẫn đến việc huấn luyện nhanh hơn mà còn tốc độ suy luận nhanh hơn đáng kể (lên đến 2 lần), cho phép triển khai các mô hình đã được tinh chỉnh nhanh hơn. Unsloth được thiết kế cho khả năng mở rộng, hoạt động đặc biệt tốt trên một GPU, hệ thống đa GPU và thậm chí cả các cụm đa nút cho các tác vụ cấp doanh nghiệp.

Cách sử dụng Unsloth

Việc sử dụng Unsloth được thiết kế đơn giản cho bất kỳ ai quen thuộc với hệ sinh thái Python và Hugging Face. Quá trình này thường bao gồm các bước sau:

1. Cài đặt: Cài đặt thư viện Unsloth vào môi trường Python của bạn, thường bằng một lệnh pip đơn giản. Thư viện có sẵn dưới dạng phần mềm miễn phí mã nguồn mở.
2. Nhập và Tải mô hình: Trong tập lệnh huấn luyện của bạn, nhập `FastLanguageModel` từ Unsloth. Thay vì tải mô hình trực tiếp từ `transformers` của Hugging Face, bạn sử dụng hàm của Unsloth để tải mô hình cơ sở. Hàm này tự động áp dụng tất cả các bản vá hiệu suất và tối ưu hóa cần thiết. Bạn có thể chỉ định tên mô hình (ví dụ: 'unsloth/llama-3-8b-Instruct-bnb-4bit') và kiểu dữ liệu (ví dụ: lượng tử hóa 4-bit) trong bước này.
3. Thêm Bộ điều hợp LoRA: Unsloth đơn giản hóa quá trình thêm bộ điều hợp Thích ứng Hạng thấp (LoRA) vào mô hình. Bạn có thể cấu hình các tham số LoRA (như `r`, `lora_alpha`, `target_modules`) và áp dụng chúng vào mô hình chỉ bằng một dòng mã.
4. Chuẩn bị dữ liệu: Chuẩn bị tập dữ liệu huấn luyện của bạn như cách bạn thường làm cho một tác vụ tinh chỉnh của Hugging Face.
5. Huấn luyện: Sử dụng `SFTTrainer` của Hugging Face hoặc một lớp huấn luyện tương tự, truyền vào mô hình đã được tối ưu hóa bởi Unsloth, tập dữ liệu và các đối số huấn luyện của bạn. Unsloth tích hợp liền mạch với quy trình làm việc này, tự động tăng tốc các bước lan truyền ngược và tối ưu hóa.
6. Suy luận: Sau khi huấn luyện hoàn tất, bạn có thể sử dụng mô hình đã được tinh chỉnh để suy luận, quá trình này cũng được hưởng lợi từ các cải tiến tốc độ của Unsloth.

Tính năng chính của Unsloth

• Tăng tốc độ cực đại: Huấn luyện và tinh chỉnh nhanh hơn tới 30 lần so với các triển khai tiêu chuẩn như Flash Attention 2.
• Giảm bộ nhớ lớn: Giảm tới 90% việc sử dụng VRAM, cho phép tinh chỉnh các mô hình lớn trên GPU cấp tiêu dùng (như Tesla T4 hoặc thậm chí dòng GeForce RTX).
• Nhân GPU viết tay: Các phép toán cốt lõi được tối ưu hóa thủ công để đạt hiệu suất phần cứng tối đa, vượt qua khả năng của các thư viện chung.
• Hỗ trợ mô hình rộng rãi: Hỗ trợ nguyên bản một loạt các LLM mã nguồn mở phổ biến, bao gồm Llama 1/2/3, Mistral, Gemma, Qwen, DeepSeek, v.v.
• Hỗ trợ lượng tử hóa: Hỗ trợ đầy đủ cho việc tinh chỉnh LoRA 4-bit và 16-bit, giúp việc huấn luyện càng tiết kiệm bộ nhớ hơn.
• Khả năng mở rộng: Được tối ưu hóa cho các cấu hình một GPU, đa GPU (lên đến 8) và đa nút (Enterprise).
• Suy luận nhanh hơn: Cung cấp tốc độ suy luận nhanh hơn tới 2 lần sau khi huấn luyện, giúp việc triển khai mô hình hiệu quả hơn.
• Cải thiện độ chính xác: Gói Enterprise cung cấp các tính năng có thể tăng độ chính xác của mô hình lên đến 30% trên một số tác vụ nhất định.

Các trường hợp sử dụng Unsloth

Unsloth là một công cụ đa năng cho bất kỳ ai làm việc với LLM:

• Các công ty khởi nghiệp AI: Xây dựng và lặp lại các mô hình tùy chỉnh, chuyên biệt cho các ứng dụng thích hợp mà không phải chịu chi phí điện toán đám mây khổng lồ.
• Các nhà nghiên cứu học thuật: Tăng tốc chu kỳ nghiên cứu và chạy nhiều thử nghiệm hơn với ngân sách phần cứng đại học hạn chế.
• Các nhóm MLOps doanh nghiệp: Giảm đáng kể chi phí và thời gian huấn luyện các mô hình nội bộ cho các tác vụ như hỗ trợ khách hàng, phân tích tài liệu hoặc tạo mã.
• Các nhà phát triển cá nhân & người có sở thích: Thử nghiệm và tìm hiểu về tinh chỉnh LLM trên máy tính cá nhân, hạ thấp rào cản gia nhập để phát triển AI tiên tiến.
• Các nhà khoa học dữ liệu: Nhanh chóng tinh chỉnh các mô hình trên các tập dữ liệu cụ thể để trích xuất thông tin chi tiết hoặc xây dựng các công cụ dự đoán cho trí tuệ kinh doanh.

Ưu điểm của Unsloth

Ưu điểm chính của Unsloth là hiệu quả vô song của nó. Bằng cách giải quyết các nút thắt cốt lõi về tốc độ và bộ nhớ, nó dân chủ hóa quyền truy cập vào tùy chỉnh AI mạnh mẽ. Điều này dẫn đến tiết kiệm chi phí đáng kể cho phần cứng GPU và dịch vụ đám mây. Bản chất mã nguồn mở của nó thúc đẩy tính minh bạch và cải tiến do cộng đồng thúc đẩy, trong khi việc tích hợp liền mạch với hệ sinh thái Hugging Face đảm bảo rằng nó dễ dàng được áp dụng cho bất kỳ ai đã ở trong lĩnh vực này. Cuối cùng, Unsloth trao quyền cho người dùng để đạt được nhiều hơn với ít hơn, biến một quy trình từng tốn nhiều tài nguyên thành một quy trình nhanh chóng và dễ tiếp cận.

Giá cả và gói dịch vụ

Unsloth hoạt động theo mô hình freemium với ba cấp độ riêng biệt:

• Miễn phí: Đây là phiên bản phần mềm miễn phí mã nguồn mở của Unsloth. Nó cung cấp tăng tốc 2 lần, giảm 60% VRAM và hỗ trợ thiết lập một GPU. Nó hoàn hảo cho các cá nhân và các dự án quy mô nhỏ, hỗ trợ tinh chỉnh LoRA 4-bit và 16-bit cho các mô hình như Mistral, Gemma và Llama.
• Unsloth Pro: Hướng đến các chuyên gia và đội nhóm, gói này cung cấp tăng tốc 2,5 lần cho mỗi GPU, giảm 80% VRAM và hỗ trợ đa GPU nâng cao (lên đến 8 GPU). Gói này phù hợp cho mọi trường hợp sử dụng đòi hỏi nhiều sức mạnh và hiệu quả hơn. Giá cả có sẵn khi liên hệ với nhóm Unsloth.
• Unsloth Enterprise: Cấp hiệu suất cuối cùng cho các hoạt động quy mô lớn. Nó mở khóa huấn luyện nhanh hơn tới 32 lần, giảm 90% VRAM, hỗ trợ đa nút và tăng độ chính xác lên đến 30%. Nó cũng bao gồm hỗ trợ huấn luyện mô hình đầy đủ (không chỉ LoRA), suy luận nhanh hơn 5 lần và hỗ trợ khách hàng chuyên dụng. Giá cả có sẵn khi liên hệ với nhóm Unsloth.