LakeSail

LakeSail giới thiệu Sail, một framework mã nguồn mở mang tính cách mạng được thiết kế để thay thế trực tiếp và hiệu suất cao cho Apache Spark. Trong thời đại mà nhu cầu dữ liệu ngày càng tăng, chi phí đám mây tăng vọt và khối lượng công việc AI ngày càng phức tạp, kiến trúc dựa trên JVM 15 năm tuổi của Spark cho thấy những hạn chế của nó. LakeSail giải quyết trực tiếp những thách thức này với Sail, một engine được xây dựng từ đầu bằng Rust. Cách tiếp cận hiện đại này cung cấp một giải pháp thống nhất cho xử lý theo lô, xử lý luồng thời gian thực và AI, thay đổi cách các tổ chức tương tác với dữ liệu của họ.

Sail được thiết kế để tích hợp liền mạch, hoạt động như một sự thay thế trực tiếp không yêu cầu bất kỳ thay đổi mã nào đối với các ứng dụng Spark hiện có của bạn. Bằng cách tận dụng các API Spark SQL và DataFrame quen thuộc, nó loại bỏ các nỗ lực di chuyển phức tạp và tốn kém. Lời hứa cốt lõi của LakeSail là mang lại hiệu suất vô song, tiết kiệm chi phí đáng kể và một cơ sở hạ tầng đơn giản, mạnh mẽ. Các bài kiểm tra benchmark cho thấy Sail có thể thực thi các khối lượng công việc nhanh hơn tới 8 lần so với Spark trong khi giảm chi phí phần cứng tới 94%, biến dữ liệu thành trí tuệ hiệu quả hơn bao giờ hết.

Cách sử dụng LakeSail

Bắt đầu với LakeSail rất đơn giản, được thiết kế để đảm bảo quá trình chuyển đổi suôn sẻ cho người dùng Spark hiện tại. Quá trình này không liên quan đến việc viết lại mã hoặc tái kiến trúc phức tạp các đường ống dữ liệu của bạn.

1. Chuyển đổi Endpoint: Bước chính là chuyển hướng ứng dụng Spark của bạn đến máy chủ Sail. Phiên Spark của bạn, hoạt động như một máy khách gRPC, giao tiếp với máy chủ Sail thông qua giao thức Spark Connect. Bạn chỉ cần thay đổi điểm cuối kết nối từ cụm Spark hiện tại sang phiên bản Sail mới của mình.
2. Sử dụng Mã hiện có: Tiếp tục sử dụng mã PySpark, Spark SQL và API DataFrame hiện tại của bạn. Vì Sail duy trì tính tương đương với Apache Spark, tất cả logic, phép biến đổi và hành động hiện có của bạn sẽ chạy mà không cần sửa đổi.
3. Triển khai linh hoạt: Bạn có thể triển khai Sail trong nhiều môi trường khác nhau, từ máy tính xách tay cục bộ để phát triển đến một cụm Kubernetes phân tán cho các khối lượng công việc quy mô sản xuất. Bản chất nhẹ của nó cho phép mở rộng quy mô nhanh chóng.
4. Di chuyển tăng dần: Đối với các tổ chức không thích rủi ro, Sail có thể được triển khai ở 'chế độ bóng' để chạy song song với các đường ống Spark sản xuất của bạn. Điều này cho phép bạn so sánh hiệu suất và xác thực kết quả trước khi thực hiện chuyển đổi hoàn toàn, cho phép một chiến lược di chuyển tăng dần và an toàn.

Tính năng chính của LakeSail

• Engine gốc Rust: Được xây dựng hoàn toàn bằng Rust, Sail loại bỏ JVM, gánh nặng bộ nhớ của nó và các lần tạm dừng thu gom rác không thể đoán trước. Điều này dẫn đến hiệu suất xác định và hiệu quả tài nguyên cao hơn.
• Tương thích hoàn toàn với Spark: Hoạt động như một sự thay thế trực tiếp cho Apache Spark. Nó hỗ trợ các API Spark SQL và DataFrame, đảm bảo rằng các ứng dụng hiện có của bạn hoạt động mà không cần thay đổi mã.
• Kiến trúc thống nhất: Cung cấp một engine duy nhất, gắn kết cho các khối lượng công việc xử lý theo lô, luồng và AI. Điều này đơn giản hóa ngăn xếp dữ liệu của bạn và giảm độ phức tạp vận hành.
• UDF Python cực nhanh: Thực thi các Hàm do người dùng định nghĩa (UDF) của Python trong cùng tiến trình bằng cách nhúng một trình thông dịch Python. Điều này loại bỏ cầu nối Py4J chậm chạp và tuần tự hóa dữ liệu, làm cho mã Python có cảm giác như mã gốc.
• Thiết kế cho đám mây: Được thiết kế cho các môi trường đám mây hiện đại với các tính năng như tự động thay đổi quy mô, khả năng quan sát và lưu trữ tách rời. Các worker nhẹ của nó khởi động trong vài giây, cho phép khả năng mở rộng tức thì.
• Truyền dữ liệu không sao chép: Tận dụng định dạng cột trong bộ nhớ Apache Arrow để xử lý và truyền dữ liệu hiệu quả giữa các nút, loại bỏ gánh nặng tuần tự hóa và tối đa hóa thông lượng.
• An toàn và đáng tin cậy nâng cao: Hưởng lợi từ các đảm bảo an toàn bộ nhớ và đồng thời tại thời điểm biên dịch của Rust, loại bỏ toàn bộ các loại lỗi phổ biến trong các hệ thống dựa trên JVM và giảm rủi ro sản xuất.

Các trường hợp sử dụng LakeSail

LakeSail là lựa chọn lý tưởng cho bất kỳ tổ chức nào muốn hiện đại hóa cơ sở hạ tầng dữ liệu của mình và vượt qua những hạn chế của các triển khai Spark truyền thống.

• Tối ưu hóa đường ống ETL: Giảm đáng kể thời gian thực thi và chi phí của các công việc ETL quy mô lớn, xử lý dữ liệu từ các nguồn như Amazon S3 nhanh hơn và hiệu quả hơn.
• Phân tích luồng thời gian thực: Cung cấp năng lượng cho các ứng dụng nhạy cảm về thời gian với xử lý dữ liệu độ trễ thấp, nhờ vào thời gian thực thi có thể dự đoán mà không có các đỉnh thu gom rác.
• AI và Học máy: Tăng tốc quá trình đào tạo mô hình ML và các đường ống chuẩn bị dữ liệu. Hiệu suất cao của UDF Python làm cho nó trở nên hoàn hảo cho kỹ thuật đặc trưng và các khối lượng công việc AI chuyên sâu về dữ liệu.
• Giảm chi phí trên các nền tảng đám mây: Đối với các công ty chạy Spark trên AWS, GCP hoặc Azure, Sail cung cấp một con đường trực tiếp để cắt giảm hóa đơn cơ sở hạ tầng đám mây tới 94% mà không phải hy sinh khả năng.
• Phân tích dữ liệu tương tác: Cho phép các nhà khoa học dữ liệu và nhà phân tích nhận được thông tin chi tiết từ dữ liệu ngay lập tức với thời gian truy vấn nhanh hơn đáng kể, thúc đẩy trải nghiệm khám phá dữ liệu tương tác và hiệu quả hơn.

Ưu điểm của LakeSail

Ưu điểm chính của LakeSail là khả năng cung cấp trải nghiệm xử lý dữ liệu hiện đại, hiệu suất cao mà không gặp phải sự đau đớn của việc di chuyển. Nó cung cấp một trường hợp kinh doanh hấp dẫn được xây dựng dựa trên hiệu suất, chi phí và sự đơn giản.

• Tăng hiệu suất lớn: Đạt được tốc độ thực thi truy vấn và công việc nhanh hơn từ 2 đến 8 lần, dẫn đến thông tin chi tiết nhanh hơn và chu kỳ sản phẩm ngắn hơn.
• Tiết kiệm chi phí đáng kể: Giảm chi phí tính toán và bộ nhớ trên đám mây của bạn tới 94%, cho phép bạn phân bổ lại ngân sách hoặc đạt được nhiều hơn với cùng một nguồn lực.
• Hiện đại hóa dễ dàng: Nâng cấp ngăn xếp dữ liệu của bạn mà không cần viết lại mã. Bản chất thay thế trực tiếp của Sail loại bỏ rào cản lớn nhất đối với việc áp dụng công nghệ hiện đại.
• Đơn giản hóa vận hành: Một engine duy nhất, nhẹ và thống nhất giúp giảm độ phức tạp của việc quản lý các hệ thống riêng biệt cho xử lý theo lô, luồng và AI. Thời gian khởi động nhanh và tự động thay đổi quy mô giúp đơn giản hóa các hoạt động trong các môi trường được đóng gói như Kubernetes.
• Tương lai và đáng tin cậy: Được xây dựng trên Rust, Sail cung cấp một nền tảng về an toàn bộ nhớ và đồng thời mạnh mẽ và đáng tin cậy hơn cho các khối lượng công việc dữ liệu quan trọng.

Giá cả và gói dịch vụ

Engine cốt lõi của LakeSail, Sail, là một dự án mã nguồn mở, do đó miễn phí sử dụng, đóng góp và triển khai. Đối với các tổ chức yêu cầu các dịch vụ cấp doanh nghiệp chuyên dụng, LakeSail cung cấp các gói thương mại. Hỗ trợ Doanh nghiệp Sail cung cấp các giải pháp chuyên dụng, linh hoạt và có thể tùy chỉnh, bao gồm hỗ trợ chuyên gia, phát triển tích hợp tùy chỉnh và lập kế hoạch di chuyển. Để biết giá chi tiết và thảo luận về nhu cầu của doanh nghiệp, bạn nên liên hệ trực tiếp với đội ngũ giải pháp của LakeSail qua trang web của họ.