llama.cpp cán mốc 1.0 sau 3,5 năm chạy AI trên máy cá nhân

Dự án ra đời tháng 3/2023 với mục tiêu chạy mô hình LLaMA bằng C/C++ thuần túy, không cần Python và không bắt buộc phải có GPU. Suốt ba năm rưỡi, llama.cpp dùng số commit thô làm số phiên bản, dạng b1234 hay b12359, vốn không nói lên điều gì về khả năng tương thích. Bản 1.0.0, được gắn thẻ trên GitHub lúc 10h20 UTC ngày 13/11 và công bố trên blog Hugging Face cùng ngày, chấm dứt cách đánh số đó.

Bản 1.0 hứa hẹn điều gì với lập trình viên

Điểm cốt lõi của bản 1.0 là bộ quy tắc đánh số phiên bản theo ngữ nghĩa, áp dụng cho cả hai thư viện llama.cpp (libllama) và ggml (libggml). Số MAJOR chỉ tăng khi có thay đổi phá vỡ API C công khai nằm trong thư mục include. Số MINOR tăng khi có tính năng tương thích ngược, cập nhật backend, hỗ trợ mô hình mới hoặc bổ sung API. Số PATCH chỉ dành cho sửa lỗi không đổi API.

Nhóm phát triển ggml-org viết trên blog Hugging Face rằng càng nhiều ứng dụng phụ thuộc vào giao diện thư viện, việc có một API vừa linh hoạt vừa ổn định càng trở nên tối quan trọng. Nói cách khác, bản 1.0 không phải một lễ kỷ niệm mà là một cam kết trách nhiệm với hệ sinh thái đang xây dựng trên llama.cpp.

Với lập trình viên, lời hứa này có ý nghĩa thực tế: khi ghim phiên bản llama.cpp v1.0.0, các bản 1.x tiếp theo không được phép phá vỡ API công khai. Muốn biết một bản cập nhật có thay đổi phá vỡ hay không, chỉ cần nhìn số major. Đó là cách làm chuẩn của phần mềm trưởng thành, và là điều mà các ứng dụng chạy AI cục bộ đã chờ đợi suốt ba năm rưỡi.

Bản 1.0 dọn dẹp và bổ sung những gì

Bản 1.0 tận dụng cột mốc major để dọn dẹp API cũ: 35 hàm public đã lỗi thời bị gỡ bỏ, cùng hàm llama_set_warmup và tùy chọn ngưỡng chống phân mảnh defrag_thold. Ngược lại, API suy luận suy đoán NextN được chuyển từ header mở rộng llama-ext.h vào header chính llama.h, tức chính thức nằm trong API công khai được bảo vệ bởi quy tắc đánh số mới.

Về hiệu năng và bộ nhớ, bản mới hỗ trợ KV cache FP8 theo chuẩn OCP với kiểu f8_e4m3 và scale tĩnh tùy chọn theo từng tensor, giúp tiết kiệm bộ nhớ khi chạy mô hình lớn. Một bộ nhớ đệm chuyên gia MoE đặt trong RAM host, với tỉ lệ CPU tùy chỉnh, giúp các mô hình mixture-of-experts chạy mượt hơn trên máy không có đủ VRAM. Bản phát hành cũng bổ sung khả năng nạp shard PLE từ bên ngoài.

Về mô hình, bản 1.0.0 hỗ trợ thêm ba kiến trúc văn bản là Kimi-K3.1-Pro, Ripple và xing4_0, nâng tổng số biến thể kiến trúc mô hình được hỗ trợ lên hơn 150, cùng các phương pháp speculative decoding phổ biến. Máy chủ llama-server cũng được siết chặt bảo mật trước các kiểu tấn công SSRF, CORS và DNS rebinding, đồng thời có thêm endpoint âm thanh /v1/audio/speech và giao diện web thiết kế lại.

Vì sao người chạy AI tại nhà nên quan tâm

Cần nói rõ ngay từ đầu: llama.cpp không phải một mô hình ngôn ngữ. Đó là bộ máy suy luận viết bằng C/C++, chạy mô hình trên đủ loại phần cứng, từ laptop, điện thoại tới máy chủ doanh nghiệp. Đây là nền tảng đứng sau Ollama, LM Studio và nhiều ứng dụng cho phép người dùng chạy chatbot hay trợ lý lập trình ngay trên máy của mình, không cần gửi dữ liệu lên cloud.

Với người dùng cuối, bản 1.0 có nghĩa là các ứng dụng quen thuộc sẽ ít bị vỡ hơn mỗi lần cập nhật thư viện nền. Một API ổn định cũng giúp các nhà phát triển yên tâm xây dựng tính năng mới thay vì liên tục vá lỗi tương thích. Đó là tin vui cho phong trào chạy AI cục bộ, vốn đang lớn dần khi ngày càng nhiều người muốn giữ dữ liệu của mình trên máy cá nhân.

Tuy nhiên, bản 1.0 không phải là nâng cấp thay thế hoàn toàn cho mọi ứng dụng. Code nào còn gọi 35 hàm đã gỡ sẽ lỗi ngay ở bước biên dịch, vì vậy lập trình viên cần kiểm tra trước khi nâng cấp. Cũng cần nhớ rằng quy tắc đánh số mới chỉ ràng buộc API C công khai, không đảm bảo tốc độ, mức tiêu thụ bộ nhớ hay mọi tùy chọn dòng lệnh giữ nguyên qua các bản minor.

Ba năm rưỡi từ thử nghiệm tới nền tảng

llama.cpp do Georgi Gerganov tạo ra ngày 10/3/2023, ban đầu chỉ là một thử nghiệm chạy mô hình LLaMA bằng C thuần. Tới nay, dự án được nhóm ggml-org tại Hugging Face duy trì, với Gerganov vẫn tham gia cùng các kỹ sư của Hugging Face.

Để chuẩn bị cho bản 1.0, nhóm đã mở rộng hạ tầng kiểm thử liên tục với HF Buckets và HF Jobs, sao cho mọi thay đổi lên nhánh chính đều được kiểm chứng, đồng thời tuyển thêm máy chạy kiểm thử tự host trên các nền tảng phần cứng lớn, với sự hỗ trợ từ NVIDIA, AMD, Qualcomm, Arm, IBM và Intel. Bài công bố trên blog Hugging Face có sáu tác giả chính và ghi nhận thêm 104 người đóng góp.

Bản 1.0.0 hiện có sẵn trên trang Releases của kho ggml-org/llama.cpp trên GitHub, với bản dựng sẵn cho Linux, macOS, Windows, Android và iOS, cùng các kênh phân phối như Docker, Homebrew, conda-forge, MacPorts, Winget và XCFramework. Người dùng có thể lấy mã nguồn bằng lệnh git clone từ kho chính thức của dự án.

Tóm lại, llama.cpp 1.0.0 không mang tới một mô hình mới hay một cú nhảy vọt về tốc độ, nhưng nó mang tới thứ mà hệ sinh thái AI cục bộ cần hơn: một nền tảng ổn định để xây dựng lâu dài. Lập trình viên nên kiểm tra code của mình với danh sách hàm đã gỡ, thử nghiệm trên môi trường riêng trước khi nâng cấp, rồi ghim phiên bản 1.0.0 cho các dự án đang chạy. Khi nền móng đã chắc, những ứng dụng chạy AI trên máy cá nhân mới có thể lớn lên mà không sợ mỗi lần cập nhật lại vỡ một thứ gì đó.

Nguồn tham khảo: Hugging Face