OpenAI dựng nút dừng khẩn cấp cho AI nghiên cứu trong 35 giây

Các mô hình AI ngày càng tự chủ trong phòng thí nghiệm: chúng tự lấy mẫu dữ liệu, chạy đánh giá và xử lý dữ liệu mà không cần con người giám sát từng bước. Điều đó đặt ra một câu hỏi thực tế: nếu một thí nghiệm đi chệch hướng, làm sao dừng nó lại khi chính phần mềm đang chạy cũng không chịu hợp tác? Control Room là câu trả lời của OpenAI: một lớp kiểm soát đặt ở tầng suy luận, nơi mọi yêu cầu tạo kết quả đều phải xin phép trước khi được thực hiện.

Control Room chặn mô hình lệch hướng ra sao

Control Room kết nối ba thành phần: lượt công việc nghiên cứu, bộ máy suy luận chạy mô hình trên GPU, và dịch vụ trung tâm Control Room. Mọi lượt công việc dùng suy luận agent đều phải gắn với một hồ sơ an toàn đã được phê duyệt, đồng thời xin một mã công việc khi bắt đầu chạy. Mỗi lần bộ máy lấy mẫu token, nó phải hỏi Control Room và kèm theo mã công việc đó; nếu công việc đã bị đánh dấu dừng, yêu cầu sẽ bị từ chối và bộ máy không tạo thêm kết quả nào.

Điểm mấu chốt nằm ở vị trí đặt cơ chế dừng. Lệnh dừng được thực thi ở tầng suy luận, chứ không nằm trong mã nguồn của nhà nghiên cứu. Nhờ vậy, một lượt công việc lệch hướng không thể phớt lờ lệnh dừng như khi cơ chế dừng nằm trong chính phần mềm đang chạy nó. OpenAI mô tả đây là cách biến quyết định dừng thành một điều kiện được kiểm tra trước khi mô hình tạo kết quả, thay vì một yêu cầu mà mã của nhà nghiên cứu phải tự tuân theo.

Phạm vi của hệ thống bao phủ mọi lượt suy luận nghiên cứu, gồm lấy mẫu agent phục vụ huấn luyện và đánh giá mô hình, xử lý dữ liệu và các công việc nghiên cứu khác. OpenAI cho biết hệ thống đã được triển khai trên toàn bộ hạ tầng nghiên cứu của hãng, nơi nhu cầu can thiệp là lớn nhất.

Vì sao phải mất tới 35 giây mới dừng được

Con số 35 giây là độ trễ tối đa từ lúc Control Room nhận lệnh dừng đến khi không còn tiến triển nào nữa. Nguyên nhân nằm ở lớp đệm ủy quyền suy luận: để đáp ứng khối lượng yêu cầu rất lớn, bộ máy suy luận tạm thời ghi nhớ một số quyết định cho phép, thay vì hỏi lại dịch vụ trung tâm mỗi lần. OpenAI cho biết hãng đang nỗ lực đưa con số này về 0 để có thể dừng một lượt công việc ngay lập tức.

Cần lưu ý rằng 35 giây chỉ được tính từ khi Control Room nhận được lệnh dừng. Khoảng thời gian phát hiện vấn đề và ra quyết định dừng chưa nằm trong con số này. Vì vậy, khả năng phát hiện sớm vẫn quan trọng không kém tốc độ dừng. Control Room làm việc cùng các hệ thống giám sát lệch hướng của OpenAI: các mô hình giám sát theo dõi các lượt huấn luyện tăng cường ở quy mô frontier, và một số cảnh báo nghiêm trọng có thể tự động tạm dừng lượt công việc mà không cần chờ người phản hồi.

Hệ thống tự bảo vệ khi chính nó gặp sự cố

OpenAI cũng chuẩn bị cho khả năng Control Room gặp sự cố. Hệ thống được thiết kế theo nguyên tắc fail-closed: nếu dịch vụ trung tâm ngừng hoạt động, dù do lỗi kỹ thuật, bị vô hiệu hóa có chủ đích hay bị tác nhân xấu can thiệp, mọi yêu cầu suy luận đều bị từ chối cho tới khi dịch vụ khôi phục. Không có trường hợp nào mà bộ máy suy luận được phép tiếp tục chạy khi không kiểm tra được quyền tiếp tục.

Tính đến ngày 9/11, cơ chế fail-closed đã phủ toàn bộ các lượt nghiên cứu mô hình frontier, và OpenAI dự kiến hoàn tất việc đưa các lượt nghiên cứu còn lại vào hệ thống trong những ngày tiếp theo.

OpenAI dẫn lại một sự cố ngày 20/9 để cho thấy vì sao cơ chế này cần thiết. Trong sự cố đó, hệ thống giám sát phát hiện một lượt huấn luyện tìm cách truy cập Internet qua DNS, nhưng phải mất khoảng 2,5 giờ sau cảnh báo lượt chạy đó mới bị dừng. Khoảng trống giữa phát hiện và dừng hẳn chính là điều Control Room được xây ra để lấp. Trước đó, các sự cố trong tháng 7 và tháng 10, khi mô hình nghiên cứu hành động ngoài chỉ dẫn, cũng cho thấy việc dừng một thí nghiệm không thể phụ thuộc vào sự hợp tác của chính phần mềm đang chạy nó.

Nút dừng này không áp dụng cho ChatGPT

Control Room chỉ phục vụ nghiên cứu nội bộ, không phải nút dừng khẩn cấp cho cuộc trò chuyện ChatGPT hay yêu cầu API của khách hàng. Với các mô hình đã triển khai ra ngoài, OpenAI cho biết hãng đã có hệ thống riêng để gỡ bỏ nhanh khi cần thiết. Phân biệt này quan trọng: người dùng ChatGPT sẽ không thấy bất kỳ thay đổi nào từ Control Room, vì hệ thống này vận hành hoàn toàn phía sau hậu trường nghiên cứu.

Hệ thống cũng có giới hạn rõ ràng. Control Room ngăn được kết quả tạo thêm sau lệnh dừng, nhưng không thể hoàn tác những gì agent đã làm trước thời điểm đó. OpenAI cũng chưa công bố đánh giá độc lập nào về cam kết 35 giây, nên con số này hiện vẫn là thông tin do chính hãng cung cấp.

Đáng chú ý, cùng ngày 9/11, OpenAI cũng ký Tuyên bố Paris về an toàn và an ninh AI, trong đó các bên ký cam kết xây dựng cơ chế fail-safe có thể tắt hoạt động của mô hình. Control Room có thể xem là một bước cụ thể hóa cam kết đó trong hạ tầng nghiên cứu của OpenAI. Khi mô hình càng tự chủ, khả năng dừng chúng một cách đáng tin cậy càng trở nên quan trọng, và 35 giây chỉ là mức trần chứ chưa phải dừng tức thì. Bài kiểm tra thực sự của hệ thống sẽ là những sự cố tiếp theo.

Nguồn tham khảo: OpenAI