Thu nhỏ AI, tăng hiệu suất: Nghiên cứu mới từ Multiverse Computing

Một nhóm nghiên cứu từ Multiverse Computing vừa công bố phương pháp mới giúp giảm kích thước mô hình AI mà vẫn giữ nguyên, thậm chí cải thiện hiệu suất. Họ đã thu nhỏ mô hình GPT-OSS của OpenAI từ 120 tỷ tham số xuống còn 60 tỷ, đồng thời nén bộ nhớ xuống 4-bit.

Một nhóm nghiên cứu từ Multiverse Computing vừa công bố phương pháp mới giúp giảm kích thước mô hình AI mà vẫn giữ nguyên, thậm chí cải thiện hiệu suất. Họ đã thu nhỏ mô hình GPT-OSS của OpenAI từ 120 tỷ tham số xuống còn 60 tỷ, đồng thời nén bộ nhớ xuống 4-bit. Kết quả, phiên bản nhỏ gọn này vượt trội hơn phiên bản gốc trong 7/9 bài kiểm tra Decrypt.

Diễn biến

Các nhà nghiên cứu đã áp dụng phương pháp "Quantization-Aware Healing" để tối ưu hóa mô hình. Thay vì chỉ đơn thuần giảm số lượng tham số, họ tập trung vào việc "dạy" mô hình thu nhỏ từ phiên bản gốc thông minh, thay vì một bản sao yếu kém. Điều này tương tự như việc huấn luyện lại một học viên giỏi thay vì bắt một người mới làm quen với kiến thức Decrypt.

Theo các nguồn tin, việc giảm kích thước mô hình AI thường dẫn đến giảm hiệu suất, như việc giảm chất lượng ảnh từ 4K xuống 720p. Tuy nhiên, nghiên cứu này cho thấy một cách tiếp cận khác: nén dữ liệu không nhất thiết phải làm giảm chất lượng, mà thậm chí có thể cải thiện nó Decrypt. Các tham số của mô hình AI được ví như "một bức tường các nút điều khiển", và việc giảm số lượng nút có thể làm giảm chi phí vận hành, nhưng cũng có thể làm giảm khả năng học hỏi.

Các nguồn nói gì

Cả hai nguồn Decrypt và tech.yahoo.com đều thống nhất về các chi tiết chính của nghiên cứu, bao gồm phương pháp, mô hình được sử dụng (GPT-OSS của OpenAI) và kết quả đạt được. Cả hai đều trích dẫn câu nói của các nhà nghiên cứu: "Đối với các chuyên gia, thông điệp thực tế là trong quy trình 'healing' dựa trên chưng cất, bước lượng tử hóa không phải là chi phí cần giảm thiểu mà là cơ hội bổ sung để giám sát từ 'giáo viên', mang lại mô hình vừa rẻ hơn để vận hành, vừa nhẹ hơn về bộ nhớ, vừa có độ chính xác ít nhất tương đương với phiên bản đầy đủ." Decrypt, tech.yahoo.com.

Vì sao đáng chú ý

Nghiên cứu này có ý nghĩa quan trọng bởi nó cho thấy khả năng tạo ra các mô hình AI mạnh mẽ với chi phí thấp hơn. Điều này sẽ giúp mở rộng ứng dụng của AI, đặc biệt là trong các lĩnh vực có nguồn lực hạn chế. Việc giảm kích thước mô hình cũng giúp giảm tiêu thụ năng lượng, góp phần vào các mục tiêu phát triển bền vững. Quan trọng hơn, nó đặt ra câu hỏi về cách chúng ta tiếp cận việc tối ưu hóa mô hình AI, cho thấy rằng việc nén dữ liệu có thể là một cơ hội để cải thiện hiệu suất chứ không chỉ là một sự đánh đổi.

Nguồn tham khảo

• Decrypt — These Researchers Just Shrunk an AI Model and Somehow Made It Smarter
• tech.yahoo.com — These Researchers Just Shrunk an AI Model and Somehow Made It Smarter