MIT dùng GPT-6 Astra chỉnh sửa trực tiếp bộ não AI, giúp Qwen tăng điểm toán gấp 6 lần
MIT dùng GPT-6 Astra chỉnh sửa trực tiếp bộ não AI, giúp Qwen tăng điểm toán gấp 6 lần
Một trong những giới hạn lớn nhất của trí tuệ nhân tạo hiện nay không chỉ nằm ở khả năng suy luận, mà còn ở cách con người phải cải thiện những mô hình đã được huấn luyện. Muốn sửa một lỗi đáng kể, doanh nghiệp thường phải điều chỉnh dữ liệu, tinh chỉnh mô hình hoặc thực hiện thêm các vòng huấn luyện tốn kém.
Nhưng một nghiên cứu mới từ Viện Công nghệ Massachusetts (MIT) gợi mở một hướng đi khác. Thay vì huấn luyện lại, một mô hình AI có thể trực tiếp kiểm tra và chỉnh sửa các tham số bên trong một mô hình AI khác.
Đáng chú ý, GPT-6 Astra đã giúp Qwen3.5-0.8B tăng độ chính xác trên bài kiểm tra toán MATH-500 từ 7,9% lên 48,1%, trong khi chỉ tác động đến khoảng 0,016% tổng số trọng số.
Đây không đơn thuần là một cải tiến điểm chuẩn. Nó đặt ra khả năng AI có thể trở thành công cụ bảo trì và tối ưu hóa chính những hệ thống trí tuệ nhân tạo đang được doanh nghiệp sử dụng.
Tin tức chính vừa xảy ra
Ngày 2/11, nhóm nghiên cứu gồm Rikiya Takehi, Jayden Teoh, Alex Zhang và Omar Khattab công bố nghiên cứu về phương pháp được gọi là lập trình trong không gian trọng số.
Thử nghiệm sử dụng GPT-6 Astra để phân tích và thay đổi trực tiếp trọng số của những mạng nơ-ron đã được huấn luyện.
Điểm khác biệt nằm ở chỗ Astra không sử dụng quy trình tính toán độ dốc thông thường để xác định những thay đổi cần thiết. Thay vào đó, mô hình kiểm tra hành vi, nghiên cứu các tham số và tự đề xuất phương án chỉnh sửa.
Một phương pháp mới thay đổi cách cải thiện AI
Trọng số là những con số quyết định cách mạng nơ-ron xử lý dữ liệu đầu vào và tạo ra kết quả.
Trong phương pháp truyền thống, hệ thống sử dụng dữ liệu, phản hồi hoặc phần thưởng để tính toán những thay đổi cần thiết. Quá trình này thường gắn với các kỹ thuật như giảm độ dốc.
Phương pháp của MIT chuyển một phần công việc sang mô hình ngôn ngữ lớn.
Astra được giao nhiệm vụ quan sát mô hình mục tiêu, xác định hành vi bất thường, kiểm tra các tham số và đề xuất chỉnh sửa trực tiếp.
Có thể hình dung đây là một công cụ gỡ lỗi dành cho mạng nơ-ron. Thay vì chỉ sửa phần mềm bao quanh AI, nhà phát triển có thể yêu cầu một AI khác tìm kiếm và sửa lỗi bên trong chính mô hình.
Tuy nhiên, trọng số không giống những dòng lệnh có tên hàm và chức năng rõ ràng. Việc hiểu được ý nghĩa của chúng vẫn là một thách thức kỹ thuật lớn.
0,016% trọng số tạo ra thay đổi đáng kể
Kết quả thử nghiệm với Qwen3.5-0.8B là bằng chứng đáng chú ý nhất.
|
Chỉ số đánh giá |
Ban đầu |
Sau chỉnh sửa |
|---|---|---|
|
MATH-500 |
7,9% |
48,1% |
|
GSM8K |
13,8% |
67,1% |
|
IFEval |
21,0% |
62,3% |
|
Câu trả lời toán bị chạm giới hạn token |
93,0% |
33,1% |
Astra đã chỉnh sửa 131.072 trọng số, tập trung vào một số thành phần thuộc lớp 15 và 19 của mô hình.
Nguyên nhân chính được nhóm nghiên cứu xác định là hiện tượng suy luận lặp lại. Qwen thường xuyên lặp nội dung cho đến khi sử dụng hết giới hạn đầu ra.
Astra loại bỏ một hướng tác động số học liên quan đến hành vi lặp lại, giúp mô hình hoàn thành nhiều câu trả lời hơn.
Điều quan trọng là nghiên cứu chứng minh khả năng sửa chữa một điểm yếu tồn tại, chứ không chứng minh Qwen đột nhiên được bổ sung lượng kiến thức toán học lớn gấp sáu lần.
GPT-6 Astra không chỉ sửa mô hình toán học
Nhóm MIT còn thử nghiệm khả năng nhận diện và xây dựng mạng nơ-ron trong những môi trường khác.
Trong một thử nghiệm, Astra nhận diện bốn mạng chơi trò chơi gồm Breakout, Pong, Pac-Man và Freeway, dù chúng có cùng kiến trúc, đầu vào và hành động khả dụng.
Ở một thử nghiệm mô phỏng lái xe, hệ thống điều khiển thường xuyên bị mắc kẹt tại một đoạn đường dốc. Astra được cung cấp trọng số, mô tả tình huống và một quỹ đạo thất bại.
Mô hình đưa ra bản chỉnh sửa chỉ trong một phản hồi. Thay đổi tác động đến 3,5% trọng số và đạt tỷ lệ thành công 100% trong điều kiện thử nghiệm được báo cáo.
Đáng chú ý hơn, Astra còn có thể xây dựng mạng nơ-ron cho trò chơi Breakout dựa trên luật chơi và mã nguồn đơn giản.
Mô hình do Astra tạo ra đạt 517,4 điểm, trong khi mạng được huấn luyện bằng phương pháp tối ưu hóa chính sách gần nhất với 500 triệu bước chỉ đạt 25,3 điểm.
Tuy nhiên, lợi thế này không xuất hiện đồng đều. Astra kém hơn các mô hình PPO tương ứng trong Seaquest và thấp hơn một chút trong Asterix.
Chi phí nghiên cứu vẫn là bài toán lớn
Một bản chỉnh sửa nhỏ không đồng nghĩa với quá trình tìm kiếm đơn giản.
Trong thử nghiệm Qwen mạnh nhất, nhóm nghiên cứu sử dụng 50 yêu cầu đánh giá, 158 lượt trao đổi, 80 lần chạy Python và tổng cộng 20,3 giờ.
Trong đó, 4,7 giờ bị ảnh hưởng bởi sự cố gián đoạn dịch vụ.
Đây là dữ liệu quan trọng khi đánh giá tính thương mại của phương pháp.
Nếu muốn sử dụng AI để sửa AI trong môi trường doanh nghiệp, cần tính cả chi phí phân tích, thử nghiệm, xác minh và triển khai bản sửa đổi.
Nghiên cứu chưa chứng minh phương pháp này rẻ hơn, nhanh hơn hoặc hiệu quả hơn huấn luyện truyền thống trong mọi trường hợp.
Doanh nghiệp có thể kiếm tiền từ AI tự sửa chữa
Tiềm năng kinh doanh nằm ở việc giảm gánh nặng bảo trì những mô hình AI chuyên dụng.
Một doanh nghiệp sử dụng mô hình nhỏ để xử lý hóa đơn, phân loại tài liệu hoặc tự động hóa quy trình nội bộ có thể gặp lỗi lặp lại trong một số tình huống nhất định.
Thay vì huấn luyện lại toàn bộ mô hình, doanh nghiệp có thể sử dụng một hệ thống AI chuyên phân tích trọng số, tìm nguyên nhân và đề xuất bản sửa đổi.
Nếu được chứng minh hiệu quả, hướng tiếp cận này có thể tạo ra những sản phẩm mới như công cụ kiểm toán mô hình, dịch vụ sửa lỗi mạng nơ-ron và nền tảng quản lý phiên bản AI.
Nhưng đây vẫn là những ứng dụng tiềm năng. Nhóm nghiên cứu chưa công bố khách hàng thương mại hoặc doanh thu từ công nghệ này.
Lợi thế cạnh tranh sẽ nằm ở quyền kiểm soát mô hình
Một yếu tố quan trọng là quyền truy cập trọng số.
Qwen có giấy phép Apache 2.0, tạo điều kiện cho nhà phát triển nghiên cứu và điều chỉnh mô hình.
Ngược lại, doanh nghiệp chỉ sử dụng AI thông qua giao diện lập trình của nhà cung cấp sẽ không thể tự ý chỉnh sửa trọng số bên trong.
Điều này có thể tạo ra khoảng cách giữa doanh nghiệp sở hữu mô hình và doanh nghiệp chỉ thuê năng lực AI từ bên ngoài.
Những tổ chức kiểm soát được trọng số, dữ liệu đánh giá và môi trường triển khai sẽ có nhiều quyền chủ động hơn trong việc tối ưu hóa hệ thống.
Không phải mô hình nào cũng có thể được cải thiện
Thử nghiệm với Gemma 3 270M cho thấy Astra không đạt được cải thiện toán học đáng kể.
Lý do được báo cáo là Gemma không gặp vấn đề lặp lại nghiêm trọng như Qwen trong điều kiện thử nghiệm.
Một thử nghiệm khác cũng cho thấy Astra ban đầu không phân biệt được mô hình có xu hướng đồng ý với đề xuất của người dùng và mô hình được huấn luyện để trả lời chính xác. Chỉ sau khi được cung cấp dữ liệu đo lường cơ chế chú ý trong quá trình thực thi, Astra mới giải quyết được vấn đề.
Những thất bại này cho thấy khả năng đọc trọng số không đồng nghĩa với khả năng hiểu toàn bộ hoạt động bên trong mạng nơ-ron.
Ngoài ra, việc chỉnh sửa có thể tạo ra hành vi ngoài dự kiến. Doanh nghiệp cần kiểm tra toàn diện trước khi đưa phiên bản mới vào sản xuất.
Việt Nam sẽ chịu tác động như thế nào?
Đối với Việt Nam, cơ hội đáng chú ý nằm ở những doanh nghiệp đang triển khai AI với ngân sách hạn chế.
Các mô hình nhỏ có thể được sử dụng trong chăm sóc khách hàng, thương mại điện tử, logistics, xử lý chứng từ và quản lý dữ liệu nội bộ.
Nếu công nghệ chỉnh sửa trọng số trở nên đáng tin cậy, doanh nghiệp có thể cải thiện những mô hình chuyên dụng mà không nhất thiết phải đầu tư vào các hệ thống lớn hơn.
Điều này đặc biệt có ý nghĩa với những đơn vị muốn triển khai AI tại máy chủ riêng, kiểm soát dữ liệu và hạn chế phụ thuộc vào dịch vụ đám mây bên ngoài.
Tuy nhiên, chưa có bằng chứng cho thấy phương pháp của MIT đã sẵn sàng cho triển khai thương mại tại Việt Nam.
Doanh nghiệp vừa và nhỏ nên chuẩn bị từ bây giờ
Thay vì chạy theo mô hình AI lớn nhất, doanh nghiệp nên tập trung xây dựng năng lực quản trị mô hình.
-
Lựa chọn mô hình có trọng số mở và giấy phép phù hợp.
-
Lưu trữ các phiên bản mô hình trước và sau chỉnh sửa.
-
Xây dựng bộ dữ liệu kiểm tra theo nghiệp vụ thực tế.
-
Đánh giá cả độ chính xác, độ ổn định và chi phí vận hành.
-
Kiểm tra những tác động ngoài dự kiến trước khi triển khai.
-
Duy trì khả năng quay lại phiên bản cũ nếu bản sửa đổi gây lỗi.
Đặc biệt, không nên nhầm lẫn giữa một kết quả thử nghiệm tốt và một hệ thống đủ độ tin cậy để vận hành doanh nghiệp.
Từ công cụ sử dụng AI đến AI có thể sửa chữa AI
Nghiên cứu của MIT gợi mở một thay đổi đáng chú ý trong kiến trúc phát triển trí tuệ nhân tạo.
Trong giai đoạn trước, con người xây dựng mô hình, huấn luyện mô hình và sử dụng mô hình để giải quyết công việc.
Trong hướng tiếp cận mới, một mô hình có năng lực cao hơn có thể trực tiếp phân tích và thay đổi cấu trúc tham số của một mô hình khác.
Điều đó mở ra hai khả năng song song. AI có thể giúp giảm công sức bảo trì, đồng thời cũng có thể đẩy nhanh quá trình phát triển năng lực AI.
Tuy nhiên, nghiên cứu hiện tại chưa chứng minh khả năng tự cải thiện liên tục qua nhiều thế hệ, cũng chưa cho thấy những cải tiến có thể tự động cộng dồn.
Giá trị thực sự của công nghệ này sẽ phụ thuộc vào khả năng tái lập, mức độ an toàn và hiệu quả kinh tế trong môi trường thực tế.
Cuộc cạnh tranh AI vì thế có thể bước sang một mặt trận mới. Không chỉ xây dựng mô hình thông minh hơn, mà còn tìm cách tạo ra những mô hình đủ thông minh để sửa chữa và tối ưu hóa chính các mô hình khác.
MIT dùng GPT-6 Astra chỉnh sửa trực tiếp bộ não AI, giúp Qwen tăng điểm toán gấp 6 lần
GPT-6 Astra, chỉnh sửa trọng số AI, Qwen3.5-0.8B, MIT nghiên cứu AI, lập trình không gian trọng số, AI tự cải thiện, tối ưu hóa mạng nơ-ron, huấn luyện AI, mô hình ngôn ngữ lớn, trí tuệ nhân tạo, AI mã nguồn mở, sửa lỗi mô hình AI, công nghệ AI doanh nghiệp, tương lai trí tuệ nhân tạo
Bình luận