META VỪA THÁCH THỨC MỘT GIẢ ĐỊNH LÂU NAY CỦA NGÀNH AI: MÔ HÌNH NGÔN NGỮ KHÔNG NHẤT THIẾT PHẢI SỬ DỤNG TOKENIZER
Hầu hết các mô hình AI hiện nay đều xử lý văn bản theo cùng một cách: chia từ ngữ thành những đơn vị nhỏ gọi là token, với bộ từ vựng thường chứa khoảng 100.000 token.
Một nghiên cứu mới từ Meta FAIR và Đại học Washington đặt ra một câu hỏi đơn giản: Điều gì sẽ xảy ra nếu một mô hình nhỏ bỏ qua token và đọc trực tiếp các byte thô, từng ký tự một, với bộ từ vựng chỉ khoảng 256 đơn vị?
Trong nhiều năm, ngành AI mặc định rằng cách tiếp cận này sẽ kém hiệu quả hơn. Tokenizer đã trở thành tiêu chuẩn không phải ngẫu nhiên.
Nhưng kết quả nghiên cứu lại cho thấy điều ngược lại.
Khi được huấn luyện đủ lâu, mô hình xử lý byte có thể bắt kịp mô hình sử dụng token với cùng quy mô, rồi vượt qua nó.
Nhóm nghiên cứu xây dựng mô hình byte bằng cách chưng cất kiến thức từ một mô hình lớn hơn là Llama 3-8B.
Đáng chú ý, mô hình byte chỉ có 1,28 tỷ tham số, ít hơn đáng kể so với 1,81 tỷ tham số của mô hình sử dụng token, nhưng vẫn đạt kết quả tốt hơn.
Mô hình byte cũng đạt độ chính xác tương đương mô hình token chỉ với khoảng một phần sáu lượng dữ liệu huấn luyện.
Dung lượng lưu trữ dữ liệu huấn luyện của mô hình giáo viên giảm xuống còn khoảng một phần năm, bởi bộ từ vựng chỉ gồm 256 đơn vị không đòi hỏi các tệp dữ liệu khổng lồ như bộ từ vựng 100.000 token.
Theo các dự báo dựa trên quy luật mở rộng quy mô, mô hình byte có thể đạt độ chính xác trung bình cao hơn khoảng 4% trên sáu bộ benchmark. Mô hình này cũng được dự báo vượt Llama 3.2-1B, Gemma-3-1B-pt và Gemma 2B xét trên kết quả trung bình.
Bí quyết nằm ở một chi tiết tưởng chừng rất đơn giản: Cứ khoảng 4,5 byte, nhóm nghiên cứu chèn một dấu mốc nhỏ để chỉ vị trí mà một token thông thường sẽ kết thúc.
Cách làm này khiến chi phí tính toán tăng khoảng 31% trên mỗi đơn vị dữ liệu. Tuy nhiên, phần tính toán bổ sung đó cũng là một trong những yếu tố quan trọng giúp mô hình đạt kết quả tốt hơn.
Một bộ từ vựng nhỏ hơn, ít dữ liệu hơn, dung lượng lưu trữ thấp hơn và độ chính xác cao hơn khi được cung cấp đủ năng lực tính toán.
Điều mà ngành AI từng xem là bắt buộc có thể chỉ là một thói quen được duy trì trong thời gian dài.
Nghiên cứu này không có nghĩa tokenizer đã trở nên lỗi thời. Nhưng nó cho thấy một hướng tiếp cận khác có thể giúp xây dựng mô hình ngôn ngữ hiệu quả hơn, đồng thời đặt lại câu hỏi về những lựa chọn thiết kế vốn được xem là mặc định trong AI.
Hầu hết các mô hình AI hiện nay đều xử lý văn bản theo cùng một cách: chia từ ngữ thành những đơn vị nhỏ gọi là token, với bộ từ vựng thường chứa khoảng 100.000 token.
Một nghiên cứu mới từ Meta FAIR và Đại học Washington đặt ra một câu hỏi đơn giản: Điều gì sẽ xảy ra nếu một mô hình nhỏ bỏ qua token và đọc trực tiếp các byte thô, từng ký tự một, với bộ từ vựng chỉ khoảng 256 đơn vị?
Trong nhiều năm, ngành AI mặc định rằng cách tiếp cận này sẽ kém hiệu quả hơn. Tokenizer đã trở thành tiêu chuẩn không phải ngẫu nhiên.
Nhưng kết quả nghiên cứu lại cho thấy điều ngược lại.
Khi được huấn luyện đủ lâu, mô hình xử lý byte có thể bắt kịp mô hình sử dụng token với cùng quy mô, rồi vượt qua nó.
Nhóm nghiên cứu xây dựng mô hình byte bằng cách chưng cất kiến thức từ một mô hình lớn hơn là Llama 3-8B.
Đáng chú ý, mô hình byte chỉ có 1,28 tỷ tham số, ít hơn đáng kể so với 1,81 tỷ tham số của mô hình sử dụng token, nhưng vẫn đạt kết quả tốt hơn.
Mô hình byte cũng đạt độ chính xác tương đương mô hình token chỉ với khoảng một phần sáu lượng dữ liệu huấn luyện.
Dung lượng lưu trữ dữ liệu huấn luyện của mô hình giáo viên giảm xuống còn khoảng một phần năm, bởi bộ từ vựng chỉ gồm 256 đơn vị không đòi hỏi các tệp dữ liệu khổng lồ như bộ từ vựng 100.000 token.
Theo các dự báo dựa trên quy luật mở rộng quy mô, mô hình byte có thể đạt độ chính xác trung bình cao hơn khoảng 4% trên sáu bộ benchmark. Mô hình này cũng được dự báo vượt Llama 3.2-1B, Gemma-3-1B-pt và Gemma 2B xét trên kết quả trung bình.
Bí quyết nằm ở một chi tiết tưởng chừng rất đơn giản: Cứ khoảng 4,5 byte, nhóm nghiên cứu chèn một dấu mốc nhỏ để chỉ vị trí mà một token thông thường sẽ kết thúc.
Cách làm này khiến chi phí tính toán tăng khoảng 31% trên mỗi đơn vị dữ liệu. Tuy nhiên, phần tính toán bổ sung đó cũng là một trong những yếu tố quan trọng giúp mô hình đạt kết quả tốt hơn.
Một bộ từ vựng nhỏ hơn, ít dữ liệu hơn, dung lượng lưu trữ thấp hơn và độ chính xác cao hơn khi được cung cấp đủ năng lực tính toán.
Điều mà ngành AI từng xem là bắt buộc có thể chỉ là một thói quen được duy trì trong thời gian dài.
Nghiên cứu này không có nghĩa tokenizer đã trở nên lỗi thời. Nhưng nó cho thấy một hướng tiếp cận khác có thể giúp xây dựng mô hình ngôn ngữ hiệu quả hơn, đồng thời đặt lại câu hỏi về những lựa chọn thiết kế vốn được xem là mặc định trong AI.