66B là một khái niệm chỉ các mô hình ngôn ngữ có quy mô tham số khoảng 66 tỷ. Các mô hình ở cấp độ này thuộc họ transformer, được huấn luyện trên tập dữ liệu lớn để hiểu ngữ cảnh, sinh văn bản tự nhiên và thực hiện nhiều tác vụ như trả lời câu hỏi, tóm tắt nội dung và dịch ngôn ngữ.
Thông thường, 66B được xây dựng trên kiến trúc transformer sâu với nhiều lớp tự attention và feed-forward. Số lượng tham số lớn cho phép mô hình lưu trữ thông tin dài hạn và nắm bắt được mối quan hệ phức tạp trong văn bản, tuy nhiên đòi hỏi tài nguyên tính toán và bộ nhớ đáng kể trong quá trình huấn luyện và suy luận.
Để đạt được hiệu suất tốt, 66B thường được huấn luyện trên tập dữ liệu khổng lồ, được làm sạch và lọc để giảm lỗi và ưu tiên tính đa dạng. Quá trình huấn luyện cần kỹ thuật tối ưu như phân tán tải, học suất thích nghi và quản lý rủi ro về nội dung độc hại hoặc lệch lạc.
Ứng dụng của 66B bao gồm hỗ trợ viết, tổng hợp văn bản, trợ lý ảo và phân tích ngữ nghĩa. Tuy vậy, kích thước lớn đi kèm với chi phí vận hành cao, nguy cơ thiên vị dữ liệu và cần biện pháp kiểm soát xã hội để đảm bảo an toàn và trách nhiệm khi triển khai trong thực tế.