66B là một hệ thống mô hình ngôn ngữ lớn có khoảng 66 tỉ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh.
Kiến trúc dựa trên mô hình transformer với nhiều lớp chú ý và kích thước ẩn lớn, cho phép hiểu và sinh văn bản ở mức cao. Dữ liệu đầu vào được phân tách thành các đơn vị từ bằng một bộ phân tách từ tối ưu cho nhiều ngôn ngữ, và cửa sổ ngữ cảnh cho phép theo dõi ngữ cảnh rộng.
66B được huấn luyện trên tập dữ liệu hỗn hợp gồm văn bản công khai, sách, bài báo và dữ liệu mã nguồn được xử lý để giảm thiểu nội dung không mong muốn. Quá trình huấn luyện đòi hỏi phân bổ tài nguyên tính toán lớn và kỹ thuật cân bằng dữ liệu.
Khả năng trả lời của 66B phụ thuộc vào chất lượng dữ liệu và hệ thống cân chỉnh. Khi tham số càng lớn, khả năng gặp sai lệch và trả lời không đúng càng cao. Bên cạnh đó, việc kiểm soát đầu ra, cân bằng an toàn và giải thích kết quả là ưu tiên khi triển khai.
66B có thể được dùng trong trợ lý ảo, hệ thống trả lời câu hỏi, hỗ trợ viết mã, tóm tắt văn bản, dịch ngôn ngữ và hỗ trợ giáo dục. Nhờ khả năng xử lý đa ngôn ngữ và khả năng nắm bắt ngữ cảnh, nó có thể làm nền tảng cho nhiều ứng dụng trí tuệ nhân tạo.