66B là một mô hình ngôn ngữ quy mô lớn có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều tác vụ như sinh văn bản, trả lời câu hỏi và tóm tắt thông tin.
Kiến trúc chung của 66B dựa trên mô hình transformer: nhiều lớp tự chú ý, tham số và cơ chế tối ưu hoá nhằm nắm bắt ngữ nghĩa và cú pháp. Quy mô 66 tỷ tham số cho phép mô hình nắm bắt mối quan hệ ngữ cảnh phức tạp và sinh văn bản có chiều sâu hơn so với các mô hình nhỏ.
66B được huấn luyện trên tập dữ liệu đa dạng từ sách, bài viết và nội dung web, với mục tiêu rèn kỹ năng ngôn ngữ, suy luận và khả năng tổng hợp thông tin. Quá trình huấn luyện cần hạ thấp rung lắc và quản lý rủi ro về dữ liệu nhạy cảm.
Khả năng nổi bật gồm trình bày chu đáo ý tưởng, viết văn phong tự nhiên, giải thích khái niệm và hỗ trợ viết mã. Khả năng suy luận còn hạn chế bao gồm khả năng tạo nội dung sai lệch, thiên vị dữ liệu, và tiêu thụ tài nguyên tính toán cao; cũng như cần giám sát khi áp dụng vào quyết định quan trọng.
66B có thể được dùng làm trợ lý viết nội dung, tóm tắt tài liệu, phân tích dữ liệu và hỗ trợ lập trình. Khi triển khai, cần đánh giá nguồn dữ liệu, chi phí vận hành, yêu cầu về bảo mật và đạo đức, cũng như thiết lập biện pháp giám sát và kiểm tra đầu ra của mô hình.