66B là một mô hình ngôn ngữ quy mô lớn, có 66 tỷ tham số. Nó được huấn luyện trên dữ liệu văn bản đa dạng và có khả năng suy luận, trả lời câu hỏi, viết văn bản sáng tạo và hỗ trợ ngôn ngữ tự nhiên.
Mô hình tập trung vào việc hiểu và sinh ngôn ngữ theo ngữ cảnh rộng. Phạm vi của 66B bao gồm tổng hợp nội dung, trả lời câu hỏi chuyên sâu, tóm tắt văn bản và hỗ trợ sáng tạo nội dung cho nhiều ngành.
Kiến trúc chủ yếu dựa trên biến đổi Transformer với cơ chế attention, cho phép nắm bắt thông tin từ ngữ cảnh dài. Với 66 tỷ tham số, mô hình có khả năng học đại diện ngữ nghĩa phức tạp và thích nghi với nhiều tác vụ.
66B được huấn luyện trên một tập dữ liệu văn bản khổng lồ từ sách, báo, trang web và mã nguồn công khai. Quá trình huấn luyện kết hợp nhiều mục tiêu như dự đoán từ tiếp theo và tối ưu hóa an toàn. Các thách thức bao gồm thiên vị dữ liệu, chất lượng nội dung và chi phí tính toán.
66B có thể hỗ trợ viết bài, trả lời câu hỏi kỹ thuật, tóm tắt văn bản, hỗ trợ lập trình và trợ lý ngôn ngữ. Tuy nhiên, nó có thể sinh thông tin sai lệch, gặp vấn đề về thiên vị và yêu cầu nguồn lực tính toán lớn, do đó cần đánh giá và kiểm tra kỹ lưỡng trước khi triển khai.