Mô hình ngôn ngữ có khả năng học từ một vài ví dụ

Viết bởi

trong

Nguồn: OpenAI

Những nghiên cứu gần đây cho thấy rằng việc tiền huấn luyện trên một kho văn bản lớn rồi tinh chỉnh trên một tác vụ cụ thể đã giúp cải thiện đáng kể hiệu quả trên nhiều tác vụ và bộ chuẩn NLP. Tuy kiến trúc thường không phụ thuộc vào từng tác vụ, phương pháp này vẫn cần các bộ dữ liệu tinh chỉnh riêng cho mỗi tác vụ, với hàng nghìn hoặc hàng chục nghìn ví dụ.

Ngược lại, con người thường có thể thực hiện một tác vụ ngôn ngữ mới chỉ từ một vài ví dụ hoặc những chỉ dẫn đơn giản — điều mà các hệ thống NLP hiện nay nhìn chung vẫn gặp khó khăn. Trong nghiên cứu này, chúng tôi cho thấy việc mở rộng quy mô mô hình ngôn ngữ giúp cải thiện đáng kể khả năng thực hiện các tác vụ khác nhau chỉ với một vài ví dụ, đôi khi đạt mức cạnh tranh với những phương pháp tinh chỉnh tiên tiến nhất trước đó. Cụ thể, chúng tôi huấn luyện GPT-3, một mô hình ngôn ngữ tự hồi quy có 175 tỷ tham số — gấp 10 lần bất kỳ mô hình ngôn ngữ không thưa nào trước đó — và đánh giá mô hình trong thiết lập học từ một vài ví dụ. Với mọi tác vụ, GPT-3 được sử dụng mà không cập nhật gradient hay tinh chỉnh; các tác vụ và ví dụ minh họa được cung cấp hoàn toàn thông qua tương tác bằng văn bản với mô hình.

GPT-3 đạt kết quả tốt trên nhiều bộ dữ liệu NLP, bao gồm các tác vụ dịch thuật, hỏi đáp và điền khuyết, cũng như một số tác vụ đòi hỏi suy luận tức thời hoặc thích nghi với miền mới, chẳng hạn như sắp xếp lại chữ cái trong từ, dùng một từ mới trong câu hoặc thực hiện phép tính số học với các số có ba chữ số. Tuy nhiên, chúng tôi cũng xác định được một số bộ dữ liệu mà GPT-3 vẫn gặp khó khăn khi học từ một vài ví dụ, cùng một số bộ dữ liệu đặt ra vấn đề về phương pháp luận do mô hình được huấn luyện trên các kho dữ liệu web quy mô lớn. Cuối cùng, chúng tôi nhận thấy GPT-3 có thể tạo ra các bài báo mà người đánh giá khó phân biệt với bài do con người viết. Chúng tôi thảo luận về những tác động rộng hơn đối với xã hội của phát hiện này và của GPT-3 nói chung.


Mục lục

  • 1. Giới thiệu
  • 2. Phương pháp tiếp cận
    • 2.1. Mô hình và kiến trúc
    • 2.2. Tập dữ liệu huấn luyện
    • 2.3. Quy trình huấn luyện
    • 2.4 Đánh giá
  • 3. Kết quả
    • 3.1 Mô hình hóa ngôn ngữ, điền khuyết và các tác vụ hoàn thành
    • 3.2 Trả lời câu hỏi không cần tài liệu tham khảo
    • 3.3 Dịch thuật

3.4 Các tác vụ dạng Winograd . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.5 Suy luận thường thức

  • 3.6 Đọc hiểu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.7 SuperGLUE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.8 Suy luận ngôn ngữ tự nhiên (NLI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.9. Các tác vụ tổng hợp và định tính

  • 4. Đo lường và ngăn chặn việc ghi nhớ các bộ chuẩn đánh giá
  • 5. Hạn chế
  • 6. Tác động rộng hơn
    • 6.1. Việc lạm dụng mô hình ngôn ngữ
    • 6.2 Công bằng, thiên kiến và tính đại diện
    • 6.3. Mức tiêu thụ năng lượng
  • 7. Công trình liên quan
  • 8. Kết luận
  • PHỤ LỤC
    • A) Chi tiết về việc lọc Common Crawl
    • B) Chi tiết về quá trình huấn luyện mô hình
    • C) Chi tiết về các nghiên cứu nhiễm bẩn tập kiểm thử
    • D) Tổng lượng tính toán sử dụng để huấn luyện các mô hình ngôn ngữ 46
    • E) Đánh giá chất lượng bài báo tổng hợp của con người
    • F) Các mẫu bổ sung từ GPT-3
    • G) Chi tiết về cách diễn đạt và đặc tả các tác vụ
    • H) Kết quả trên tất cả các tác vụ với mọi kích thước mô hình

Bình luận

Để lại một bình luận

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *