2023春季李宏毅机器学习笔记 03 ：机器如何生成文句

资料

• 课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php
• Github：https://github.com/Fafa-DL/Lhy_Machine_Learning
• B站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800

一、大语言模型的两种期待和使用

BERT：专才

• 简介：BERT是一个语言模型，对其进行改造（加外挂+微调参数），成为不同领域的专才（BERT只会进行文字填空，无法像GTP一样写出句子说话）
• 本质：文字填空
• 发展：专才 （单一任务完成度优秀，eg：专用于翻译的模型）
• 使用方式：

  • （1）加外挂Head：
    

  • （2）Fintune（微调参数）：

  • （3）Adapter（局部微调）：
    

GPT：通才

• 简介： 机器要学会读题目叙述Instruction Learning或题目范例In-context Learning
• 本质：文字接龙
• 发展：通才（只要重新设计Prompt，即可快速开发新功能不用写程式，eg：）
• 使用方式：见二
  • Instruction Learning
  • In-context Learning
  • Chain of Thought (CoT) Prompting