transformer学习

transformer

李宏毅老师的课：https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=60

知乎上的文章：Transformer模型详解（图解最完整版）

主要参考tensorflow的官方文档：理解语言的 Transformer 模型

还有一篇英文文章讲得也不错：The Illustrated Transformer

google官方的blog里面有动画也不错：Transformer：一种用于语言理解的新型神经网络架构，建议翻译着看

根据tensorflow的官方文档写的代码，包含了数据集：

关于新机器测试，李沐老师也有在做：https://t.bilibili.com/695161992084717573?tab=2

bert

知乎bert简介：什么是BERT？

ensorflow的官方文档（还没有中文版）：使用 BERT 对文本进行分类

bert源码实现：从零实现BERT网络模型

gpt