ChatGPT魔法1： 背后的原理

1. AI的三个阶段

1） 上世纪50~60年代，计算机刚刚产生
2） Machine learning
3） Deep learning， 有神经网络， 最有代表性的是ChatGPT, GPT(Generative Pre-Trained Transformer)

2. 深度神经网络

llya Sutskever: 做图像识别，使用了GPT去并行计算及训练。 Alexnet

• 数据库已经label好的 （李飞飞）
• GPU算力

3. GPT

3.1 Transformer

把一个词使用高维对词进行理解，可以并行做训练。ChatGPT使用互联网上的所有资源进行学习。