大模型相关资料、基础技术和排行榜

大模型排行榜

测试集
CEval中文多个学科测试集排名
MMLU大规模多任务语言理解英文排名，介绍
斯坦福排行榜
Math-V
Math-Vista
Open LLMs Leaderboard
CMMLU

大模型数据集

标题	简介
19个大模型常用的评估数据集和训练数据集汇总	19个大模型常用的评估数据集和训练数据集汇总
最全 高质量 大模型（LLM）中文预训练数据集，持续更新中	高质量的中文预训练数据集 is all Chinese LLM need
最全 高质量 大模型 -预训练数据集（不定期更新）	最全 高质量 大模型 -预训练数据集（不定期更新）

大模型相关资料

标题	简介
Huggingface的介绍，使用（CSDN最强Huggingface入门手册）	实现AGI的车轮地方
Transformers Tasks	一个github上开源项目，里面有许多典型的NLP项目，且有相应的讲解和源码
《Planing for AGI and beyond》	OpenAI对实现强人工智能AGI的规划
老北鼻AI工具箱	各类AI产品
GPT相关开源项目合集	GPT相关开源项目合集
AutoGPT	AutoGPT项目地址
Agent	AI Agent，英文原文
从大型语言模型LLM走向人工通用智能AGI的改进方向（ public）	我对未来LLM发展以及实现AGI的思考
从大型语言模型LLM走向人工通用智能AGI的改进方向（ private）	我对未来LLM发展以及实现AGI的思考和解决思路
大脑相关知识的简单介绍（小白入门）	比较浅显的介绍
人的记忆组成图	人的记忆图示化

大模型基础技术

标题	简介
稳定扩散模型The Illustrated Stable Diffusion图示化讲解	Jay讲解Stable Diffusion
Transformer图示化讲解	Jay讲解 Attention is all you need(Transformer)
ChatGPT深度体验记录，期待GPT-4（测试各领域知识，正常聊天，写代码，写诗歌，模拟人格，机器翻译，语法改错等）	2022.12.1号发布的ChatGPT体验记录
模型量化技术	LLM大模型中常见的模型量化技术介绍
看注解逐行学习ChatGLM2-6B大模型	学习大模型源码
逐行代码学习ChatGLM2-6B大模型SFT微调（通过prompt ptune实现）	学习大模型微调源码
KBQA知识总结	基于知识图谱的问答（KBQA）介绍
从零开始的知识图谱生活	GitHub上一个知识图谱项目，适合入门学习知识图谱。是一个入门知识图谱过程中的学习笔记，算是半教程类的，指引初学者对知识图谱的各个任务有一个初步的认识。
大模型训练为什么用A100不用4090	关于大模型训练的事情
大模型优化之KV Cache	推理阶段时KVcache的作用
大模型实战教程	大模型实战教程，配套教程和代码
大模型训练时常见GPU的对比	大模型训练时常见GPU的对比
不得不会的32个Linux命令	常见linux命令
手把手带你实战HuggingFace Transformers	b站传送门，动手学习NLP和LLM非常好的地方
1B（10亿）的token大概需要多少磁盘空间存储	算token数
Slurm集群上单节点8卡全量微调大模型笔记	Slurm集群上单节点8卡全量微调大模型笔记
大模型加载的参数介绍及推荐表	大模型加载的参数介绍及推荐表，temperature、top_k、top_p、num_beams、num_beam_groups、do_sample等
大模型：常见的文字表情包(可以直接加到微调数据里)	大模型：常见的文字表情包(可以直接加到微调数据里)
LLM模型评测代码实践	LLM模型评测代码实践
DeepSpeed使用指南(简略版)	简单介绍DeepSpeed使用指南(简略版)
DeepSpeed使用指南(资深版)	LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
Huggingface 镜像站	Huggingface 镜像站
DPO原理	DPO原理