大模型相关资料、基础技术和排行榜
大模型排行榜
| 测试集 |
|---|
| CEval中文多个学科测试集排名 |
| MMLU大规模多任务语言理解英文排名，介绍 |
| 斯坦福排行榜 |
| Math-V |
| Math-Vista |
| Open LLMs Leaderboard |
| CMMLU |
大模型数据集
| 标题 | 简介 |
|---|---|
| 19个大模型常用的评估数据集和训练数据集汇总 | 19个大模型常用的评估数据集和训练数据集汇总 |
| 最全 高质量 大模型（LLM）中文预训练数据集，持续更新中 | 高质量的中文预训练数据集 is all Chinese LLM need |
| 最全 高质量 大模型 -预训练数据集（不定期更新） | 最全 高质量 大模型 -预训练数据集（不定期更新） |
大模型相关资料
| 标题 | 简介 |
|---|---|
| Huggingface的介绍，使用（CSDN最强Huggingface入门手册） | 实现AGI的车轮地方 |
| Transformers Tasks | 一个github上开源项目，里面有许多典型的NLP项目，且有相应的讲解和源码 |
| 《Planing for AGI and beyond》 | OpenAI对实现强人工智能AGI的规划 |
| 老北鼻AI工具箱 | 各类AI产品 |
| GPT相关开源项目合集 | GPT相关开源项目合集 |
| AutoGPT | AutoGPT项目地址 |
| Agent | AI Agent，英文原文 |
| 从大型语言模型LLM走向人工通用智能AGI的改进方向（ public） | 我对未来LLM发展以及实现AGI的思考 |
| 从大型语言模型LLM走向人工通用智能AGI的改进方向（ private） | 我对未来LLM发展以及实现AGI的思考和解决思路 |
| 大脑相关知识的简单介绍（小白入门） | 比较浅显的介绍 |
| 人的记忆组成图 | 人的记忆图示化 |
大模型基础技术
| 标题 | 简介 |
|---|---|
| 稳定扩散模型The Illustrated Stable Diffusion图示化讲解 | Jay讲解Stable Diffusion |
| Transformer图示化讲解 | Jay讲解 Attention is all you need(Transformer) |
| ChatGPT深度体验记录，期待GPT-4（测试各领域知识，正常聊天，写代码，写诗歌，模拟人格，机器翻译，语法改错等） | 2022.12.1号发布的ChatGPT体验记录 |
| 模型量化技术 | LLM大模型中常见的模型量化技术介绍 |
| 看注解逐行学习ChatGLM2-6B大模型 | 学习大模型源码 |
| 逐行代码学习ChatGLM2-6B大模型SFT微调（通过prompt ptune实现） | 学习大模型微调源码 |
| KBQA知识总结 | 基于知识图谱的问答（KBQA）介绍 |
| 从零开始的知识图谱生活 | GitHub上一个知识图谱项目，适合入门学习知识图谱。是一个入门知识图谱过程中的学习笔记，算是半教程类的，指引初学者对知识图谱的各个任务有一个初步的认识。 |
| 大模型训练为什么用A100不用4090 | 关于大模型训练的事情 |
| 大模型优化之KV Cache | 推理阶段时KVcache的作用 |
| 大模型实战教程 | 大模型实战教程，配套教程和代码 |
| 大模型训练时常见GPU的对比 | 大模型训练时常见GPU的对比 |
| 不得不会的32个Linux命令 | 常见linux命令 |
| 手把手带你实战HuggingFace Transformers | b站传送门，动手学习NLP和LLM非常好的地方 |
| 1B（10亿）的token大概需要多少磁盘空间存储 | 算token数 |
| Slurm集群上单节点8卡全量微调大模型笔记 | Slurm集群上单节点8卡全量微调大模型笔记 |
| 大模型加载的参数介绍及推荐表 | 大模型加载的参数介绍及推荐表，temperature、top_k、top_p、num_beams、num_beam_groups、do_sample等 |
| 大模型：常见的文字表情包(可以直接加到微调数据里) | 大模型：常见的文字表情包(可以直接加到微调数据里) |
| LLM模型评测代码实践 | LLM模型评测代码实践 |
| DeepSpeed使用指南(简略版) | 简单介绍DeepSpeed使用指南(简略版) |
| DeepSpeed使用指南(资深版) | LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】 |
| Huggingface 镜像站 | Huggingface 镜像站 |
| DPO原理 | DPO原理 |
相关文章：
大模型相关资料、基础技术和排行榜
大模型排行榜 测试集CEval中文多个学科测试集排名MMLU大规模多任务语言理解英文排名，介绍斯坦福排行榜Math-VMath-VistaOpen LLMs LeaderboardCMMLU 大模型数据集 标题简介19个大模型常用的评估数据集和训练数据集汇总19个大模型常用的评估数据集和训练数据集汇总最…...
如何安装cnpm
今天尝试用npm install安装一个项目的依赖，但是无论如何都不能完成，等待时间非常久，所以同事推荐了cnpm，确实非常好用，所以推荐了出来，希望能给大家带来帮助。 cnpm 是中国淘宝团队提供的一个 npm 镜像工具…...
正则表达式 匹配特定字符后的所有字符
在处理文本数据时，正则表达式（RegularExpressions，简称Regex）是一种非常强大的工具，它可以用来搜索、匹配和替换文本中符合特定模式的字符串。 首先，明确我们的目标是匹配完整的URL，并获取它之…...
计算机网络 （44）电子邮件
一、概述 电子邮件（Electronic Mail，简称E-mail）是因特网上最早流行的应用之一，并且至今仍然是因特网上最重要、最实用的应用之一。它利用计算机技术和互联网，实现了信息的快速、便捷传递。与传统的邮政系统相比&#…...
数据结构与算法：动态规划dp：理论基础和相关力扣题（509.斐波那契数列、70.爬楼梯）
1.0.理论基础 动态规划主要解决的问题种类有： 背包问题打家劫舍股票问题子序列问题 解决步骤： dp数组及其下标的意义递推公式dp数组初始化遍历顺序打印dp数组 2.0.相关力扣题 509.斐波那契数列 class Solution:def fib(self, n: int) -> int:i…...
某政务行业基于 SeaTunnel 探索数据集成平台的架构实践
分享嘉宾：某政务公司大数据技术经理 孟小鹏 编辑整理：白鲸开源 曾辉 导读：本篇文章将从数据集成的基础概念入手，解析数据割裂给企业带来的挑战，阐述数据集成的重要性，并对常见的集成场景与工具进行阐述&…...
word-break控制的几种容器换行行为详解
word-break 属性在控制换行行为时需要根据语言判断，对于中文 一个字符就是一个单词，字符换行不影响阅读理解，而对于英文来说，多个连续的字符才会是一个单词，例如中文的 早 英文为 morning。 morning7个字符才算一个单词…...
【0x0084】HCI_Set_Min_Encryption_Key_Size命令详解
目录 一、命令概述 二、命令格式及参数 2.1 HCI_Set_Min_Encryption_Key_Size命令格式 2.2. Min_Encryption_Key_Size 三、生成事件及参数 3.1. HCI_Command_Complete 事件 3.2. Status 四、命令的执行流程 4.1. 主机端准备阶段 4.2. 命令发送阶段 4.3. 控制器接收和…...
关于2025年智能化招聘管理系统平台发展趋势
2025年，招聘管理领域正站在变革的十字路口，全新的技术浪潮与不断变化的职场生态相互碰撞，促使招聘管理系统成为重塑企业人才战略的关键力量。智能化招聘管理系统平台在这一背景下迅速崛起，其发展趋势不仅影响企业的招聘效率与质量…...
Docker部署Spring Boot + Vue项目
目录 前提条件 概述 下载代码 打开代码 Docker创建网络 MySQL容器准备 MySQL数据库配置 启动MySQL容器 测试连接MySQL 初始化MySQL数据 Redis容器准备 修改Redis配置 启动redis容器 部署后端 后端代码打包 上传jar包到Linux 创建Dockerfile 构建镜像 运行后…...
开发规范
开发规范 企业项目开发有2种开发模式：前后台混合开发和前后台分离开发。 前后台混合开发 顾名思义就是前台后台代码混在一起开发，如下图所示： 这种开发模式有如下缺点： 沟通成本高：后台人员发现前端有问题…...
九 RK3568 android11 MPU6500
一 MPU6500 内核驱动 1.1 查询设备连接地址 查看原理图， MPU6500 I2C 连接在 I2C4 上， 且中断没有使用 i2c 探测设备地址为 0x68 1.2 驱动源码 drivers/input/sensors/gyro/mpu6500_gyro.c drivers/input/sensors/accel/mpu6500_acc.c 默认 .config 配置编译了 mpu6550 …...
openplant实时数据库(二次开发)
资源地址 我的网盘〉软件>数据库>openplant>openplant实时数据库(二次开发)...
C语言：-三子棋游戏代码：分支-循环-数组-函数集合
思路分析： 1、写菜单 2、菜单之后进入游戏的操作 3、写函数 实现游戏 3.1、初始化棋盘函数，使数组元素都为空格 3.2、打印棋盘 棋盘的大概样子 3.3、玩家出棋 3.3.1、限制玩家要下的坐标位置 3.3.2、判断玩家要下的位置是否由棋子 3.4、电脑出棋 3.4.1、…...
“AI智慧化服务系统：未来生活的智能管家
在当今快速发展的科技时代，人工智能（AI）正以前所未有的速度改变着我们的生活。AI智慧化服务系统作为这一变革的前沿技术，正在逐渐成为我们未来生活的智能管家。它们不仅提高了服务效率，还为我们带来了更加个性化和便捷…...
python管理工具：conda部署+使用
python管理工具：conda部署使用 一、安装部署 1、 下载 - 官网下载： https://repo.anaconda.com/archive/index.html - wget方式： wget -c https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh2、 安装 在conda文件的…...
minio https配置
minio启动时候指定数据目录,配置文件，密钥文件目录，环境文件 1.创建minio用户,专门用于服务启动的 groupadd -r minio-user useradd -M -r -g minio-user minio-user 2.在当前用户目录下创建minio目录，存储minio相关文件 mkdir minio 在mini…...
SpringMVC——原理简介
狂神SSM笔记 DispatcherServlet——SpringMVC 的核心 SpringMVC 围绕DispatcherServlet设计。 DispatcherServlet的作用是将请求分发到不同的处理器（即不同的Servlet）。根据请求的url，分配到对应的Servlet接口。 当发起请求时被前置的控制…...
Ubuntu18.04 解决 libc.so.6: version `GLIBC_2.28‘ not found
Glibc（GNU C Library）是 GNU 系统及其衍生系统如 Linux 操作系统中实现 C 语言标准库的核心组件。升级 Glibc 是一个非常谨慎的操作，因为它与系统的许多关键功能和服务密切相关。Ubuntu 18.04 默认安装的 Glibc 版本为 2.27，但某些…...
Notepad++移除所有空格
1.打开Notepad。 2.打开你想要编辑的文件。 3.按下 Ctrl H 打开查找和替换对话框，并选择 “正则表达式”。 4.在 “查找目标” 框中输入 \s。 5.在 “替换为” 框中留空，不填写任何内容。 6.点击 “全部替换” 按钮。...
阿里云ACP云计算备考笔记 (5)——弹性伸缩
目录 第一章 概述 第二章 弹性伸缩简介 1、弹性伸缩 2、垂直伸缩 3、优势 4、应用场景 ① 无规律的业务量波动 ② 有规律的业务量波动 ③ 无明显业务量波动 ④ 混合型业务 ⑤ 消息通知 ⑥ 生命周期挂钩 ⑦ 自定义方式 ⑧ 滚的升级 5、使用限制 第三章 主要定义 …...
DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增：通道注意力模块（SE模块） class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...
STM32F4基本定时器使用和原理详解
STM32F4基本定时器使用和原理详解 前言如何确定定时器挂载在哪条时钟线上配置及使用方法参数配置PrescalerCounter ModeCounter Periodauto-reload preloadTrigger Event Selection 中断配置生成的代码及使用方法初始化代码基本定时器触发DCA或者ADC的代码讲解中断代码定时启动…...
五年级数学知识边界总结思考-下册
目录 一、背景二、过程1.观察物体小学五年级下册“观察物体”知识点详解：由来、作用与意义**一、知识点核心内容****二、知识点的由来：从生活实践到数学抽象****三、知识的作用：解决实际问题的工具****四、学习的意义：培养核心素养…...
如何为服务器生成TLS证书
TLS（Transport Layer Security）证书是确保网络通信安全的重要手段，它通过加密技术保护传输的数据不被窃听和篡改。在服务器上配置TLS证书，可以使用户通过HTTPS协议安全地访问您的网站。本文将详细介绍如何在服务器上生成一个TLS证…...
工业自动化时代的精准装配革新：迁移科技3D视觉系统如何重塑机器人定位装配
AI3D视觉的工业赋能者 迁移科技成立于2017年，作为行业领先的3D工业相机及视觉系统供应商，累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成，通过稳定、易用、高回报的AI3D视觉系统，为汽车、新能源、金属制造等行…...
Java多线程实现之Thread类深度解析
Java多线程实现之Thread类深度解析 一、多线程基础概念1.1 什么是线程1.2 多线程的优势1.3 Java多线程模型 二、Thread类的基本结构与构造函数2.1 Thread类的继承关系2.2 构造函数 三、创建和启动线程3.1 继承Thread类创建线程3.2 实现Runnable接口创建线程 四、Thread类的核心…...
Razor编程中@Html的方法使用大全
文章目录 1. 基础HTML辅助方法1.1 Html.ActionLink()1.2 Html.RouteLink()1.3 Html.Display() / Html.DisplayFor()1.4 Html.Editor() / Html.EditorFor()1.5 Html.Label() / Html.LabelFor()1.6 Html.TextBox() / Html.TextBoxFor() 2. 表单相关辅助方法2.1 Html.BeginForm() …...
打手机检测算法AI智能分析网关V4守护公共/工业/医疗等多场景安全应用
一、方案背景 在现代生产与生活场景中，如工厂高危作业区、医院手术室、公共场景等，人员违规打手机的行为潜藏着巨大风险。传统依靠人工巡查的监管方式，存在效率低、覆盖面不足、判断主观性强等问题，难以满足对人员打手机行为精…...
【学习笔记】erase 删除顺序迭代器后迭代器失效的解决方案
目录 使用 erase 返回值继续迭代使用索引进行遍历 我们知道类似 vector 的顺序迭代器被删除后，迭代器会失效，因为顺序迭代器在内存中是连续存储的，元素删除后，后续元素会前移。 但一些场景中，我们又需要在执行删除操作…...