大模型相关资料、基础技术和排行榜
大模型排行榜
| 测试集 |
|---|
| CEval中文多个学科测试集排名 |
| MMLU大规模多任务语言理解英文排名，介绍 |
| 斯坦福排行榜 |
| Math-V |
| Math-Vista |
| Open LLMs Leaderboard |
| CMMLU |
大模型数据集
| 标题 | 简介 |
|---|---|
| 19个大模型常用的评估数据集和训练数据集汇总 | 19个大模型常用的评估数据集和训练数据集汇总 |
| 最全 高质量 大模型（LLM）中文预训练数据集，持续更新中 | 高质量的中文预训练数据集 is all Chinese LLM need |
| 最全 高质量 大模型 -预训练数据集（不定期更新） | 最全 高质量 大模型 -预训练数据集（不定期更新） |
大模型相关资料
| 标题 | 简介 |
|---|---|
| Huggingface的介绍，使用（CSDN最强Huggingface入门手册） | 实现AGI的车轮地方 |
| Transformers Tasks | 一个github上开源项目，里面有许多典型的NLP项目，且有相应的讲解和源码 |
| 《Planing for AGI and beyond》 | OpenAI对实现强人工智能AGI的规划 |
| 老北鼻AI工具箱 | 各类AI产品 |
| GPT相关开源项目合集 | GPT相关开源项目合集 |
| AutoGPT | AutoGPT项目地址 |
| Agent | AI Agent，英文原文 |
| 从大型语言模型LLM走向人工通用智能AGI的改进方向（ public） | 我对未来LLM发展以及实现AGI的思考 |
| 从大型语言模型LLM走向人工通用智能AGI的改进方向（ private） | 我对未来LLM发展以及实现AGI的思考和解决思路 |
| 大脑相关知识的简单介绍（小白入门） | 比较浅显的介绍 |
| 人的记忆组成图 | 人的记忆图示化 |
大模型基础技术
| 标题 | 简介 |
|---|---|
| 稳定扩散模型The Illustrated Stable Diffusion图示化讲解 | Jay讲解Stable Diffusion |
| Transformer图示化讲解 | Jay讲解 Attention is all you need(Transformer) |
| ChatGPT深度体验记录，期待GPT-4（测试各领域知识，正常聊天，写代码，写诗歌，模拟人格，机器翻译，语法改错等） | 2022.12.1号发布的ChatGPT体验记录 |
| 模型量化技术 | LLM大模型中常见的模型量化技术介绍 |
| 看注解逐行学习ChatGLM2-6B大模型 | 学习大模型源码 |
| 逐行代码学习ChatGLM2-6B大模型SFT微调（通过prompt ptune实现） | 学习大模型微调源码 |
| KBQA知识总结 | 基于知识图谱的问答（KBQA）介绍 |
| 从零开始的知识图谱生活 | GitHub上一个知识图谱项目，适合入门学习知识图谱。是一个入门知识图谱过程中的学习笔记，算是半教程类的，指引初学者对知识图谱的各个任务有一个初步的认识。 |
| 大模型训练为什么用A100不用4090 | 关于大模型训练的事情 |
| 大模型优化之KV Cache | 推理阶段时KVcache的作用 |
| 大模型实战教程 | 大模型实战教程，配套教程和代码 |
| 大模型训练时常见GPU的对比 | 大模型训练时常见GPU的对比 |
| 不得不会的32个Linux命令 | 常见linux命令 |
| 手把手带你实战HuggingFace Transformers | b站传送门，动手学习NLP和LLM非常好的地方 |
| 1B（10亿）的token大概需要多少磁盘空间存储 | 算token数 |
| Slurm集群上单节点8卡全量微调大模型笔记 | Slurm集群上单节点8卡全量微调大模型笔记 |
| 大模型加载的参数介绍及推荐表 | 大模型加载的参数介绍及推荐表，temperature、top_k、top_p、num_beams、num_beam_groups、do_sample等 |
| 大模型：常见的文字表情包(可以直接加到微调数据里) | 大模型：常见的文字表情包(可以直接加到微调数据里) |
| LLM模型评测代码实践 | LLM模型评测代码实践 |
| DeepSpeed使用指南(简略版) | 简单介绍DeepSpeed使用指南(简略版) |
| DeepSpeed使用指南(资深版) | LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】 |
| Huggingface 镜像站 | Huggingface 镜像站 |
| DPO原理 | DPO原理 |
相关文章：
大模型相关资料、基础技术和排行榜
大模型排行榜 测试集CEval中文多个学科测试集排名MMLU大规模多任务语言理解英文排名，介绍斯坦福排行榜Math-VMath-VistaOpen LLMs LeaderboardCMMLU 大模型数据集 标题简介19个大模型常用的评估数据集和训练数据集汇总19个大模型常用的评估数据集和训练数据集汇总最…...
如何安装cnpm
今天尝试用npm install安装一个项目的依赖，但是无论如何都不能完成，等待时间非常久，所以同事推荐了cnpm，确实非常好用，所以推荐了出来，希望能给大家带来帮助。 cnpm 是中国淘宝团队提供的一个 npm 镜像工具…...
正则表达式 匹配特定字符后的所有字符
在处理文本数据时，正则表达式（RegularExpressions，简称Regex）是一种非常强大的工具，它可以用来搜索、匹配和替换文本中符合特定模式的字符串。 首先，明确我们的目标是匹配完整的URL，并获取它之…...
计算机网络 （44）电子邮件
一、概述 电子邮件（Electronic Mail，简称E-mail）是因特网上最早流行的应用之一，并且至今仍然是因特网上最重要、最实用的应用之一。它利用计算机技术和互联网，实现了信息的快速、便捷传递。与传统的邮政系统相比&#…...
数据结构与算法：动态规划dp：理论基础和相关力扣题（509.斐波那契数列、70.爬楼梯）
1.0.理论基础 动态规划主要解决的问题种类有： 背包问题打家劫舍股票问题子序列问题 解决步骤： dp数组及其下标的意义递推公式dp数组初始化遍历顺序打印dp数组 2.0.相关力扣题 509.斐波那契数列 class Solution:def fib(self, n: int) -> int:i…...
某政务行业基于 SeaTunnel 探索数据集成平台的架构实践
分享嘉宾：某政务公司大数据技术经理 孟小鹏 编辑整理：白鲸开源 曾辉 导读：本篇文章将从数据集成的基础概念入手，解析数据割裂给企业带来的挑战，阐述数据集成的重要性，并对常见的集成场景与工具进行阐述&…...
word-break控制的几种容器换行行为详解
word-break 属性在控制换行行为时需要根据语言判断，对于中文 一个字符就是一个单词，字符换行不影响阅读理解，而对于英文来说，多个连续的字符才会是一个单词，例如中文的 早 英文为 morning。 morning7个字符才算一个单词…...
【0x0084】HCI_Set_Min_Encryption_Key_Size命令详解
目录 一、命令概述 二、命令格式及参数 2.1 HCI_Set_Min_Encryption_Key_Size命令格式 2.2. Min_Encryption_Key_Size 三、生成事件及参数 3.1. HCI_Command_Complete 事件 3.2. Status 四、命令的执行流程 4.1. 主机端准备阶段 4.2. 命令发送阶段 4.3. 控制器接收和…...
关于2025年智能化招聘管理系统平台发展趋势
2025年，招聘管理领域正站在变革的十字路口，全新的技术浪潮与不断变化的职场生态相互碰撞，促使招聘管理系统成为重塑企业人才战略的关键力量。智能化招聘管理系统平台在这一背景下迅速崛起，其发展趋势不仅影响企业的招聘效率与质量…...
Docker部署Spring Boot + Vue项目
目录 前提条件 概述 下载代码 打开代码 Docker创建网络 MySQL容器准备 MySQL数据库配置 启动MySQL容器 测试连接MySQL 初始化MySQL数据 Redis容器准备 修改Redis配置 启动redis容器 部署后端 后端代码打包 上传jar包到Linux 创建Dockerfile 构建镜像 运行后…...
开发规范
开发规范 企业项目开发有2种开发模式：前后台混合开发和前后台分离开发。 前后台混合开发 顾名思义就是前台后台代码混在一起开发，如下图所示： 这种开发模式有如下缺点： 沟通成本高：后台人员发现前端有问题…...
九 RK3568 android11 MPU6500
一 MPU6500 内核驱动 1.1 查询设备连接地址 查看原理图， MPU6500 I2C 连接在 I2C4 上， 且中断没有使用 i2c 探测设备地址为 0x68 1.2 驱动源码 drivers/input/sensors/gyro/mpu6500_gyro.c drivers/input/sensors/accel/mpu6500_acc.c 默认 .config 配置编译了 mpu6550 …...
openplant实时数据库(二次开发)
资源地址 我的网盘〉软件>数据库>openplant>openplant实时数据库(二次开发)...
C语言：-三子棋游戏代码：分支-循环-数组-函数集合
思路分析： 1、写菜单 2、菜单之后进入游戏的操作 3、写函数 实现游戏 3.1、初始化棋盘函数，使数组元素都为空格 3.2、打印棋盘 棋盘的大概样子 3.3、玩家出棋 3.3.1、限制玩家要下的坐标位置 3.3.2、判断玩家要下的位置是否由棋子 3.4、电脑出棋 3.4.1、…...
“AI智慧化服务系统：未来生活的智能管家
在当今快速发展的科技时代，人工智能（AI）正以前所未有的速度改变着我们的生活。AI智慧化服务系统作为这一变革的前沿技术，正在逐渐成为我们未来生活的智能管家。它们不仅提高了服务效率，还为我们带来了更加个性化和便捷…...
python管理工具：conda部署+使用
python管理工具：conda部署使用 一、安装部署 1、 下载 - 官网下载： https://repo.anaconda.com/archive/index.html - wget方式： wget -c https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh2、 安装 在conda文件的…...
minio https配置
minio启动时候指定数据目录,配置文件，密钥文件目录，环境文件 1.创建minio用户,专门用于服务启动的 groupadd -r minio-user useradd -M -r -g minio-user minio-user 2.在当前用户目录下创建minio目录，存储minio相关文件 mkdir minio 在mini…...
SpringMVC——原理简介
狂神SSM笔记 DispatcherServlet——SpringMVC 的核心 SpringMVC 围绕DispatcherServlet设计。 DispatcherServlet的作用是将请求分发到不同的处理器（即不同的Servlet）。根据请求的url，分配到对应的Servlet接口。 当发起请求时被前置的控制…...
Ubuntu18.04 解决 libc.so.6: version `GLIBC_2.28‘ not found
Glibc（GNU C Library）是 GNU 系统及其衍生系统如 Linux 操作系统中实现 C 语言标准库的核心组件。升级 Glibc 是一个非常谨慎的操作，因为它与系统的许多关键功能和服务密切相关。Ubuntu 18.04 默认安装的 Glibc 版本为 2.27，但某些…...
Notepad++移除所有空格
1.打开Notepad。 2.打开你想要编辑的文件。 3.按下 Ctrl H 打开查找和替换对话框，并选择 “正则表达式”。 4.在 “查找目标” 框中输入 \s。 5.在 “替换为” 框中留空，不填写任何内容。 6.点击 “全部替换” 按钮。...
Android Wi-Fi 连接失败日志分析
1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分： 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析： CTR…...
超短脉冲激光自聚焦效应
前言与目录 强激光引起自聚焦效应机理 超短脉冲激光在脆性材料内部加工时引起的自聚焦效应，这是一种非线性光学现象，主要涉及光学克尔效应和材料的非线性光学特性。 自聚焦效应可以产生局部的强光场，对材料产生非线性响应，可能…...
FFmpeg 低延迟同屏方案
引言 在实时互动需求激增的当下，无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作，还是游戏直播的画面实时传输，低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架，凭借其灵活的编解码、数据…...
python爬虫：Newspaper3k 的详细使用（好用的新闻网站文章抓取和解析的Python库）
更多内容请见： 爬虫和逆向教程-专栏介绍和目录 文章目录 一、Newspaper3k 概述1.1 Newspaper3k 介绍1.2 主要功能1.3 典型应用场景1.4 安装二、基本用法2.2 提取单篇文章的内容2.2 处理多篇文档三、高级选项3.1 自定义配置3.2 分析文章情感四、实战案例4.1 构建新闻摘要聚合器…...
新能源汽车智慧充电桩管理方案：新能源充电桩散热问题及消防安全监管方案
随着新能源汽车的快速普及，充电桩作为核心配套设施，其安全性与可靠性备受关注。然而，在高温、高负荷运行环境下，充电桩的散热问题与消防安全隐患日益凸显，成为制约行业发展的关键瓶颈。 如何通过智慧化管理手段优化散…...
如何在最短时间内提升打ctf（web)的水平？
刚刚刷完2遍 bugku 的 web 题，前来答题。 每个人对刷题理解是不同，有的人是看了writeup就等于刷了，有的人是收藏了writeup就等于刷了，有的人是跟着writeup做了一遍就等于刷了，还有的人是独立思考做了一遍就等于刷了。…...
Mobile ALOHA全身模仿学习
一、题目 Mobile ALOHA：通过低成本全身远程操作学习双手移动操作 传统模仿学习（Imitation Learning）缺点：聚焦与桌面操作，缺乏通用任务所需的移动性和灵活性 本论文优点：（1）在ALOHA…...
论文笔记——相干体技术在裂缝预测中的应用研究
目录 相关地震知识补充地震数据的认识地震几何属性 相干体算法定义基本原理第一代相干体技术：基于互相关的相干体技术（Correlation）第二代相干体技术：基于相似的相干体技术（Semblance）基于多道相似的相干体…...
STM32HAL库USART源代码解析及应用
STM32HAL库USART源代码解析 前言STM32CubeIDE配置串口USART和UART的选择使用模式参数设置GPIO配置DMA配置中断配置硬件流控制使能生成代码解析和使用方法串口初始化__UART_HandleTypeDef结构体浅析HAL库代码实际使用方法使用轮询方式发送使用轮询方式接收使用中断方式发送使用中…...
Caliper 配置文件解析：fisco-bcos.json
config.yaml 文件 config.yaml 是 Caliper 的主配置文件，通常包含以下内容： test:name: fisco-bcos-test # 测试名称description: Performance test of FISCO-BCOS # 测试描述workers:type: local # 工作进程类型number: 5 # 工作进程数量monitor:type: - docker- pro…...