当前位置： 首页 > news >正文

书生·浦语大模型实战营-学习笔记1

news 2025/7/7 4:04:05

目录

  • 书生·浦语大模型全链路开源体系
    • 数据集
    • 预训练
    • 微调
    • 评测
    • 部署
    • 多智能体

视频地址：
(1)书生·浦语大模型全链路开源体系

开源工具github：
https://github.com/InternLM/InternLM

书生·浦语大模型全链路开源体系

在这里插入图片描述

这次视频中介绍了由上海人工智能实验室OpenMMLab开发的大模型全链路体系框架，框架涵盖了大模型的生命周期中数据集构建、预训练、微调、部署、评测到应用的所有会用到的功能。

这套全链路开放体系是我见到国内最全面的大模型体系框架，个人认为，这套框架能给国内的大模型科研人员提供实验平台，减少科研人员在部署环境上花费的时间。非常感谢OpenMMLab能提供这次公开课程和开源这套全链路体系框架。

数据集

在这里插入图片描述在这里插入图片描述

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述
这里最亮眼的是进行了极致的显存优化，能在8GB的消费级显卡上微调大模型，紧跟端侧大模型的热点。使资源不足的研究机构也能够进行大模型的实验。
在这里插入图片描述

评测

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

部署

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

多智能体

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相关文章：

书生·浦语大模型实战营-学习笔记1

目录 书生浦语大模型全链路开源体系数据集预训练微调评测部署多智能体 视频地址： (1)书生浦语大模型全链路开源体系 开源工具github： https://github.com/InternLM/InternLM 书生浦语大模型全链路开源体系 这次视频中介绍了由上海人工智能实验室OpenMMLa…...

编程日记 2024/1/12 12:27:18

ELF解析03 - 加载段

本文主要讨论 mmap 函数以及如何使用 mmap 函数来加载一个 ELF 的可加载段。 01纠错 Android 8 及以后是会读取 section header 的，但不是所有的 section 都会读取。 https://cs.android.com/android/platform/superproject/main//main:bionic/linker/linker_phdr…...

编程日记 2024/1/12 12:24:16

Mysql——索引相关的数据结构

索引 引入 我们知道，数据库查询是数据库的最主要功能之一。我们都希望查询数据的速度能尽可能的快，因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序查找（linear search），这种复杂度为…...

编程日记 2024/1/12 12:22:15

无代码DIY图像检索

软件环境准备 可参见《HuggingFists-低代码玩转LLM RAG-准备篇》中的HuggingFists安装及Milvus安装。 流程环境准备 图片准备 进入HuggingFists内置的文件系统，数据源->文件系统->sengee_fs_settings_201创建Image文件夹将事先准备的多张相同或不同种类的图…...

编程日记 2024/1/12 12:21:14

Elasticsearch--Master选举

角色 主节点（active master）：一般指的是活跃的主节点，避免负载任务，主节点主要用来管理集群，专用master节点仍将充当协调节点 候选节点（master-eligible nodes）：默认具备…...

编程日记 2024/1/12 12:19:13

微服务实战系列之Filter

前言 Filter，又名过滤器，当然不是我们日常中见到的，诸如此类构件： 而应该是微服务中常使用的，诸如此类（图片来自官网，点击可查看原图）： 一般用于字符编码转换&#xf…...

编程日记 2024/1/12 12:16:10

使用GPT大模型调用工具链

本文特指openai使用sdk的方式调用工具链。 安装openai pip install openai export OPENAI_API_KEY"YOUR OPENAI KEY" 定义工具函数 from openai import OpenAI import jsonclient OpenAI() #工具函数 def get_current_weather(location, unit"fahrenheit&q…...

编程日记 2024/1/12 12:15:09

C语言实现bmp图像底层数据写入与创建

要用C语言实现bmp图像底层数据写入进而创建一张bmp图像，需要对bmp图像文件格式非常了解，如果不太熟悉bmp图像文件格式请先移步bmp图像文件格式超详解 创建bmp图像文件的方式有很多，比如用halcon，用qt，这些都是把已经画…...

编程日记 2024/1/12 12:14:08

基于BP神经网络的定位算法，基于BP神经网络定位预测

目录 摘要 BP神经网络参数设置及各种函数选择 参数设置 训练函数 传递函数 学习函数 性能函数 显示函数 前向网络创建函数 BP神经网络训练窗口详解 训练窗口例样 训练窗口四部详解 基于BP神经网络的定位算法，基于BP神经网络定位预测 代码下载：基于BP神经网络的定位算法，基于…...

编程日记 2024/1/12 12:13:07

Java Http各个请求类型详细介绍

1. 前言 在Spring Boot框架中，HTTP请求类型是构建Web应用程序的重要组成部分。常见的请求类型包括GET、POST、PUT和DELETE，每种类型都有其特定的用途和特点。本文将详细比较这四种请求类型，帮助您在开发过程中做出明智的选择。 2. GET请求…...

编程日记 2024/1/12 12:12:06

python函数装饰器参数统计调用时间和次数

1 python函数装饰器参数统计调用时间和次数 python在函数装饰器外层定义一个函数生成封闭作用域来保存装饰器入参，供装饰器使用。 1.1 装饰器统计调用时间和次数 描述 通过类的可调用实例装饰器来统计函数每次调用时间和总调用时间，以及调用次数。 …...

编程日记 2024/1/12 12:11:05

机器学习之集成学习AdaBoost

概念 AdaBoost（Adaptive Boosting）是一种迭代的集成学习算法，其主要目标是通过组合多个弱学习器来创建一个强大的模型。以下是AdaBoost算法的主要步骤： 初始化样本权重： 为每个训练样本分配相等的权重，通常设为 w i = 1 N w_i = \frac{1}{N} w...

编程日记 2024/1/12 12:10:04

行云部署成长之路 -- 慢 SQL 优化之旅 | 京东云技术团队

当项目的SQL查询慢得像蜗牛爬行时，用户的耐心也在一点点被消耗，作为研发，我们可不想看到这样的事。这篇文章将结合行云部署项目的实践经验，带你走进SQL优化的奇妙世界，一起探索如何让那些龟速的查询飞起来！…...

编程日记 2024/1/12 12:06:59

Windows权限提升

0x01 简介 提权可分为纵向提权与横向提权： 纵向提权：低权限角色获得高权限角色的权限； 横向提权：获取同级别角色的权限。 Windows常用的提权方法有：系统内核溢出漏洞提权、数据库提权、错误的系统配置提权、组策略首…...

编程日记 2024/1/12 12:02:56

win系统搭建Minecraft世界服务器，MC开服教程，小白开服教程

Windows系统搭建我的世界世界服务器，Minecraft开服教程，小白开服教程，MC 1.19.4版本服务器搭建教程。 此教程使用 Mohist 1.19.4 服务端，此服务端支持Forge模组和Bukkit/Spigot/Paper插件，如果需要开其他服务端也可参…...

编程日记 2024/1/12 12:00:54

word2vec中的CBOW和Skip-gram

word2cev简单介绍 Word2Vec是一种用于学习词嵌入（word embeddings）的技术，旨在将单词映射到具有语义关联的连续向量空间。Word2Vec由Google的研究员Tomas Mikolov等人于2013年提出，它通过无监督学习从大规模文本语料库中学习词汇…...

编程日记 2024/1/12 11:58:53

在ios上z-index不起作用问题的总结

最近在维护一个H5老项目时，遇到一个问题，就是在ios上z-index不起作用，在安卓上样式都是好的。 项目的架构组成是vue2.x vux vuex vue-router等 用的UI组件库是vux 在页面中有一个功能点，就是点选择公司列表的时候，会…...

编程日记 2024/1/12 11:57:52

力扣labuladong一刷day59天动态规划

力扣labuladong一刷day59天动态规划 文章目录 力扣labuladong一刷day59天动态规划一、509. 斐波那契数二、322. 零钱兑换 一、509. 斐波那契数 题目链接：https://leetcode.cn/problems/fibonacci-number/description/ 思路：这是非常典型的一道题&#x…...

编程日记 2024/1/12 11:54:49

pyenv环境找不到sqlite:No module named _sqlite3

前言 一般遇到这个问题都在python版本管理或者虚拟环境切换中遇到，主要有两个办法解决，如下： 解决方法1 如果使用的pyenv管理python环境时遇到没有_sqlite3 库，可以将当前pyenv的python环境卸载 pyenv uninstall xxx然后在系统…...

编程日记 2024/1/12 11:50:46

Histone H3K4me2 Antibody, SNAP-Certified™ for CUTRUN

EpiCypher是一家为表观遗传学和染色质生物学研究提供高质量试剂和工具的专业制造商。EpiCypher推出的CUT&RUN级别的Histone H3K4me2 Antibody符合EpiCypher的批次特异性SNAP-CertifiedTM标准，在CUT&RUN中具有特异性和高效的靶点富集。通过SNAP-CUTANA™K-Me…...

编程日记 2024/1/12 11:48:44

C++实现分布式网络通信框架RPC(3)--rpc调用端

目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中，我们已经大致实现了rpc服务端的各项功能代…...

编程新知 2025/7/6 20:24:35

使用VSCode开发Django指南

使用VSCode开发Django指南 一、概述 Django 是一个高级 Python 框架，专为快速、安全和可扩展的 Web 开发而设计。Django 包含对 URL 路由、页面模板和数据处理的丰富支持。 本文将创建一个简单的 Django 应用，其中包含三个使用通用基本模板的页面。在此…...

编程新知 2025/7/6 11:27:02

golang循环变量捕获问题​​

在 Go 语言中，当在循环中启动协程（goroutine）时，如果在协程闭包中直接引用循环变量，可能会遇到一个常见的陷阱 - ​​循环变量捕获问题​​。让我详细解释一下： 问题背景 看这个代码片段： fo…...

编程新知 2025/7/5 11:03:11

STM32+rt-thread判断是否联网

一、根据NETDEV_FLAG_INTERNET_UP位判断 static bool is_conncected(void) {struct netdev *dev RT_NULL;dev netdev_get_first_by_flags(NETDEV_FLAG_INTERNET_UP);if (dev RT_NULL){printf("wait netdev internet up...");return false;}else{printf("loc…...

编程新知 2025/6/25 2:07:42

Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility

Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility 1. 实验室环境1.1 实验室环境1.2 小测试 2. The Endor System2.1 部署应用2.2 检查现有策略 3. Cilium 策略实体3.1 创建 allow-all 网络策略3.2 在 Hubble CLI 中验证网络策略源3.3 …...

编程新知 2025/7/7 1:44:14

测试markdown--肇兴

day1： 1、去程：7:04 --11:32高铁 高铁右转上售票大厅2楼，穿过候车厅下一楼，上大巴车 ￥10/人 **2、到达：**12点多到达寨子，买门票，美团/抖音：￥78人 3、中饭&a…...

编程新知 2025/7/7 1:17:02

高等数学（下）题型笔记（八）空间解析几何与向量代数

目录 0 前言 1 向量的点乘 1.1 基本公式 1.2 例题 2 向量的叉乘 2.1 基础知识 2.2 例题 3 空间平面方程 3.1 基础知识 3.2 例题 4 空间直线方程 4.1 基础知识 4.2 例题 5 旋转曲面及其方程 5.1 基础知识 5.2 例题 6 空间曲面的法线与切平面 6.1 基础知识 6.2…...

编程新知 2025/7/7 0:36:34

VTK如何让部分单位不可见

最近遇到一个需求&#xff0c;需要让一个vtkDataSet中的部分单元不可见&#xff0c;查阅了一些资料大概有以下几种方式 1.通过颜色映射表来进行&#xff0c;是最正规的做法 vtkNew<vtkLookupTable> lut; //值为0不显示&#xff0c;主要是最后一个参数&#xff0c;透明度…...

编程新知 2025/7/6 3:09:48

leetcodeSQL解题：3564. 季节性销售分析

leetcodeSQL解题&#xff1a;3564. 季节性销售分析 题目&#xff1a; 表&#xff1a;sales ---------------------- | Column Name | Type | ---------------------- | sale_id | int | | product_id | int | | sale_date | date | | quantity | int | | price | decimal | -…...

编程新知 2025/6/20 12:42:23

多模态大语言模型arxiv论文略读（108）

CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文标题&#xff1a;CROME: Cross-Modal Adapters for Efficient Multimodal LLM ➡️ 论文作者&#xff1a;Sayna Ebrahimi, Sercan O. Arik, Tejas Nama, Tomas Pfister ➡️ 研究机构: Google Cloud AI Re…...

编程新知 2025/7/5 8:54:59