【IntermLM2】学习笔记
微调方式
在大模型的下游应用中，可以有两种微调方式
- 增量续训
即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识
使用的数据有：书籍，文章，代码等 - 有监督微调
为了让模型学会理解指令进行对话，或者注入少量的领域知识
使用的数据为高质量的对话和问答的数据
全量参数微调
部分参数微调 （lora等）
扩展上下文长度
必要性：
1. 检索增强生成（RAG）需要检索的时候返回很长的上下文
2. Agent应用时，用户的历史对话数据很长
LLaMA的transformer的更新
- 将 LayerNorm （Ba et al.， 2016） 替换为 RMSNorm （Zhang & Sennrich， 2019）
- 将激活函数设置为 SwiGLU （Shazeer， 2020）
相关文章：
【IntermLM2】学习笔记
微调方式 在大模型的下游应用中，可以有两种微调方式 增量续训 即无监督的方式，让模型学习一些新知识，比如某些垂直领域的新知识 使用的数据有：书籍，文章，代码等有监督微调 为了让模型学会理解指令进行对话…...
【二叉树】Leetcode 230. 二叉搜索树中第K小的元素【中等】
二叉搜索树中第K小的元素 给定一个二叉搜索树的根节点 root ，和一个整数 k ，请你设计一个算法查找其中第 k 个最小元素（从 1 开始计数）。 示例1： 输入：root [3,1,4,null,2], k 1 输出：1 解…...
JS中常用的几种事件
在js中分为多种事件，比如点击事件，焦点事件，加载事件，鼠标事件等等... ... 点击事件 onclick点击事件，ondblclick双击事件 焦点事件 onblur元素失去焦点，onfocus元素获取焦点 加载事件 onload一个页面…...
Android WebView的使用与后退键处理
目录 前言首先，我们需要在布局文件中添加webView组件在Activity中获取webView实例，并加载网页内容 前言 webView是Android中常用的组件之一，用于展示网页内容。它可以加载HTML文件、URL链接等网页内容，并提供交互功能。在使用webV…...
【备忘录】Docker 2375远程端口安全漏洞解决
最近为了项目需要，把docker 的远程端口2375 给开放了。不出意外出意外了。没多久，网站报流量告警，第一反应就是开放2375这个端口问题导致，毫不迟疑直接切换服务器。关闭该台服务器的docker服务，并逐步清理掉挖矿进程&a…...
343. 整数拆分（力扣LeetCode）
文章目录 343. 整数拆分题目描述动态规划 343. 整数拆分 题目描述 给定一个正整数 n ，将其拆分为 k 个 正整数 的和（ k > 2 ），并使这些整数的乘积最大化。 返回 你可以获得的最大乘积 。 示例 1: 输入: n 2 输出: 1 解释:…...
Spring面试题系列-3
Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。 Spring的属性…...
【比特币】比特币的奥秘、禁令的深层逻辑与风云变幻
导语： 比特币(Bitcoin)，这个充满神秘色彩的数字货币，自诞生以来便成为各界瞩目的焦点。它背后所蕴含的Mining机制、禁令背后的深层逻辑以及市场的风云变幻，都让人欲罢不能。今天，我们将深入挖掘比特币的每一个角落&…...
【情感分析概述】
文章目录 一、情感极性分析概述1. 定义2. 情感极性的类别3. 应用场景 二、情感极性分析的技术方法1. 基于规则的方法a. 关键词打分b. 情感词典的使用 2. 基于机器学习的方法a. 监督学习方法b. 深度学习方法 三、Python进行情感极性分析 一、情感极性分析概述 情感极性分析&…...
【御控物联】JavaScript JSON结构转换（12）：对象To数组——键值互换属性重组
文章目录 一、JSON结构转换是什么？二、核心构件之转换映射三、案例之《JSON对象 To JSON数组》四、代码实现五、在线转换工具六、技术资料 一、JSON结构转换是什么？ JSON结构转换指的是将一个JSON对象或JSON数组按照一定规则进行重组、筛选、映射或转换…...
5.6 物联网RK3399项目开发实录-Android开发之U-Boot 编译及使用（wulianjishu666）
物联网入门到项目实干案例下载： https://pan.baidu.com/s/1fHRxXBqRKTPvXKFOQsP80Q?pwdh5ug --------------------------------------------------------------------------------------------------------------------------------- U-Boot 使用 前言 RK U-B…...
Python版【植物大战僵尸 +源码】
文章目录 写在前面：功能实现环境要求怎么玩个性化定义项目演示：源码分享Map地图:Menubar.py主菜单 主函数：项目开源地址 写在前面： 今天给大家推荐一个Gtihub开源项目：PythonPlantsVsZombies，翻译成中就是…...
【明道云】如何让用户可以新增但不能修改记录
【背景】 遇到一个需求场景，用户希望新增数据后锁住数据不让更改。 【分析】 在设计表单时直接将字段设置只读是不行的。字段设置只读将会直接让界面上此字段的前端组件不可编辑。包括新增时也无法填入。显然是不符合需求的。 需要既能新增，新增后又不…...
GPT-1原理-Improving Language Understanding by Generative Pre-Training
文章目录 前言提出动机模型猜想模型提出模型结构模型参数 模型预训练训练的目标训练方式训练参数预训练数据集预训练疑问点 模型微调模型输入范式模型训练微调建议微调疑问点 实验结果分析GPT-1缺陷 前言 首先想感慨一波 这是当下最流行的大模型的的开篇之作，由Op…...
web3.0入门及学习路径
Web3是指下一代互联网的演进形式，它涉及一系列技术和理念，旨在实现去中心化、开放、透明和用户主导的互联网体验。Web3的目标是赋予用户更多的控制权和数据所有权，并通过区块链、加密货币和分布式技术来实现。 一、特点 去中心化࿱…...
MATLAB 自定义中值滤波（54）
MATLAB 自定义中值滤波（54） 一、算法介绍二、算法实现1.原理2.代码一、算法介绍 中值滤波，是一种常见的点云平滑算法，改善原始点云的数据质量问题，MATLAB自带的工具似乎不太友好，这里提供自定义实现的点云中值滤波算法，具体效果如下所示： 中值滤波前： 中值滤波后：…...
harmonyOS的客户端存贮
什么是客户端存贮 在harmonyOS中,客户端存贮是指将数据存贮在本地设备以供应用程序使用; 注: 和feaureAblity搭配使用,content上下文的获取依赖该API如下: // 引入: import featureAbility from ohos.ability.featureAbility;// 使用: let content featureAbility.getConten…...
安科瑞智慧安全用电综合解决方案
概述 智慧用电管理云平台是智慧城市建设的延伸成果，将电力物联网技术与云平台的大数据分析功能相结合，实现用电信息的可视化管理，可帮助用户实现安全用电，节约用电，可靠用电。平台支持web，app，微…...
Web 前端性能优化之二：图像优化
1、图像优化 HTTP Archive上的数据显示，网站传输的数据中，60%的资源都是由各种图像文件组成的。 **图像资源优化的根本思想，可以归结为两个字：压缩。**无论是选取何种图像的文件格式，还是针对同一种格式压缩至更小的…...
android——枚举enum
在Kotlin中，枚举（Enum）是一种特殊的类，用于表示固定数量的常量。它允许你定义一组命名的常量值，这些值在程序中具有固定的意义。Kotlin的枚举功能强大，支持多种特性，如伴生对象、构造函数、属性…...
MPNet：旋转机械轻量化故障诊断模型详解python代码复现
目录 一、问题背景与挑战 二、MPNet核心架构 2.1 多分支特征融合模块（MBFM） 2.2 残差注意力金字塔模块（RAPM） 2.2.1 空间金字塔注意力（SPA） 2.2.2 金字塔残差块（PRBlock） 2.3 分类器设计 三、关键技术突破 3.1 多尺度特征融合 3.2 轻量化设计策略 3.3 抗噪声…...
k8s从入门到放弃之Ingress七层负载
k8s从入门到放弃之Ingress七层负载 在Kubernetes（简称K8s）中，Ingress是一个API对象，它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress，你可…...
SCAU期末笔记 - 数据分析与数据挖掘题库解析
这门怎么题库答案不全啊日 来简单学一下子来 一、选择题（可多选） 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B.分类和预测 C.数据预处理 D.数据流挖掘 A. 频繁模式挖掘：专注于发现数据中…...
使用分级同态加密防御梯度泄漏
抽象 联邦学习 （FL） 支持跨分布式客户端进行协作模型训练，而无需共享原始数据，这使其成为在互联和自动驾驶汽车 （CAV） 等领域保护隐私的机器学习的一种很有前途的方法。然而，最近的研究表明&…...
大数据零基础学习day1之环境准备和大数据初步理解
学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 （1）设置网关 打开VMware虚拟机，点击编辑…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序
一、开发环境准备 工具安装： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 项目初始化： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...
EtherNet/IP转DeviceNet协议网关详解
一，设备主要功能 疆鸿智能JH-DVN-EIP本产品是自主研发的一款EtherNet/IP从站功能的通讯网关。该产品主要功能是连接DeviceNet总线和EtherNet/IP网络，本网关连接到EtherNet/IP总线中做为从站使用，连接到DeviceNet总线中做为从站使用。 在自动…...
selenium学习实战【Python爬虫】
selenium学习实战【Python爬虫】 文章目录 selenium学习实战【Python爬虫】一、声明二、学习目标三、安装依赖3.1 安装selenium库3.2 安装浏览器驱动3.2.1 查看Edge版本3.2.2 驱动安装 四、代码讲解4.1 配置浏览器4.2 加载更多4.3 寻找内容4.4 完整代码 五、报告文件爬取5.1 提…...
LINUX 69 FTP 客服管理系统 man 5 /etc/vsftpd/vsftpd.conf
FTP 客服管理系统 实现kefu123登录，不允许匿名访问，kefu只能访问/data/kefu目录，不能查看其他目录 创建账号密码 useradd kefu echo 123|passwd -stdin kefu [rootcode caozx26420]# echo 123|passwd --stdin kefu 更改用户 kefu 的密码…...
Unity VR/MR开发-VR开发与传统3D开发的差异
视频讲解链接：【XR马斯维】VR/MR开发与传统3D开发的差异【UnityVR/MR开发教程--入门】_哔哩哔哩_bilibili...