Qwen 通义千问 14B 模型，长文本问答效果测试
千问的config：
seq_len=2k
max_position_embedding=8k
注意，以下实验结果的字数是token数，不是中文字符数。
不使用动态ntk
- 12000字输入： 乱码
- 5000字输入：乱码
- 1500字输入：正常
不使用动态ntk，使用线性位置插值 缩放4倍
- 12000字输入： 乱码
- 5000字输入：正常，但废话多，质量低。
- 1500字输入：正常，但答案错误
不使用动态ntk，使用线性位置插值 缩放2倍
- 12000字输入： 乱码
- 5000字输入：乱码
- 1500字输入：正常，但答案数字正确但小数点错误，文本质量低
使用动态ntk
- 12000字输入，答案信息在中间位置： 正常，答案正确
- 12000字输入，答案信息在靠前位置： 正常，答案错误，但有相关信息
使用动态ntk，同时 使用线性位置插值 缩放2倍
- 12000字输入，答案信息在中间位置： 正常，答案错误
- 12000字输入，答案信息在靠前位置： 正常，答案错误，后面开始出现乱码
结论：
- 如果不使用动态ntk，qwen只能适应2k以下文本，否则就输出乱码。
- 如果使用动态ntk，qwen可以适应上万字文本，且无需微调。
- 8k是注意力窗口的长度，文本超过8k将会导致丢失8k距离外的信息。
- 线性插值可以使模型在2k以上文本时，不出现乱码，但是如果不进行微调，回答质量很低。
相关文章：
Qwen 通义千问 14B 模型，长文本问答效果测试
千问的config： seq_len2k max_position_embedding8k 注意，以下实验结果的字数是token数，不是中文字符数。 不使用动态ntk 12000字输入： 乱码5000字输入：乱码1500字输入：正常 不使用动态ntk，…...
Prefix-Tuning源码解析
Prefix-Tuning源码解析 Prefix-Tuning在PEFT包中的源码实现 改写自Based on https://github.com/THUDM/P-tuning-v2/blob/main/model/prefix_encoder.py import torch from transformers import PretrainedConfigclass PrefixEncoder(torch.nn.Module):rThe torch.nn model t…...
Java EE-servlet API 三种主要的类
上述的代码如下： import javax.servlet.ServletException; import javax.servlet.annotation.WebServlet; import javax.servlet.http.HttpServlet; import javax.servlet.http.HttpServletRequest; import javax.servlet.http.HttpServletResponse; import java.i…...
简单谈谈我参加数据分析省赛的感受与体会
数据分析省赛的感受与体会 概要考试前的感受与体会考试注意事项小结 概要 大数据分析省赛指的是在省级范围内举办的大数据分析竞赛活动。该竞赛旨在鼓励和推动大数据分析领域的技术创新和人才培养，促进大数据技术与应用的深度融合，切实解决实际问题。参…...
rust学习——泛型 （Generics）
文章目录 泛型 Generics泛型详解结构体中使用泛型枚举中使用泛型方法中使用泛型为具体的泛型类型实现方法 const 泛型（Rust 1.51 版本引入的重要特性）const 泛型表达式 泛型的性能 泛型 Generics Go 语言在 2022 年，就要正式引入泛型…...
【USRP】通信之有线通信
有线通信： 有线通信是指使用物理线路或媒体（例如，铜线、同轴电缆、光纤）进行数据、声音和视频传输的通信方式。由于它依赖于实体传输媒介，有线通信通常具有较高的稳定性和可靠性，并能支持长距离的高带宽通…...
【算法】BFS
BFS广度优先搜索 1. 概念理解 广度优先搜索(BFS)是指，以一个起点(原点、结点、根)为基本点，向其所要搜索的方向扩散，并最终到达目标点的搜索方法。 2. 应用方向 有迷宫问题、层序遍历等应用。 3. 迷宫问题 以迷宫问题为例。 当想要从左…...
ZYNQ7020开发(二)：zynq linux系统编译
文章目录 一、编译前准备二、SDK编译三、编译步骤总结四、问题汇总 一、编译前准备 1.设置环境变量 source /opt/pkg/petalinux/2020.2/settings.sh/opt/pkg/petalinux/2020.2是上一节petalinux的安装目录 2.创建 petalinux 工程 进入petalinux安装目录(例如：/op…...
Kafka 自动配置部署信息的脚本记录
自动配置 Kafka 整理服务器内容时，发现一个测试 Kafka 的的一个脚本，它可以自动部署 Kafka ，指定三个参数，完成 Kafka 的配置过程。 basePath$1 brokerId$2 zookeeperConnect$3 localIpifconfig |grep inet| awk {print $2}| he…...
数据分析入门
B站：01第一课 数据分析岗位职责和数据分析师_哔哩哔哩_bilibili 一、岗位：数据分析师 Q1 数据分析师在公司做什么工作？ 数据来源于公司核心业务，通过监测业务健康度来确定业务的健康状况； 通过对用户精细化分析&am…...
车载网关通信能力解析——SV900-5G车载网关推荐
随着车联网的发展,各类车载设备对车载网关的需求日益增长。车载网关作为车与车、车与路、车与云之间连接的关键设备,其通信能力直接影响整个系统的性能。本文将详细解析车载网关的通信能力,并推荐性价比高的SV900-5G车载网关。 链接直达：https://www.key-iot.com/i…...
服务器中了mkp勒索病毒怎么处理，mkp勒索病毒解密，数据恢复
10月份以来，云天数据恢复中心陆续接到很多企业的求助，企业的服务器遭到了mkp勒索病毒攻击，导致企业的服务器数据库被加密，严重影响了企业工作，通过这一波mkp勒索病毒的攻击，云天数据恢复工程师为大家总结了…...
义乌再次位列第一档！2022年跨境电商综试区评估结果揭晓！
义乌跨境电商综试区捷报频传，在商务部公布的“2022年跨境电子商务综合试验区评估”结果中，中国（义乌）跨境电子商务综合试验区（以下简称：“跨境综试区”）评估结果为成效明显，综合排名…...
07、Python -- 序列相关函数与封包解包
目录 使用函数字符串也能比较大小序列封包序列解包多变量同时赋值 最大值、最小值、长度 序列解包与封包 使用函数 len()、max()、min() 函数可获取元组、列表的长度、最大值和最小值。 字符串也能比较大小 字符串比较大小时，将会依次按字符串中每个字符对应的编…...
# Spring 事务失效场景
Spring 事务失效场景 文章目录 Spring 事务失效场景前言事务不生效未开启事务事务方法未被Spring管理访问权限问题基于接口的代理源码解读 CGLIB代理 方法用final修饰同一类中的方法调用多线程调用不支持事务 事务不回滚设置错误的事务传播机制捕获了异常手动抛了别的异常自定义…...
华为OD 停车场车辆统计（100分）【java】A卷+B卷
华为OD统一考试A卷+B卷 新题库说明 你收到的链接上面会标注A卷还是B卷。目前大部分收到的都是B卷。 B卷对应20022部分考题以及新出的题目，A卷对应的是新出的题目。 我将持续更新最新题目 获取更多免费题目可前往夸克网盘下载，请点击以下链接进入： 我用夸克网盘分享了「华为O…...
出差学小白知识No6：LD_PRELOAD变量路径不对找不到库文件
交叉编译的时候出现以下问题，显示LD_PRELOAD变量找不到路劲 首先先查看一下LD_PRELOAD的路径：echo $LD_PRELOAD 如果输出一大串，那么先进行清空：unset LD_PRELOAD 重新给LD_PRELOAD进行赋值他的路径和库文件： expor…...
利用dns协议发起ddos反射攻击
利用DNS服务器发起反射型DDOS，攻击带宽 基本思路： 1、利用any类型的dns查询，可完成发送少量请求数据，获得大量返回数据。 2、将原请求地址改为受害者地址，则dns会向受害者返回大量数据，占用带宽 警告&…...
Tcl基础知识
一、概述 Tcl 语言的全称 Tool Command Language，即工具命令语言。这种需要在 EDA 工具中使用的相当之多，或者说几乎每个 EDA 工具都支持 Tcl 语言，并将它作为自己的命令shell。 静态时序分析中多用的 Synopsys Tcl 语言，…...
Go中的编程模式:Pipeline
本文章我们重点来介绍一下 Go 编程中的 Pipeline 模式。用过 Linux 命令行的人都不会陌生，它是一种把各种命令拼接起来完成一个更强功能的技术方法，在C语言中也有pipe管道的叫法，具体的有兴趣的同学也可以去了解。 现在的流式处理、函数式编程、应用网关对微服务进行简单的…...
)
Java 语言特性(面试系列2)
一、SQL 基础 1. 复杂查询 （1）连接查询（JOIN） 内连接（INNER JOIN）：返回两表匹配的记录。 SELECT e.name, d.dept_name FROM employees e INNER JOIN departments d ON e.dept_id d.dept_id; 左…...
stm32G473的flash模式是单bank还是双bank？
今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...
css实现圆环展示百分比，根据值动态展示所占比例
代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...
如何为服务器生成TLS证书
TLS（Transport Layer Security）证书是确保网络通信安全的重要手段，它通过加密技术保护传输的数据不被窃听和篡改。在服务器上配置TLS证书，可以使用户通过HTTPS协议安全地访问您的网站。本文将详细介绍如何在服务器上生成一个TLS证…...
JVM暂停（Stop-The-World，STW）的原因分类及对应排查方案
JVM暂停（Stop-The-World，STW）的完整原因分类及对应排查方案，结合JVM运行机制和常见故障场景整理而成： 一、GC相关暂停 1. 安全点（Safepoint）阻塞 现象：JVM暂停但无GC日志，日志显示No GCs detected。原因：JVM等待所有线程进入安全点（如…...
Spring AI与Spring Modulith核心技术解析
Spring AI核心架构解析 Spring AI（https://spring.io/projects/spring-ai）作为Spring生态中的AI集成框架，其核心设计理念是通过模块化架构降低AI应用的开发复杂度。与Python生态中的LangChain/LlamaIndex等工具类似，但特别为多语…...
蓝桥杯3498 01串的熵
问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798， 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...
OPENCV形态学基础之二腐蚀
一.腐蚀的原理 (图1) 数学表达式：dst(x,y) erode(src(x,y)) min(x,y)src(xx,yy) 腐蚀也是图像形态学的基本功能之一，腐蚀跟膨胀属于反向操作，膨胀是把图像图像变大，而腐蚀就是把图像变小。腐蚀后的图像变小变暗淡。 腐蚀…...
安卓基础（aar）
重新设置java21的环境，临时设置 $env:JAVA_HOME "D:\Android Studio\jbr" 查看当前环境变量 JAVA_HOME 的值 echo $env:JAVA_HOME 构建ARR文件 ./gradlew :private-lib:assembleRelease 目录是这样的： MyApp/ ├── app/ …...
九天毕昇深度学习平台 | 如何安装库？
pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子： 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...