[论文笔记] CT数据配比方法论——1、Motivation
我正在写这方面的论文，感兴趣的可以和我一起讨论！！！！！！
Motivation
1、探测原有模型的配比： 配比 与 ppl, loss, bpw, benchmark等指标 之间的关系。
2、效果稳定的配比：配比 与 模型效果 之间的规律。
Experiments
1、主语言（什么语言作为主语言，几种主语言？双主语言是否可行？）
DATA_CONFIG_PATH=/mnt/data/pretrain/code/Megatron-LM/scripts/train_scripts/data_configs/jinglei/CT_Qwen14B_22lan.txt
我在3期数据基础上调的新配比，13种语言只占0.13。由于重要语种的更改，把图中的de换成ja，占比0.046。
2、主语言占比
单主语言：主语言占比
双主语言：双主语言占比
3、阶梯配比
阶梯配比（9种语言扩到22种语言时，如果保持9种语言的配比，则会效果很差，扩充到22种语言需要用阶梯配比）
-
第0
相关文章：
[论文笔记] CT数据配比方法论——1、Motivation
我正在写这方面的论文，感兴趣的可以和我一起讨论！！！！！！ Motivation 1、探测原有模型的配比： 配比 与 ppl, loss, bpw, benchmark等指标 之间的关系。 2、效果稳定的配比：配比 与 模型效果 之间的规律。 Experiments 1、主语言（什么语言作为主语言，几种主语言？…...
某4G区域终端有时驻留弱信号小区分析
这些区域其实是长时间处于连接态的电信卡4G终端更容易出现。 出现问题时都是band1 100频点下发了针对弱信号的1650频点的连接态A4测量事件配置（其阈值为-106）。而这个条件很容易满足，一旦下发就会切到band3 1650频点。 而1650频点虽然下发ban…...
【体外诊断】ARM/X86+FPGA嵌入式计算机在免疫分析设备中的应用
体外诊断 信迈提供基于Intel平台、AMD平台、NXP平台的核心板、2.5寸主板、Mini-ITX主板、4寸主板、PICO-ITX主板，以及嵌入式准系统等计算机硬件。产品支持GAHDMI等独立双显，提供丰富串口、USB、GPIO、PCIe扩展接口等I/O接口，扩展性强…...
Linux上启动和停止jar
linux 后台运行jar 在Linux系统中，要想让jar包在后台运行，可以使用nohup命令和&符号。nohup命令可以使进程在后台不受挂起信号影响的执行，而&符号则是将任务放入后台执行。 以下是一个简单的命令示例，它将启动一个jar包…...
浏览器缓存：强缓存与协商缓存实现原理有哪些？
1、强缓存：设置缓存时间的，那么在这个时间内浏览器向服务器发送请求更新数据，但是服务器会让其从缓存中获取数据。 可参考：彻底弄懂强缓存与协商缓存 - 简书 2、协商缓存每次都会向浏览器询问，那么是怎么询问的呢&…...
持续集成04--Jenkins结合Gitee创建项目
前言 在持续集成/持续部署（CI/CD）的旅途中，Jenkins与版本控制系统的紧密集成是不可或缺的一环。本篇“持续集成03--Jenkins结合Gitee创建项目”将引导如何将Jenkins与Gitee（一个流行的Git代码托管平台）相结合ÿ…...
【Node.js基础02】fs、path模块
目录 一：fs模块-读写文件 1 加载fs模块对象 2 读制定文件内容文件 3 向文件中写入内容 二：path模块-路径处理 1 问题引入 2 __dirname内置变量 使用方法 一：fs模块-读写文件 fs模块封装了与本机文件系统交互方法和属性 1 加载fs模块…...
牛客TOP101：单链表的排序
文章目录 1. 题目描述2. 解题思路3. 代码实现 1. 题目描述 2. 解题思路 按我们以往的排序算法来看，针对链表来说都是太不合适，因为很多都会出现指针前移后移，后移还好说，前移对于链表来说就太难了，而且大部分都是某一个…...
数据可视化配色新工具，颜色盘多达2500+类
好看的配色，不仅能让图表突出主要信息，更能吸引读者，之前分享过很多配色工具，例如， 👉可视化配色工具：颜色盘多达3000+类，数万种颜色！ 本次再分享一个配色工具pypalettes，颜色盘多达2500+类。 安装pypalettes pip install pypalettes pypalettes使用 第1步，挑选…...
SpringAI简单使用（本地模型+自定义知识库）
Ollama 简介 Ollama是一个开源的大型语言模型服务工具，它允许用户在本地机器上构建和运行语言模型，提供了一个简单易用的API来创建、运行和管理模型，同时还提供了丰富的预构建模型库，这些模型可以轻松地应用在多种应用场景中。O…...
为什么要从C语言开始编程
在开始前刚好我有一些资料，是我根据网友给的问题精心整理了一份「C语言的资料从专业入门到高级教程」， 点个关注在评论区回复“888”之后私信回复“888”，全部无偿共享给大家！！！很多小伙伴在入门编程时。都…...
[数据集][目标检测]导盲犬拐杖检测数据集VOC+YOLO格式4635张2类别
数据集格式：Pascal VOC格式YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)：4635 标注数量(xml文件个数)：4635 标注数量(txt文件个数)：4635 标注…...
数据结构（稀疏数组）
简介 稀疏数组是一种数据结构，用于有效地存储和处理那些大多数元素都是零或者重复值的数组。在稀疏数组中，只有非零或非重复的元素会被存储，从而节省内存空间。 案例引入 假如想把下面这张表存入文件，我们会怎么做？…...
python 爬虫技术 第02节 基础复习
Python基础复习 Python 是一种高级、通用、解释型的编程语言，以其简洁的语法和强大的功能在数据科学、Web 开发、自动化脚本编写、机器学习等领域广泛使用。下面是一些 Python 基础概念的复习： 1. 数据类型 Python 支持多种内置数据类型，包…...
数据结构-C语言-排序（3）
代码位置：test-c-2024: 对C语言习题代码的练习 (gitee.com) 一、前言： 1.1-排序定义： 排序就是将一组杂乱无章的数据按照一定的规律（升序或降序）组织起来。(注：我们这里的排序采用的都为升序) 1.2-排序分…...
【分布式事务】怎么解决分布式场景下数据一致性问题
分布式事务的由来 拿充值订单举个栗子吧，假设：原本订单模块和账户模块是放在一起的，现在需要做服务拆分，拆分成订单服务，账户余额服务。原本收到充值回调后，可以将修改订单状态和扣减余额放在一个mysql事务…...
C# 中的委托
委托的概念 在C#中，委托是一种引用类型，它表示对方法的引用，即委托就是一种用来指向一个方法的引用类型变量。委托的声明类似于方法签名，但是关键字是delegate。下面是一个委托的声明和使用的例子： // 声明一个委托 p…...
通过docker构建基于LNMP的WordPress项目
目录 1.准备nginx 2.准备mysql 3.准备php 4.构建各镜像 5.运行wordpress 1、项目环境： 1.1 （1）公司在实际的生产环境中，需要使用Docker 技术在一台主机上创建LNMP服务并运行Wordpress网站平台。然后对此服务进行相关的性能…...
2024新版IntelliJ IDEA修改包名 全网最简单最粗暴的方法
问题再现 我们在网上淘一些后端框架 又或者是开源的项目 如果要变成自己的 难免会去改包名 即把com.后面的内容改成自己自定义的 第一次我们直接用网络上的方法 shift F6 快捷键 可以修改包名 出现以下情况 进行修改 我们发现失败了 并没有像预计的一样直接把包名修…...
C#中处理Socket粘包
在C#中使用Socket进行网络通信时，粘包问题是常见的。粘包问题通常发生在TCP协议中，因为TCP是流式协议，数据可能会被分割成多个包发送，也可能多个小包会被合并成一个大包接收。 处理粘包问题的常见方法是使用消息分隔符或消息长度…...
UE5 学习系列（三）创建和移动物体
这篇博客是该系列的第三篇，是在之前两篇博客的基础上展开，主要介绍如何在操作界面中创建和拖动物体，这篇博客跟随的视频链接如下： B 站视频：s03-创建和移动物体 如果你不打算开之前的博客并且对UE5 比较熟的话按照以…...
如何为服务器生成TLS证书
TLS（Transport Layer Security）证书是确保网络通信安全的重要手段，它通过加密技术保护传输的数据不被窃听和篡改。在服务器上配置TLS证书，可以使用户通过HTTPS协议安全地访问您的网站。本文将详细介绍如何在服务器上生成一个TLS证…...
C++.OpenGL （10/64）基础光照（Basic Lighting）
基础光照（Basic Lighting） 冯氏光照模型（Phong Lighting Model） #mermaid-svg-GLdskXwWINxNGHso {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-GLdskXwWINxNGHso .error-icon{fill:#552222;}#mermaid-svg-GLd…...
k8s业务程序联调工具-KtConnect
概述 原理 工具作用是建立了一个从本地到集群的单向VPN，根据VPN原理，打通两个内网必然需要借助一个公共中继节点，ktconnect工具巧妙的利用k8s原生的portforward能力，简化了建立连接的过程，apiserver间接起到了中继节…...
技术栈RabbitMq的介绍和使用
目录 1. 什么是消息队列？2. 消息队列的优点3. RabbitMQ 消息队列概述4. RabbitMQ 安装5. Exchange 四种类型5.1 direct 精准匹配5.2 fanout 广播5.3 topic 正则匹配 6. RabbitMQ 队列模式6.1 简单队列模式6.2 工作队列模式6.3 发布/订阅模式6.4 路由模式6.5 主题模式…...
短视频矩阵系统文案创作功能开发实践，定制化开发
在短视频行业迅猛发展的当下，企业和个人创作者为了扩大影响力、提升传播效果，纷纷采用短视频矩阵运营策略，同时管理多个平台、多个账号的内容发布。然而，频繁的文案创作需求让运营者疲于应对，如何高效产出高质量文案成…...
SQL慢可能是触发了ring buffer
简介 最近在进行 postgresql 性能排查的时候，发现 PG 在某一个时间并行执行的 SQL 变得特别慢。最后通过监控监观察到并行发起得时间 buffers_alloc 就急速上升，且低水位伴随在整个慢 SQL，一直是 buferIO 的等待事件，此时也没有其他会话的争抢。SQL 虽然不是高效 SQL ，但…...
Go 并发编程基础：通道（Channel）的使用
在 Go 中，Channel 是 Goroutine 之间通信的核心机制。它提供了一个线程安全的通信方式，用于在多个 Goroutine 之间传递数据，从而实现高效的并发编程。 本章将介绍 Channel 的基本概念、用法、缓冲、关闭机制以及 select 的使用。 一、Channel…...
aardio 自动识别验证码输入
技术尝试 上周在发学习日志时有网友提议“在网页上识别验证码”，于是尝试整合图像识别与网页自动化技术，完成了这套模拟登录流程。核心思路是：截图验证码→OCR识别→自动填充表单→提交并验证结果。 代码在这里 import soImage; import we…...
解决MybatisPlus使用Druid1.2.11连接池查询PG数据库报Merge sql error的一种办法
目录 前言 一、问题重现 1、环境说明 2、重现步骤 3、错误信息 二、关于LATERAL 1、Lateral作用场景 2、在四至场景中使用 三、问题解决之道 1、源码追踪 2、关闭sql合并 3、改写处理SQL 四、总结 前言 在博客：【写在创作纪念日】基于SpringBoot和PostG…...