80万条中文ChatGPT多轮对话数据集
80万条中文ChatGPT多轮对话数据集
- 代码
- 代码地址
- 代码解析
代码
import json
import numpy as np
from tqdm import tqdm
import redef find_chinese_text(text):pattern = re.compile(r'[^\u4e00-\u9fff]')return pattern.sub('', text)with open("E:/data_sets/multiturn_chat_0.8M.json", "r", encoding="utf-8") as f:json_list = f.readlines()data = [json.loads(i) for i in tqdm(json_list)]
data_list = []
basic_list = ["<|User|>", "<|Ash|>"] * 100for one_data in tqdm(data):ins = one_data["instruction"]# inp=one_data["input"]out = one_data["output"]ins = np.hstack([i.split("Human:") for i in ins.split("Assistant:")])[1:-1].tolist()ins_len = len(ins)ins = np.hstack([[i, j] for i, j in zip(basic_list[:ins_len], ins)]).tolist()ins += [basic_list[ins_len], out]data_list.append(ins)
with open("data_set.txt","a",encoding="utf-8") as f:voc_set=set()for one_list in tqdm(data_list):one_data=[]for one in one_list:try:if one in ["<|User|>", "<|Ash|>"]:one_data+=[one]else:if len(find_chinese_text(one))/(len(one)+1)<0.5:one=one.split()else:one=list(one)one_data+=oneexcept:print()voc_set|=set(one_data)f.write(str(one_data)+"\n")
代码地址
数据地址
代码解析
- 导入需要的库:json、numpy、tqdm、re。
- 定义函数
find_chinese_text(),用于寻找文本中的中文字符。 - 使用
with打开文件 “E:/data_sets/multiturn_chat_0.8M.json”,并逐行读取文件,将其转化为列表形式。 - 将读取到的json数据解析出instruction和output,并将instruction中的对话拆分成用户和Ash的对话,并将其存储到ins列表中,输出的对话存储到out列表中。
- 将ins列表中的对话合并成一整段对话,并在其中添加分割符 “<|User|>” 和 “<|Ash|>”。
- 将out列表添加到ins列表中,并将整段对话添加到data_list中。
- 使用
with打开文件 “data_set.txt”,并迭代 data_list 中的每一段对话,将其中的每一个元素添加到 one_data 列表中,如果元素是 “<|User|>” 或者 “<|Ash|>”,则直接添加,否则将元素按空格分开,分开后的每个单词作为列表元素添加到 one_data 列表中。 - 将 one_data 列表转化为字符串,并将其写入到 “data_set.txt” 文件中。
- 使用 set() 函数将所有的词语添加到 voc_set 集合中,得到整个数据集中所有的单词。
相关文章:
80万条中文ChatGPT多轮对话数据集
80万条中文ChatGPT多轮对话数据集 代码代码地址代码解析 代码 import json import numpy as np from tqdm import tqdm import redef find_chinese_text(text):pattern re.compile(r[^\u4e00-\u9fff])return pattern.sub(, text)with open("E:/data_sets/multiturn_chat…...
阿里云ECS服务器如何搭建并连接FTP,完整步骤
怎么用终端连接服务器就不多说了,直接开始搭建FTP。 我是用root账号执行的命令,如果不使用root账号,注意在命令前面加sudo。 一、安装FTP 我这里安装的是vsftpd。 1、检查是否已安装vsftpd: vsftpd -v如果出现了版本信息&…...
uni-app 使用uni.getLocation获取经纬度配合腾讯地图api获取当前地址
前言 最近在开发中需要根据经纬度获取当前位置信息,传递给后端,用来回显显示当前位置 查阅uni-app文档,发现uni.getLocation () 可以获取到经纬度,但是在小程序环境没有地址信息 思考怎么把经纬度换成地址,如果经纬度…...
cocos2dx Animate3D (一)
3D相关的动画都是继承Grid3DAction 本质上是用GirdBase进行创建动画的小块。 Shaky3D 晃动特效 // 持续时间(时间过后不会回到原来的样子) // 整个屏幕被分成几行几列 // 晃动的范围 // z轴是否晃动 static Shaky3D* create(float initWithDuration, const Size& …...
2023年最新PyCharm环境搭建教程(含Python下载安装)
文章目录 写在前面PythonPython简介Python生态圈Python下载安装 PyCharmPyCharm简介PyCharm下载安装PyCharm环境搭建 写在后面 写在前面 最近博主收到了好多小伙伴的吐槽称不会下载安装python,博主听到后非常的扎心,经过博主几天的熬夜加班,…...
3D火山图绘制教程
一边学习,一边总结,一边分享! 本期教程内容 **注:**本教程详细内容 Volcano3D绘制3D火山图 一、前言 火山图是做差异分析中最常用到的图形,在前面的推文中,我们也推出了好几期火山图的绘制教程࿰…...
跳跃游戏[中等]
优质博文:IT-BLOG-CN 一、题目 给你一个非负整数数组nums,你最初位于数组的第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一个下标,如果可以,返回true;否则,返…...
华为昇腾开发板共享Windows网络上网的方法
作者:朱金灿 来源:clever101的专栏 为什么大多数人学不会人工智能编程?>>> 具体参考文章:linux(内网)通过window 上网。具体是两步:一是在windows上设置internet连接共享。二是打开Atlas 200I D…...
【工具栏】热部署不生效
目录 配置热部署: 解决热部署不生效: 首先检查: 第一步: 第二步: 第三步: 第四步: 配置热部署: https://blog.csdn.net/m0_67930426/article/details/133690559 解决热部署不…...
一键去水印免费网站快速无痕处理图片、视频水印
水印问题往往是一个大麻烦。即使我们只想将这些照片保留在我们的个人相册中以供怀旧,水印也可能像顽固的符号一样刺激我们的眼睛。为了解决这个问题,我们需要不断探索创新的解决方案,让我们深入研究一款强大的一键去水印免费网站“水印云”。…...
分片并不意味着分布式
Sharding(分片)是一种将数据和负载分布到多个独立的数据库实例的技术。这种方法通过将原始数据集分割为分片来利用水平可扩展性,然后将这些分片分布到多个数据库实例中。 1*yg3PV8O2RO4YegyiYeiItA.png 但是,尽管"分布"…...
Python中的函数
一、函数参数与返回值基础知识 1、不要使用可变类型(list等)作为参数默认值,用None来代替。 参数默认值只会在函数定义阶段被创建一次,之后无论创建多少次,函数内拿到的默认值都是同一个对象,为规避这个问…...
推荐一款png图片打包plist工具pngPackerGUI_V2.0
png图片打包plist工具,手把手教你使用pngPackerGUI_V2.0 此软件是在pngpacker_V1.1软件基础之后,开发的界面化操作软件,方便不太懂命令行的小白快捷上手使用。1.下载并解压缩软件,得到如下目录,双击打开 pngPackerGUI.…...
Docker快速安装Mariadb11.1
MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可 MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品。在存储引擎方面,使用XtraDB来代替MySQL的InnoDB。 Mari…...
CuratorFrameworkFactory.builder()方法可配置属性
CuratorFrameworkFactory.builder()方法可以配置以下属性: 1. connectString:ZooKeeper服务器的连接字符串。 2. sessionTimeoutMs:ZooKeeper会话超时时间。 3. connectionTimeoutMs:ZooKeeper连接超时时间。 4. retryPolicy&…...
鸿蒙 ark ui 轮播图实现教程
前言: 各位同学有段时间没有见面 因为一直很忙所以就没有去更新博客。最近有在学习这个鸿蒙的ark ui开发 因为鸿蒙不是发布了一个鸿蒙next的测试版本 明年会启动纯血鸿蒙应用 所以我就想提前给大家写一些博客文章 效果图 具体实现 我们在鸿蒙的ark ui 里面列表使…...
看不惯AI版权作品被白嫖!Stability AI副总裁选择了辞职,曾领导开发Stable Audio
近日,OpenAI的各种大瓜真是让人吃麻了。 而就在Sam Altmam被开除前两天,可能没太多人注意到Stability AI副总裁Newton—Rex因看不惯StabilityAI在版权保护上的行为选择辞职一事。 大模型研究测试传送门 GPT-4传送门(免墙,可直接…...
基于Python+OpenCV+Tensorflow图像迁移的艺术图片生成系统
欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 基于PythonOpenCVTensorfl…...
leetcode 32最长有效括号 34在排序数组中查找元素的第一个和最后一个位置
32. 最长有效括号 给你一个只包含 ( 和 ) 的字符串,找出最长有效(格式正确且连续)括号子串的长度。 示例 1: 输入:s "(()" 输出:2 解释:最长有效括号子串是 "()" 示例 2&a…...
【附代码】判断线段是否相交算法(Python,C++)
【附代码】判断线段是否相交算法(Python,C) 文章目录 【附代码】判断线段是否相交算法(Python,C)相关文献测试电脑配置基础向量旋转向量缩放向量投影推导 点乘定义推导几何意义 叉乘定义推导几何意义 判断线…...
CheatEngine-DMA插件完整教程:硬件级内存访问的终极解决方案
CheatEngine-DMA插件完整教程:硬件级内存访问的终极解决方案 【免费下载链接】CheatEngine-DMA Cheat Engine Plugin for DMA users 项目地址: https://gitcode.com/gh_mirrors/ch/CheatEngine-DMA 在游戏修改和内存分析领域,DMA技术正成为突破传…...
Web相关工具和框架
1、微服务①、定义 微服务:将一个复杂的服务拆分为多个不同功能的小型独立服务,每个微服务专注于单一业务,如用户服务(验证用户信息)、订单服务(处理订单)、支付服务(处理支付&…...
量化系统MMTP简介-R7
量化交易工具 MMTP R7版本,欢迎大家免费试用。 一、系统介绍 1、支持多账户、多市场同时交易。 2、全C开发,支持跨平台。 3、灵活的对接方式,支持自定义协议转换为本系统定义格式(需额外开发) 4、扩展简单,…...
(Linux)进程控制
进程创建 在代码中,进程创建用的是fork函数,调用fork函数后,操作系统会为子进程分配内存块和进程控制块(PCB),并将父进程PCB的部分内容拷贝至子进程。接着,将子进程添加到系统进程列表中&#x…...
无射频芯片实现LoRa通信:LoLRa项目技术解析
1. LoLRa项目概述:无射频芯片的LoRa通信方案在物联网设备开发中,Semtech的LoRa射频芯片一直是实现远距离通信的主流选择。但最近开源的LoLRa项目展示了一种颠覆性思路——仅通过普通MCU的I2S或SPI接口就能生成可被商用LoRa网关识别的信号。这个由CNLohr开…...
React Boilerplate接近检测与交互优化:构建现代化用户体验的终极指南
React Boilerplate接近检测与交互优化:构建现代化用户体验的终极指南 【免费下载链接】react-boilerplate 🔥 A highly scalable, offline-first foundation with the best developer experience and a focus on performance and best practices. 项目…...
Wan2.1-umt5技术解析:深入理解其卷积神经网络优化策略
Wan2.1-umt5技术解析:深入理解其卷积神经网络优化策略 最近在社区里看到不少关于Wan2.1-umt5模型的讨论,大家普遍觉得它在处理文本和跨模态任务时,速度和效果都挺不错。作为一个长期关注模型底层优化的工程师,我很好奇它到底做了…...
LFM2.5-1.2B-Instruct部署教程:基于Unsloth训练框架的轻量指令模型实践
LFM2.5-1.2B-Instruct部署教程:基于Unsloth训练框架的轻量指令模型实践 1. 模型介绍与适用场景 1.1 模型基本信息 LFM2.5-1.2B-Instruct是一个1.2B参数量的轻量级指令微调大语言模型,由Liquid AI基于Unsloth训练框架开发。这个模型专为边缘设备和低资…...
Spring AI Alibaba 1.x 系列【39】多智能体(Multi-agent)架构
文章目录1. 概述2. 两种模式2.1 Tool Calling 工具调用模式2.2 Handoffs 智能体交接模式2.3 如何选择3. Agent 文本指令3.1 description(能力描述)3.2 instruction(行为指令)3.2.1 AgentInstructionMessage3.2.2 Instruction 占位…...
M3U8不只是个播放列表?深入它的‘隐藏玩法’:搭建私人影音库、自动化追剧与跨设备同步
M3U8不只是个播放列表?深入它的‘隐藏玩法’:搭建私人影音库、自动化追剧与跨设备同步 当你第一次接触M3U8文件时,可能只把它当作一个简单的播放列表格式。但在这个流媒体盛行的时代,M3U8实际上可以成为构建个人媒体生态系统的核…...
