80万条中文ChatGPT多轮对话数据集
80万条中文ChatGPT多轮对话数据集
- 代码
- 代码地址
- 代码解析
代码
import json
import numpy as np
from tqdm import tqdm
import redef find_chinese_text(text):pattern = re.compile(r'[^\u4e00-\u9fff]')return pattern.sub('', text)with open("E:/data_sets/multiturn_chat_0.8M.json", "r", encoding="utf-8") as f:json_list = f.readlines()data = [json.loads(i) for i in tqdm(json_list)]
data_list = []
basic_list = ["<|User|>", "<|Ash|>"] * 100for one_data in tqdm(data):ins = one_data["instruction"]# inp=one_data["input"]out = one_data["output"]ins = np.hstack([i.split("Human:") for i in ins.split("Assistant:")])[1:-1].tolist()ins_len = len(ins)ins = np.hstack([[i, j] for i, j in zip(basic_list[:ins_len], ins)]).tolist()ins += [basic_list[ins_len], out]data_list.append(ins)
with open("data_set.txt","a",encoding="utf-8") as f:voc_set=set()for one_list in tqdm(data_list):one_data=[]for one in one_list:try:if one in ["<|User|>", "<|Ash|>"]:one_data+=[one]else:if len(find_chinese_text(one))/(len(one)+1)<0.5:one=one.split()else:one=list(one)one_data+=oneexcept:print()voc_set|=set(one_data)f.write(str(one_data)+"\n")
代码地址
数据地址
代码解析
- 导入需要的库:json、numpy、tqdm、re。
- 定义函数
find_chinese_text(),用于寻找文本中的中文字符。 - 使用
with打开文件 “E:/data_sets/multiturn_chat_0.8M.json”,并逐行读取文件,将其转化为列表形式。 - 将读取到的json数据解析出instruction和output,并将instruction中的对话拆分成用户和Ash的对话,并将其存储到ins列表中,输出的对话存储到out列表中。
- 将ins列表中的对话合并成一整段对话,并在其中添加分割符 “<|User|>” 和 “<|Ash|>”。
- 将out列表添加到ins列表中,并将整段对话添加到data_list中。
- 使用
with打开文件 “data_set.txt”,并迭代 data_list 中的每一段对话,将其中的每一个元素添加到 one_data 列表中,如果元素是 “<|User|>” 或者 “<|Ash|>”,则直接添加,否则将元素按空格分开,分开后的每个单词作为列表元素添加到 one_data 列表中。 - 将 one_data 列表转化为字符串,并将其写入到 “data_set.txt” 文件中。
- 使用 set() 函数将所有的词语添加到 voc_set 集合中,得到整个数据集中所有的单词。
相关文章:
80万条中文ChatGPT多轮对话数据集
80万条中文ChatGPT多轮对话数据集 代码代码地址代码解析 代码 import json import numpy as np from tqdm import tqdm import redef find_chinese_text(text):pattern re.compile(r[^\u4e00-\u9fff])return pattern.sub(, text)with open("E:/data_sets/multiturn_chat…...
阿里云ECS服务器如何搭建并连接FTP,完整步骤
怎么用终端连接服务器就不多说了,直接开始搭建FTP。 我是用root账号执行的命令,如果不使用root账号,注意在命令前面加sudo。 一、安装FTP 我这里安装的是vsftpd。 1、检查是否已安装vsftpd: vsftpd -v如果出现了版本信息&…...
uni-app 使用uni.getLocation获取经纬度配合腾讯地图api获取当前地址
前言 最近在开发中需要根据经纬度获取当前位置信息,传递给后端,用来回显显示当前位置 查阅uni-app文档,发现uni.getLocation () 可以获取到经纬度,但是在小程序环境没有地址信息 思考怎么把经纬度换成地址,如果经纬度…...
cocos2dx Animate3D (一)
3D相关的动画都是继承Grid3DAction 本质上是用GirdBase进行创建动画的小块。 Shaky3D 晃动特效 // 持续时间(时间过后不会回到原来的样子) // 整个屏幕被分成几行几列 // 晃动的范围 // z轴是否晃动 static Shaky3D* create(float initWithDuration, const Size& …...
2023年最新PyCharm环境搭建教程(含Python下载安装)
文章目录 写在前面PythonPython简介Python生态圈Python下载安装 PyCharmPyCharm简介PyCharm下载安装PyCharm环境搭建 写在后面 写在前面 最近博主收到了好多小伙伴的吐槽称不会下载安装python,博主听到后非常的扎心,经过博主几天的熬夜加班,…...
3D火山图绘制教程
一边学习,一边总结,一边分享! 本期教程内容 **注:**本教程详细内容 Volcano3D绘制3D火山图 一、前言 火山图是做差异分析中最常用到的图形,在前面的推文中,我们也推出了好几期火山图的绘制教程࿰…...
跳跃游戏[中等]
优质博文:IT-BLOG-CN 一、题目 给你一个非负整数数组nums,你最初位于数组的第一个下标 。数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一个下标,如果可以,返回true;否则,返…...
华为昇腾开发板共享Windows网络上网的方法
作者:朱金灿 来源:clever101的专栏 为什么大多数人学不会人工智能编程?>>> 具体参考文章:linux(内网)通过window 上网。具体是两步:一是在windows上设置internet连接共享。二是打开Atlas 200I D…...
【工具栏】热部署不生效
目录 配置热部署: 解决热部署不生效: 首先检查: 第一步: 第二步: 第三步: 第四步: 配置热部署: https://blog.csdn.net/m0_67930426/article/details/133690559 解决热部署不…...
一键去水印免费网站快速无痕处理图片、视频水印
水印问题往往是一个大麻烦。即使我们只想将这些照片保留在我们的个人相册中以供怀旧,水印也可能像顽固的符号一样刺激我们的眼睛。为了解决这个问题,我们需要不断探索创新的解决方案,让我们深入研究一款强大的一键去水印免费网站“水印云”。…...
分片并不意味着分布式
Sharding(分片)是一种将数据和负载分布到多个独立的数据库实例的技术。这种方法通过将原始数据集分割为分片来利用水平可扩展性,然后将这些分片分布到多个数据库实例中。 1*yg3PV8O2RO4YegyiYeiItA.png 但是,尽管"分布"…...
Python中的函数
一、函数参数与返回值基础知识 1、不要使用可变类型(list等)作为参数默认值,用None来代替。 参数默认值只会在函数定义阶段被创建一次,之后无论创建多少次,函数内拿到的默认值都是同一个对象,为规避这个问…...
推荐一款png图片打包plist工具pngPackerGUI_V2.0
png图片打包plist工具,手把手教你使用pngPackerGUI_V2.0 此软件是在pngpacker_V1.1软件基础之后,开发的界面化操作软件,方便不太懂命令行的小白快捷上手使用。1.下载并解压缩软件,得到如下目录,双击打开 pngPackerGUI.…...
Docker快速安装Mariadb11.1
MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可 MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品。在存储引擎方面,使用XtraDB来代替MySQL的InnoDB。 Mari…...
CuratorFrameworkFactory.builder()方法可配置属性
CuratorFrameworkFactory.builder()方法可以配置以下属性: 1. connectString:ZooKeeper服务器的连接字符串。 2. sessionTimeoutMs:ZooKeeper会话超时时间。 3. connectionTimeoutMs:ZooKeeper连接超时时间。 4. retryPolicy&…...
鸿蒙 ark ui 轮播图实现教程
前言: 各位同学有段时间没有见面 因为一直很忙所以就没有去更新博客。最近有在学习这个鸿蒙的ark ui开发 因为鸿蒙不是发布了一个鸿蒙next的测试版本 明年会启动纯血鸿蒙应用 所以我就想提前给大家写一些博客文章 效果图 具体实现 我们在鸿蒙的ark ui 里面列表使…...
看不惯AI版权作品被白嫖!Stability AI副总裁选择了辞职,曾领导开发Stable Audio
近日,OpenAI的各种大瓜真是让人吃麻了。 而就在Sam Altmam被开除前两天,可能没太多人注意到Stability AI副总裁Newton—Rex因看不惯StabilityAI在版权保护上的行为选择辞职一事。 大模型研究测试传送门 GPT-4传送门(免墙,可直接…...
基于Python+OpenCV+Tensorflow图像迁移的艺术图片生成系统
欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 基于PythonOpenCVTensorfl…...
leetcode 32最长有效括号 34在排序数组中查找元素的第一个和最后一个位置
32. 最长有效括号 给你一个只包含 ( 和 ) 的字符串,找出最长有效(格式正确且连续)括号子串的长度。 示例 1: 输入:s "(()" 输出:2 解释:最长有效括号子串是 "()" 示例 2&a…...
【附代码】判断线段是否相交算法(Python,C++)
【附代码】判断线段是否相交算法(Python,C) 文章目录 【附代码】判断线段是否相交算法(Python,C)相关文献测试电脑配置基础向量旋转向量缩放向量投影推导 点乘定义推导几何意义 叉乘定义推导几何意义 判断线…...
热泵干燥装置电控系统设计(论文+程序)
热泵干燥装置电控系统是提升干燥效率与节能效果的核心环节,其设计需兼顾温度、湿度、风速等多参数的精准调控。传统干燥设备多依赖人工经验调节,存在能耗高、稳定性差等问题,而电控系统的引入通过传感器实时采集数据,结合逻辑控制…...
怎么删除MongoDB中不再使用的账号
db.dropUser()用于删除指定数据库中的用户,需先use目标库,用户名区分大小写,返回true表示成功,false通常因用户不存在或库不匹配。用 db.dropUser() 删除指定账号MongoDB 没有“禁用账号”概念,删就完了。核心操作就是…...
郭明錤爆料:OpenAI 计划 2028 年量产手机,欲重构手机交互逻辑
OpenAI 手机计划浮出水面4 月 28 日,知名行业分析师郭明錤发布产业调查报告,指出 OpenAI 正进军智能手机领域。它已与联发科、高通合作开发专用手机处理器,选定立讯精密作为独家系统联合设计与制造合作伙伴,预计 2028 年进入量产阶…...
如何借助AI进行测试代码code review
成熟测试团队会产出大量自动化代码,因测试人员的经验和习惯原因,代码质量可能参差不齐,通常需要依靠专家code review(CR)来确保产出的测试代码质量,借助大模型进行CR已经成为一种趋势,可以提高CR效率和有效性。 大模型…...
ViGEmBus终极指南:5分钟搞定Windows游戏手柄模拟难题
ViGEmBus终极指南:5分钟搞定Windows游戏手柄模拟难题 【免费下载链接】ViGEmBus Windows kernel-mode driver emulating well-known USB game controllers. 项目地址: https://gitcode.com/gh_mirrors/vi/ViGEmBus 你是否遇到过这样的困扰?手头有…...
VS Code 远程容器开发卡顿崩溃?90%开发者忽略的7个致命配置陷阱(Dev Containers 优化终极指南)
更多请点击: https://intelliparadigm.com 第一章:Dev Containers 卡顿崩溃现象的底层归因分析 Dev Containers 在 VS Code 中运行时出现卡顿或无响应,常被误判为网络或 UI 问题,实则多源于容器运行时资源约束与开发环境配置的深…...
15分钟完成黑苹果配置:OpCore-Simplify智能自动化工具终极指南
15分钟完成黑苹果配置:OpCore-Simplify智能自动化工具终极指南 【免费下载链接】OpCore-Simplify A tool designed to simplify the creation of OpenCore EFI 项目地址: https://gitcode.com/GitHub_Trending/op/OpCore-Simplify 还在为复杂的黑苹果配置而头…...
K8s集群里Nginx和Traefik怎么和平共处?一个真实场景下的双Ingress Controller配置实战
Kubernetes集群中Nginx与Traefik双Ingress Controller共存实践 在Kubernetes生产环境中,我们经常会遇到需要同时运行多个Ingress Controller的场景。比如,一个已经稳定运行Nginx Ingress Controller的集群,现在希望引入Traefik来管理特定Nam…...
告别Cesium地形加载慢!用Docker+CTB快速切片你的DEM数据(保姆级教程)
告别Cesium地形加载慢!用DockerCTB快速切片你的DEM数据(保姆级教程) 当你在Cesium项目中加载高精度地形时,是否遇到过浏览器卡顿、数据加载缓慢的困扰?传统的手工处理流程不仅耗时费力,还难以保证输出质量的…...
ArcGIS新手必看:别再手动量了!用‘计算几何’批量搞定线要素长度(附坐标系避坑指南)
ArcGIS高效计算线要素长度的完整指南:从基础操作到坐标系深度解析 引言:为什么你的线要素长度计算总出错? 刚接触ArcGIS的用户在处理线要素长度时,往往会遇到各种令人困惑的问题——计算结果与实际不符、功能按钮变灰禁用、弹出…...
