维基百科数据抽取
1. 数据路径
https://dumps.wikimedia.org/enwiki/latest/ ----英文
https://dumps.wikimedia.org/zhwiki/latest/ ----中文
https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 --下载最新的
https://dumps.wikimedia.org/wikidatawiki/20230201/ 按天存储数据集
2. 基于wikiextractor包解析 bz2文件
linux 环境下数据解析成功。windows环境尝试报错，未成功。
2.1 安装wikiextractor
-
下载git安装包:
git: https://github.com/attardi/wikiextractor -
解压后进入 setpu目录
python setup.py install
-
数据解析
之前下载bz2 文件如在wikiextractor
python WikiExtractor.py -b 1024M -o zh_test enwiki-latest-pages-articles.xml.bz2
-b： 文件大小分割
-o： 存储的路径
相关文章：
维基百科数据抽取
1. 数据路径 https://dumps.wikimedia.org/enwiki/latest/ ----英文 https://dumps.wikimedia.org/zhwiki/latest/ ----中文 https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 --下载最新的 https://dumps.wikimedia.org/wikidatawiki/2023…...
2020年因果推断综述《A Survey on Causal Inference》
最近阅读了TKDD2020年的《A Survey on Causal Inference》，传送门，自己对文章按照顺序做了整理，同时对优秀的内容进行融合，如有不当之处，请多多指教。 文章对因果推理方法进行了全面的回顾，根据传统因果框…...
嵌入式linux系统测试程序编写
文章目录 网络CPU load监测性能设定开源测试工具iozone —— 文件系统测试工具iperf —— 网络性能测试工具LMbench —— 系统性能评测LTP —— linux功能/性能压力测试memtester —— 内存测试，坏位检测stressapptest —— 内存流量压力测试stream —— 内存性能测试fio ——…...
力扣SQL刷题5
目录597. 好友申请 I：总体通过率602. 好友申请 II ：谁有最多的好友603. 连续空余座位1045. 买下所有产品的客户597. 好友申请 I：总体通过率 官方讲的题目太繁琐了，大概就是（表2中列1列2不全相同的行数）/&a…...
动态规划详解（完结篇）——如何抽象出动态规划算法？以及解题思路
今天直接开始讲解FIRST：如何抽象出动态规划算法？这个问题，困扰了无数代OIER，包括本蒟蒻在比赛的时候，看一道题，怎么想到他是什么算法的呢？这就需要抽象能力而不同的算法，往往有着不同…...
C语言一维数组篇【下】——每日刷题经验分享
一维数组篇——每日刷题经验分享~😎前言🙌有序序列插入一个整数 😊序列中删除指定数字 😊序列中整数去重小乐乐查找数字筛选法求素数总结撒花💞😎博客昵称：博客小梦~ 😊最喜欢的座右…...
VHDL语言基础-组合逻辑电路-其它组合逻辑模块
目录 多路选择器： 逻辑功能： 常用的类型： 4选1多路选择器的实现： 求补器： 求补器的实现： 三态门： 三态门的应用实例： 三态门的实现： 缓冲器： 什么是…...
初识Vue
文章目录1. 前言2. Vue 的特点3. 安装 Vue4. HelloWord1. 前言 vue是什么 ？ 引用 ： vue.js 文档 Vue (读音 /vjuː/，类似于 view) 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是，Vue 被设计为可以自底向上逐层…...
TOUGH系列软件建模实践方法及在地下水、CO2地质封存、水文地球化学、地热等多相多组分系统多过程耦合
查看原文>>> https://mp.weixin.qq.com/s?__bizMzAxNzcxMzc5MQ&mid2247578057&idx7&sn75f8d2c1c6edb28af76a8db4bb773de3&chksm9be2aed9ac9527cf0081082cdcf781e6c37f9f3ba383332ed1116abcbee0f05c0593187e964d&token2070450548&langzh_CN#r…...
Codeforces Round #699 (Div. 2)
E. 题意:n本书,每本书有颜色a[i],一次操作可以将其中一本书放在末尾,求满足:相同颜色的书都是相邻的 的最小操作次数. 显然最多只需要n次,考虑能节省多少次.倒着考虑,记f[i]为i~n最多能节约的次数.先预处理出每种颜色的出现的位置范围l[i],r[i]. 1.不节约这本书f[i] f[i 1]…...
MySQL存储过程的传参和流程控制
目录 一.存储过程传参—in 演示 二.存储过程传参—out 演示 三.存储过程传参—inout 演示 四.流程控制—判断 格式 演示 五.流程控制—case 语法 演示 六.流程控制—循环 循环—while 循环—repeat 循环—loop 一.存储过程传参—in in表示传入的参数，可以传…...
MySQl学习（从入门到精通11）
MySQl学习（从入门到精通11）第 14 章_视图1. 常见的数据库对象2. 视图概述2. 1 为什么使用视图？2. 2 视图的理解3. 创建视图3. 1 创建单表视图3. 2 创建多表联合视图3. 3 基于视图创建视图4. 查看视图5. 更新视图的数据5. 1 一般情况5. 2 不可…...
关于ThreadLocal
弱引用 1.1 java中的各种引用和测试: https://blog.csdn.net/thewindkee/article/details/102723838 1.2 treadlocal中的弱引用测试: https://blog.csdn.net/thewindkee/article/details/103726942 (这篇很重要) 内存泄露: https://zhuanlan.zhihu.com/p/523628871 综合考虑 …...
【C++】类和对象(中)
文章目录1. 类的6个默认成员函数2. 构造函数概念特性3. 析构函数概念特性4. 拷贝构造函数概念特征5. 运算符重载5.1 前置和后置重载5.2 赋值运算符重载6. 日期类的实现7. const成员8. 取地址及const取地址操作符重载1. 类的6个默认成员函数 如果一个类中什么成员都没有&#x…...
js下载文件
url为文件的src地址 url必须符合同源策略或者url的接口地址允许跨域，否则浏览器会报跨域错误 axios.get(data.url ,{ responseType: ‘blob’, }) .then( response>{ let blob new Blob([response.data]); let url window.URL.createObjectURL(blob); // 创建 …...
ESP8266 + STC15+ I2C OLED带网络校时功能的定时器时钟
ESP8266 + STC15+ I2C OLED带网络校时功能的定时器时钟 📍相关篇《ESP8266 + STC15基于AT指令通过TCP通讯协议获取时间》 📌ESP8266 AT固件基于安信可AT固件，相关刷AT固件可以参考《NodeMCU-刷写AT固件》 🔖STC15 单片机采用的是：STC15F2K60S2 晶振频率采用内部：22.11…...
计算机入门基础知识大全
♥️作者：小刘在C站 ♥️个人主页：小刘主页 ♥️每天分享云计算网络运维课堂笔记，努力不一定有收获，但一定会有收获加油！一起努力，共赴美好人生！ ♥️夕阳下，是最美的，绽…...
Python程序出现错误怎么办？
Python 异常处理 python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。 异常处理: 本站Python教程会具体介绍。 断言(Assertions):本站Python教程会具体介绍。 python标准异常 异常名称 描述 BaseException 所有异常…...
【Vue3】v-if和v-for优先级
🎈博客主页：🌈我的主页🌈 🎈欢迎点赞 👍 收藏 🌟留言 📝 欢迎讨论！👏 🎈本文由 【泠青沼~】 原创，首发于 CSDN🚩…...
Windows上实现 IOS 自动化测试
本文介绍如何使用tideviceWDAairtest/facebook-wda实现在Windows上进行IOS APP自动化测试 环境准备 Windows Python环境 Python 3.6 WebDriverAgent安装 下载最新的项目到Mac：https://github.com/appium/WebDriverAgent $ git clone https://github.com/appiu…...
Qwen3字幕系统Linux部署指南：从安装到性能调优
Qwen3字幕系统Linux部署指南：从安装到性能调优 为视频内容自动生成精准字幕的时代已经到来 还记得手动为视频添加字幕的痛苦经历吗？一遍遍听写、校对、调整时间轴，几分钟的视频往往需要花费数小时。现在，基于Qwen3的智能字幕系统可…...
音乐解密技术探秘：从加密困境到跨平台解决方案
音乐解密技术探秘：从加密困境到跨平台解决方案 【免费下载链接】unlock-music 在浏览器中解锁加密的音乐文件。原仓库： 1. https://github.com/unlock-music/unlock-music ；2. https://git.unlock-music.dev/um/web 项目地址: https://gitc…...
开源工具gInk：高效标注从入门到精通
开源工具gInk：高效标注从入门到精通 【免费下载链接】gInk An easy to use on-screen annotation software inspired by Epic Pen. 项目地址: https://gitcode.com/gh_mirrors/gi/gInk 在数字化协作与远程沟通日益频繁的今天，屏幕标注工具已成为提…...
OpenClaw安全配置要点：Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF本地运行权限管理
OpenClaw安全配置要点：Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF本地运行权限管理 1. 为什么需要特别关注OpenClaw的安全配置？ 第一次在本地部署OpenClaw时，我犯了一个新手常见的错误——直接使用默认配置启动服务。结果第二天…...
想给西安碑林、雁塔等区旧房装修？知名靠谱装修公司在哪找？
在西安碑林、雁塔等区拥有一套旧房，想要进行装修，却不知道如何找到知名靠谱的装修公司？别担心，本文将为你详细介绍选择装修公司的方法，并重点推荐西安王师傅装修工程有限公司，为你的旧房装修之旅提供可靠的…...
如何通过Universal Android Debloater实现Android设备深度优化
如何通过Universal Android Debloater实现Android设备深度优化 【免费下载链接】universal-android-debloater Cross-platform GUI written in Rust using ADB to debloat non-rooted android devices. Improve your privacy, the security and battery life of your device. …...
手把手教你用ThinkPHP6和Uniapp从零搭建一个物业设备巡检小程序（附完整源码）
从零构建物业设备巡检系统：ThinkPHP6与Uniapp全栈实战指南 物业设备巡检是保障设施安全运行的关键环节，传统纸质记录方式效率低下且难以追溯。本教程将带您从零开始，基于ThinkPHP6后端框架与Uniapp跨端方案，构建一个功能完整的移动…...
Pygame与MoviePy结合实战：打造动态视频游戏界面
1. 为什么需要Pygame与MoviePy结合？ 很多游戏开发者在使用Pygame时都会遇到一个头疼的问题：视频播放功能。Pygame 2.0.0版本之后，官方移除了对视频模块的支持，这让很多想要在游戏中加入开场动画、过场CG或者动态背景的开发者感到束…...
别再手动算内存了！用STM32CubeIDE的Build Analyzer，5分钟摸清你的H743芯片还剩多少FLASH和RAM
深度解析STM32CubeIDE内存分析：从Build Analyzer到高效内存管理实战 在嵌入式开发的世界里，内存就像是一块珍贵的画布——有限且昂贵。想象一下，当你精心设计的STM32H743程序在关键时刻崩溃，而问题可能仅仅是因为某个全局变量悄悄…...
const 变量的存储位置
const 变量的存储位置：不是绝对的只读区！这是 C/C 面试/学习高频易错点，核心结论：const 只修饰「只读权限」，不直接决定存储位置，变量放哪里，由变量的「作用域/生命周期」决定。一、分情况讲清楚…...