当前位置： 首页 > news >正文

盘点算法比赛中常见的AutoEDA工具库

news 2026/4/1 8:18:12

在完成竞赛和数据挖掘的过程中，数据分析一直是非常耗时的一个环节，但也是必要的一个环节。

图片

能否使用一个工具代替人来完成数据分析的过程呢，现有的AutoEDA工具可以一定程度上完成上述过程。本文将盘点常见的AutoEDA工具，欢迎收藏转发。

技术交流

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

本文文章由粉丝的讨论与分享、推荐，资料干货、资料分享、数据、技术交流提升，均可加交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、添加微信号：dkl88194，备注：来自CSDN + 加群
方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群

Pandas Profiling

https://pandas-profiling.github.io/pandas-profiling/docs/master/index.html

Pandas Profiling是款比较成熟的工具，可以直接传入DataFrame即可完成分析过程，将结果展示为HTML格式，同时分析功能也比较强大。

  • 功能：字段类型分析、变量分布分析、相关性分析、缺失值分析、重复行分析

  • 耗时：较少

图片

AutoViz

https://github.com/AutoViML/AutoViz

AutoViz是款美观的数据分析工具，在进行可视化的同时将结果保存为图片格式。

  • 功能：相关性分析、数值变量箱线图、数值变量分布图

  • 耗时：较多

图片

Dataprep

https://dataprep.ai/

Dataprep是款比较灵活也比较强大的工具，也是笔者最喜欢的。它可以指定列进行分析，同时也可以在Notebook中进行交互式分析。

  • 功能：字段类型分析、变量分布分析、相关性分析、缺失值分析、交互式分析。

  • 耗时：较多

图片

SweetViz

https://github.com/fbdesignpro/sweetviz

SweetViz是款强大的数据分析工具，可以很好的分析训练集和测试集，以及目标标签与特征之间的关系。

  • 功能：数据集对比分析、字段类型分析、变量分布分析、目标变量分析

  • 耗时：中等

图片

D-Tale

https://github.com/man-group/dtale

D-Tale是款功能最为强大的数据分析工具，对单变量的分析过程支持比较好。

  • 功能：字段类型分析、变量分布分析、相关性分析、缺失值分析、交互式分析。

  • 耗时：中等

图片

相关文章：

盘点算法比赛中常见的AutoEDA工具库

在完成竞赛和数据挖掘的过程中，数据分析一直是非常耗时的一个环节，但也是必要的一个环节。 能否使用一个工具代替人来完成数据分析的过程呢，现有的AutoEDA工具可以一定程度上完成上述过程。本文将盘点常见的AutoEDA工具，欢迎收藏转…...

编程日记 2023/10/26 9:32:38

ICLR 2023丨3DSQA：3D 场景中的情景问答

来源：投稿 作者：橡皮 编辑：学姐 论文链接：https://arxiv.org/pdf/2210.07474.pdf 主页链接：http://sqa3d.github.io 图 1：3D 场景中情景问答 (SQA3D) 的任务图示。给定场景上下文 S（例如&#…...

编程日记 2023/10/26 9:31:37

ChatGPT的前世今生：从概念到现实的AI之旅

ChatGPT的前世今生：从概念到现实的AI之旅 随着技术的飞速发展，人工智能已经从科幻小说中的概念转变为我们日常生活中不可或缺的一部分。其中，ChatGPT无疑是这个领域的佼佼者。那么，让我们一起探索ChatGPT的发展历程，从…...

编程日记 2023/10/26 9:30:36

MINA架构DEMO

参考&#xff1a;Java中的MINA框架_java mina_小陈拾光的博客-CSDN博客 MINA&#xff1a;一个简洁易用的基于TCP/IP通信的JAVA框架。 <dependency><groupId>org.apache.mina</groupId><artifactId>mina-core</artifactId><version>2.1.5&…...

编程日记 2023/10/26 9:29:35

Linux基础：2：shell外壳+文件权限

shell外壳文件权限 一.shell原理&#xff1a;1.对比&#xff1a;windo GUI 和 shell1.windo GUI2. shell 2.为什么&#xff1f;是什么&#xff1f;怎么办&#xff1f;1.为什么有shell2.是什么&#xff1f;3.怎么办&#xff1f;4.补充&#xff1a; 二.linux权限管理&#xff1a;…...

编程日记 2023/10/26 9:28:34

webpack 解决：TypeError: merge is not a function 的问题

1、问题描述&#xff1a; 其一、存在的问题为&#xff1a; TypeError: merge is not a function 中文为&#xff1a; 类型错误&#xff1a;merge 不是函数 其二、问题描述为&#xff1a; 想执行 npm run dev 命令&#xff0c;运行起项目时&#xff0c;控制台报错 TypeErro…...

编程日记 2023/10/26 9:27:33

datahub 中血缘图的实现分析，在react中使用airbnb的visx可视化库来画有向无环图

背景 做大数据的项目&#xff0c;必不可少的是要接触到数据血缘图&#xff0c;它在大数据项目中有着很重要的作用。 之前在公司也做过一些案例&#xff0c;也看过很多友商的产品&#xff0c;阿里的DataWork&#xff0c;领英的Datahub&#xff0c; datawork的血缘图使用的是 G6…...

编程日记 2023/10/26 9:26:32

二、判断语句

文章目录 1.if语句1&#xff09;if判断语句基本格式2&#xff09; 网吧上网3&#xff09;if语句使用逻辑运算 2.if-else语句1&#xff09;if-else的使用格式2&#xff09;网吧上网 3.多重判断elif语句1&#xff09; 多重判断elif2&#xff09;例子3&#xff09;注意点 4.if嵌套…...

编程日记 2023/10/26 9:25:31

龙智汽车行业客户案例：Jira数据中心版助客户解锁高效项目管理

龙智技术支持部负责人、Atlassian认证专家叶燕秀分享了她帮助某汽车企业落地Jira的故事&#xff0c;并详解了该公司选择Jira数据中心版的理由以及工具链的集成情况&#xff0c;为有同样需求的公司提供实践参考。 本文由叶燕秀口述内容整理而成 需求管理&#xff1a;从Excel表格…...

编程日记 2023/10/26 9:24:30

03 vi编辑器

vi编辑器的三种模式: 不同的模式下机键动作解释的意义是不一样的 编辑模式 插入模式 末行模式 文件的打开和关闭保存 移动光标...

编程日记 2023/10/26 9:23:28

Web界面自动化操作工具 - Selenium常见用法

Selenium是一个用于自动化浏览器操作的工具&#xff0c;常用于Web应用程序的测试和爬虫开发。 下面是一些Python Selenium的常见用法和代码示例&#xff1a; 1. 导入Selenium库和WebDriver&#xff1a; from selenium import webdriver2. 创建WebDriver实例&#xff1a; # …...

编程日记 2023/10/26 9:22:27

Openssl数据安全传输平台009：加密理论基础：哈希/非对称加密RSA/对称加密AES

文章目录 0. 代码仓库代码编译时候可能出现的错误 1. 哈希1.1 哈希算法的种类:1.2 使用的头文件1.3 哈希算法API1.3.1 详解md5 API1.3.2 sha1/sha224/sha256/sha384/sha512常用API 1.5 sha1代码测试1.4 在VS中添加预处理器定义1.5 哈希算法C代码封装的思路 2. 非对称加密RSA2.1…...

编程日记 2023/10/26 9:21:26

iPhone开发--Xcode15下载iOS 17.0.1 Simulator Runtime失败解决方案

爆句粗口&#xff0c;升级后公司网络下载iOS 17.0.1 Simulator Runtime一直出错&#xff0c;每次出错后都得重新开始下载&#xff0c;oh&#xff0c;f**k。上一次在在家里的网络升级成功。 解决办法一&#xff1a; 进入网址&#xff1a;https://developer.apple.com/download…...

编程日记 2023/10/26 9:20:25

Galaxy生信云平台|Maftools高效地汇总、分析、注释和可视化肿瘤基因突变MAF文件...

2023-10-25&#xff0c;Galaxy中国镜像站 UseGalaxy.cn 平台新增 5 个工具。 MAF Tools Maftools-突变景观图: 绘制肿瘤基因突变景观图Maftools-突变汇总: 汇总MAF文件中的突变信息Maftools-共突变与互斥突变: 计算共突变和互斥突变Maftools-队列比较&#xff1a;比较两个队列之…...

编程日记 2023/10/26 9:19:24

JS三种常见的存储机制

1.localStorage localStorage是HTML5引入的一种持久化存储机制&#xff0c;用于在浏览器中长期保存数据。localStorage中存储的数据没有过期时间&#xff0c;除非被显式清除或代码删除。存储在localStorage中的数据对于同一个域名下的所有页面都是共享的。localStorage可以存储…...

编程日记 2023/10/26 9:18:22

【Python机器学习】零基础掌握BaggingClassifier集成学习

何提高分类模型的稳定性和准确性？ 在金融风控、医疗诊断或者社交媒体推荐等场景中，分类问题是常见的难题。但是，单一的分类模型（如SVM）在处理复杂或不均衡的数据集时可能会表现不佳。那么，有没有一种方法能够提高模型的稳定性和准确性呢？ 假设一家银行想要通过机器学习…...

编程日记 2023/10/26 9:17:22

[晕事]今天做了件晕事26；gcc对strcmp/strncmp的优化

今天做了一件晕事，写了一个测试小程序，开头的程序例如下面片段。在后续又写了一些代码，进行编译，使用gdb查看可执行文件，怎么都得不到想要的结果，非常的纳闷，非常的奇怪。 int main() {char a[3]="ab";int b = strncmp(0, a, 1<...

编程日记 2023/10/26 9:16:21

【深度学习】使用Pytorch实现的用于时间序列预测的各种深度学习模型类

深度学习模型类 简介按滑动时间窗口切割数据集模型类CNNGRULSTMMLPRNNTCNTransformer 简介 本文所定义模型类的输入数据的形状shape统一为 [batch_size, time_step&#xff0c;n_features]&#xff0c;batch_size为批次大小&#xff0c;time_step为时间步长&#xff0c;n_feat…...

编程日记 2023/10/26 9:15:20

ts | js | 爬虫小公举分享

Curl转Code 快速将curl转为各种语言的代码; 便于提取请求头之类, 或者微改直接使用 https://curlconverter.com/node-axios/ (有点慢, 但是很全)https://www.lddgo.net/convert/curl-to-code (没有axios, 我喜欢用axios) 使用… 抓取地址, 使用浏览器或者其他抓包工具都可, 这…...

编程日记 2023/10/26 9:14:17

实现el-table打印功能,样式对齐，去除滚动条

实现el-table打印功能,样式对齐&#xff0c;去除滚动条 // 整个页面打印 function printTable(id) {// let domId #js_index// if (id) {// domId #${ id };// }// let wpt document.querySelector(domId);// let newContent wpt.innerHTML;// let oldContent document.…...

编程日记 2023/10/26 9:13:16

OFA-VE环境部署：Python 3.11+PyTorch+CUDA一站式配置手册

OFA-VE环境部署&#xff1a;Python 3.11PyTorchCUDA一站式配置手册 1. 引言&#xff1a;认识OFA-VE视觉推理系统 OFA-VE是一个基于阿里巴巴达摩院OFA大模型构建的多模态推理平台&#xff0c;专门用于分析图像内容与文本描述之间的逻辑关系。这个系统采用了现代化的赛博朋克视…...

编程新知 2026/4/1 7:45:33

显卡驱动彻底清理指南：用DDU解决90%的显示问题

显卡驱动彻底清理指南&#xff1a;用DDU解决90%的显示问题 【免费下载链接】display-drivers-uninstaller Display Driver Uninstaller (DDU) a driver removal utility / cleaner utility 项目地址: https://gitcode.com/gh_mirrors/di/display-drivers-uninstaller 当…...

编程新知 2026/4/1 7:39:28

技术Lead：不亲手解决问题，你的位置还稳吗？

做到技术Lead这个位置&#xff0c;很多人开始纠结一件事——到底该不该自己动手&#xff1f;技术Lead的尴尬&#xff0c;其实很具体比如前端设计阶段&#xff0c;团队在讨论一个时序收敛问题&#xff0c;工程师说某条路径的slack是-0.3ns&#xff0c;建议加pipeline。这时候Lea…...

编程新知 2026/4/1 7:08:45

tao-8k部署避坑指南：Xinference日志排查、WebUI访问与调用验证

tao-8k部署避坑指南&#xff1a;Xinference日志排查、WebUI访问与调用验证 1. 环境准备与快速部署 在开始部署tao-8k模型之前&#xff0c;我们先来了解一下这个模型的基本情况。tao-8k是由Hugging Face开发者amu研发并开源的专业文本嵌入模型&#xff0c;它能够将文本转换为高…...

编程新知 2026/4/1 7:00:22

AutoHotkey脚本编译指南：3步将.ahk文件转为独立可执行程序

AutoHotkey脚本编译指南&#xff1a;3步将.ahk文件转为独立可执行程序 【免费下载链接】Ahk2Exe Official AutoHotkey script compiler - written itself in AutoHotkey 项目地址: https://gitcode.com/gh_mirrors/ah/Ahk2Exe 你是否曾想过将精心编写的AutoHotkey自动化…...

编程新知 2026/4/1 6:39:58

GLM-4.1V-9B-Base开发入门：PyCharm专业版连接远程解释器进行模型调试

GLM-4.1V-9B-Base开发入门&#xff1a;PyCharm专业版连接远程解释器进行模型调试 1. 为什么需要远程调试 在AI模型开发过程中&#xff0c;我们经常遇到一个典型问题&#xff1a;本地机器性能不足&#xff0c;无法高效运行大型语言模型。GLM-4.1V-9B-Base这类模型通常需要GPU加…...

编程新知 2026/4/1 6:35:56

OpenCASCADE实战：如何正确获取3D模型面的法向（附完整代码示例）

OpenCASCADE实战&#xff1a;3D模型面法向的高效获取与方向校正 在三维建模与几何处理领域&#xff0c;准确获取模型表面的法向向量是许多高级操作的基础。无论是进行碰撞检测、光照计算还是有限元分析&#xff0c;法向数据的准确性直接影响最终结果的可靠性。OpenCASCADE作为一…...

编程新知 2026/4/1 5:33:01

[Python3高阶编程] - 异步编程深度学习指南二: 同步原语

概述在 Python 异步编程中&#xff0c;虽然协程&#xff08;coroutine&#xff09;天然避免了线程切换开销&#xff0c;但多个协程仍可能同时访问共享资源&#xff08;如全局变量、文件、数据库连接&#xff09;&#xff0c;从而引发竞态条件&#xff08;Race Condition&#x…...

编程新知 2026/4/1 4:34:09

别再只数步数了！深入聊聊ADXL345计步算法里的‘动态阈值’与‘最活跃轴’

别再只数步数了&#xff01;深入聊聊ADXL345计步算法里的‘动态阈值’与‘最活跃轴’ 当你盯着智能手环上的步数统计时&#xff0c;有没有想过这串数字背后藏着怎样的算法智慧&#xff1f;ADXL345作为一款经典的三轴加速度传感器&#xff0c;其计步算法远非简单的阈值比较那么简…...

编程新知 2026/4/1 4:28:06

AI赋能：让快马平台解析21届智能车赛规则并生成智能算法代码

最近在准备21届智能车比赛时&#xff0c;发现今年的赛道规则特别复杂&#xff0c;各种新加入的元素和评分标准让人有点头大。正好尝试用InsCode(快马)平台的AI辅助开发功能来帮忙解析规则并生成算法代码&#xff0c;整个过程意外地顺利&#xff0c;分享下具体实现思路。 规则文…...

编程新知 2026/4/1 3:22:58