当前位置：首页 > news >正文

大数据软件，待补充

news 2025/7/9 9:21:51

数据采集：

实时采集：

Debezuim

Debezuim是构建在 Apach Kafka之上，并提供Kafka连接器来监视特定的数据库管理(采集多种数据库)

Canal

canal 是阿里开发，用于实时采集Mysql 当中变化的数据

maxwell,flinkX,flinkCDC

离线采集：

Sqoop

DataX

致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP，MongDB等各种异构数据源之间稳定高效的数据同步功能

消息中间件

Kafka，Zookeeper

大数据软件，待补充

数据采集： 实时采集： Debezuim Debezuim是构建在 Apach Kafka之上，并提供Kafka连接器来监视特定的数据库管理(采集多种数据库) Canal canal 是阿里开发，用于实时采集Mysql 当中变化的数据 maxwell,flinkX,flinkCDC 离线采集&#…...

编程日记 2024/2/24 19:49:00

深入探索pdfplumber：从PDF中提取信息到实际项目应用【第94篇—pdfplumbe】

深入探索pdfplumber：从PDF中提取信息到实际项目应用在数据处理和信息提取的过程中，PDF文档是一种常见的格式。然而，要从PDF中提取信息并进行进一步的分析，我们需要使用适当的工具。本文将介绍如何使用Python库中的pdfplumber库来…...

编程日记 2024/2/24 19:47:59

实现linux platform tree框架下ICM20608驱动开发（SPI）

目录概述 1 硬件接口 2 添加ICM20608的设备树信息 2.1 使用i.MX Pins Tool v6配置SPI引脚 2.2 配置设备树 2.3 编译.dts 2.4 在板卡中更新设备树 3 编写驱动程序 3.1 创建设备匹配表 3.2 重要函数介绍 3.2.1 初始化函数 3.2.2 写寄存器函数 3.2.3 读寄存器函数 …...

编程日记 2024/2/24 19:46:58

在前端开发中需要考虑的常见web安全问题和攻击原理以及防范措施

文章目录一、XSS攻击1、反射型XSS攻击原理2、DOM型XSS攻击原理3、存储型XSS攻击原理防范措施二、CSRF攻击攻击原理：防范措施： 三、点击劫持攻击原理：防范措施： 四、项目中如何预防安全问题随着互联网的发展，Web应用…...

编程日记 2024/2/24 19:42:55

年关将至送大礼社区适时献爱心

在这个快节奏的时代，社区作为人们生活的重要组成部分，其凝聚力和互助精神显得尤为重要。2024年2月7日，实践队员李若钰有幸参与了社区礼盒分装的活动，这不仅仅是一次简单的劳动，更是一次心灵的洗礼和感悟。礼盒分装&am…...

编程日记 2024/2/24 19:40:53

singularity容器的技术基础

Singularity容器技术是专为科学计算、数据密集型工作和高性能计算（HPC）环境设计的。与其他容器技术如Docker相比，Singularity提供了一些独特的特性和设计考虑，使其在科学和研究社区中受到欢迎。以下是Singularity容器技术的一些关…...

编程日记 2024/2/24 19:39:53

jax可微分编程的笔记（2）

jax可微分编程的笔记（2） 第2章自动微分自动微分和符号求导有诸多的相似之处：它们同样依赖于计算图的构建，同样依赖于求导的递归实现。从某种意义上来说，它们甚至有完全相同的数据结构。不过，二者的区…...

编程日记 2024/2/24 19:38:52

在Linux服务器上部署一个单机项目

目录一、jdk安装二、tomcat安装三、MySQL安装四、部署项目一、jdk安装 1. 上传jdk安装包 jdk-8u151-linux-x64.tar.gz 进入opt目录，将安装包拖进去 2. 解压安装包这里需要解压到usr/local目录下，在这里我新建一个文件夹保存解压后的文件 [r…...

编程日记 2024/2/24 19:36:50

HTTP概要

文章目录什么是HTTP?URL的结构请求报文结构请求方法GETHEADPOSTPUTDELETETRACEOPTIONSCONNECTPATCH解释请求头字段响应报文结构响应状态响应头字段 HTTP会话3次握手无状态协议什么是HTTP? HTTP，即Hypertext Transfer Protocol(超文本传输协议) 它是一个”请…...

编程日记 2024/2/24 19:34:48

128 Linux 系统编程6 ，C++程序在linux 上的调试，GDB调试

今天来整理 GDB 调试。在windows 上我们使用vs2017开发，可以手动的加断点，debug。那么在linux上怎么加断点，debug呢？这就是今天要整理的GDB调试工具了。那么有些同学可能会想到：我们在windows上开发，…...

编程日记 2024/2/24 19:31:45

vue2的ElementUI的form表单报错“Error: [ElementForm]unpected width”修复

1. 问题 ElementUI的form表单，当动态切换显示表单时报错 Error: [ElementForm]unpected width。翻译过来就是form表单的label宽度width出了问题。 2. 分析参数说明类型可选值默认值label-width表单域标签的宽度，例如 ‘50px’。作为 Form 直接子元…...

编程日记 2024/2/24 19:30:44

Linux 网络命令指南

目录配置IP地址和子网掩码网络接口的详细信息测试与目标主机的连通性下载文件或内容远程登录，进行远程管理和协作 CentOS / Red Hat（使用 firewalld） 关闭防火墙开启防火墙配置TCP端口（假设使用3306端口&#xff…...

编程日记 2024/2/24 19:28:42

vue3组件间的通信，通过props，emit，provide和inject把数据传递N个层级，expose和ref实现父组件调用子组件方法

文章目录一、父组件数据传递N个层级的子组件vue3 provide 与 injectA组件名称 app.vueB组件名称 provideB.vueC组件名称 provideCSetup.vue 二、使用v-model指令实现父子组件的双向绑定父组件名称 app.vue子组件名称 v-modelSetup.vue 三、父组件props向子组件传值子组件 prop…...

编程日记 2024/2/24 19:26:40

开源免费的NTFS for mac工具mounty

开源免费的NTFS for mac工具mounty 安装依赖 brew install gromgit/fuse/ntfs-3g-macbrew install --cask macfuse安装mounty 如果已经安装macFUSE和ntfs-3g-mac，可以直接点击下载的dmg安装包，安装升级。第一次启动mounty，你需要接受一系列…...

编程日记 2024/2/24 19:24:38

Sora-OpenAI 的 Text-to-Video 模型：制作逼真的 60s 视频片段

OpenAI 推出的人工智能功能曾经只存在于科幻小说中。 2022年，Openai 发布了 ChatGPT，展示了先进的语言模型如何实现自然对话。随后，DALL-E 问世，它利用文字提示生成令人惊叹的合成图像。现在，他们又推出了 Text-t…...

编程日记 2024/2/24 19:23:37

[CISCN 2019 初赛]Love Math1 打开题目题目源码 <?php error_reporting(0); //听说你很喜欢数学，不知道你是否爱它胜过爱flag if(!isset($_GET[c])){show_source(__FILE__); }else{//例子 c20-1$content $_GET[c];if (strlen($content) > 80) {die("…...

编程日记 2024/2/24 19:21:35

Jmeter基础(3) 发起一次请求

目录 Jmeter 一次请求添加线程组添加HTTP请求添加监听器 Jmeter 一次请求用Jmeter进行一次请求的过程，需要几个步骤呢？ 1、添加线程组2、添加HTTP请求3、添加监听器，查看结果树现在就打开jmeter看下如何创建一个请求吧添加线程组用来…...

编程日记 2024/2/24 19:20:34

视频怎么变成gif动图？一招教你在线转换

MP4是一种常见的视频文件格式，它可以包含音频和视频数据，并支持高质量的视频压缩。MP4视频可以呈现连续的动态效果，可以包含平滑的运动、音频等多媒体元素。而GIF动图是由一系列静态图像组成的，通过快速连续播放这些帧来创造出动态…...

编程日记 2024/2/24 19:19:33

Leetcode2583. 二叉树中的第 K 大层和

Every day a Leetcode 题目来源：2583. 二叉树中的第 K 大层和解法1：层序遍历排序先使用层序遍历计算出树的每一层的节点值的和，保存在数组 levelSum 中。然后将数组进行排序，返回第 k 大的值。需要考虑数组长度小于 k 的边…...

编程日记 2024/2/24 19:18:32

（六）激光线扫描-三维重建

本篇文章是《激光线扫描-三维重建》系列的最后一篇。 1. 基础理论 1.1 光平面在之前光平面标定的文章中，已经提到过了，是指激光发射器投射出一条线，形成的一个扇形区域平面就是光平面。三维空间中平面的公式是： A X + B Y + C Z + D = 0 A X+B Y+C Z+D=0...

编程日记 2024/2/24 19:13:26

css实现圆环展示百分比，根据值动态展示所占比例

代码如下 <view class""><view class"circle-chart"><view v-if"!!num" class"pie-item" :style"{background: conic-gradient(var(--one-color) 0%,#E9E6F1 ${num}%),}"></view><view v-else …...

编程新知 2025/7/8 21:31:50

Xshell远程连接Kali（默认 | 私钥）Note版

前言:xshell远程连接，私钥连接和常规默认连接任务一开启ssh服务 service ssh status //查看ssh服务状态 service ssh start //开启ssh服务 update-rc.d ssh enable //开启自启动ssh服务任务二修改配置文件 vi /etc/ssh/ssh_config //第一…...

编程新知 2025/7/8 0:34:21

Qt Widget类解析与代码注释

#include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this); }Widget::~Widget() {delete ui; }//解释这串代码，写上注释当然可以！这段代码是 Qt …...

编程新知 2025/6/15 21:47:30