1、数据存储
1.1、hive->hdfs、mapredus
1.2、ClickHouse
1.3、Elasticsearch
1.4、PostgreSQL
1.5、HBase
2、数据抽取
2.1、Kettle
2.2、DataX
2.3、Canal
2.4、Flink CDC
2.5、Sqoop
2.6、Filebeat&Logstash(日志)
3、任务编排
3.1、Apache DolphinScheduler
4、数据处理
4.1、spark
4.2、storm
4.3、flink
5、数据分析引擎
5.1、presto
5.2、trino
5.3、StarRocks
6、报表展示
6.1、Davinci达芬奇
6.2、帆软BI
6.3、DataEase
6.4、Prometheus+Grafana
6.5、Kibana
参考资料：常见大数据技术组件及应用场景 (it168.com)
1、数据存储1.1、hive->hdfs、mapredus1.2、ClickHouse1.3、Elasticsearch1.4、PostgreSQL1.5、HBase 2、数据抽取2.1、Kettle2.2、DataX2.3、Canal2.4、Flink CDC2.5、Sqoop2.6、Filebeat&Logstash(日志) 3、任务编排3.1、Apache DolphinScheduler 4、数据处理4.1、spa…...
9.Docker Remote API未授权访问漏洞 步骤一:使用以下Fofa语句对Docker产品进行搜索. port"2375" 步骤二:直接使用浏览器访问以下路径 /version#查看版本信息 /info#查看容器信息 漏洞修复 1.端口访问控制 对2375端口做网络访问控制，如设置iptables…...
一.扩散 题解： 计算点之间的距离，然后对图进行处理即可，这个数据规模较小，因此我使用了floyd,还有最小生成树和二份答案加并查集的写法； 代码： #include <iostream> #include <cstring> #in…...
目录 1、事务简介 2、事务操作 2.1 方式一 2.2 方式二 3、事务四大特性 4、并发事务问题 5、事务隔离级别 1、事务简介 事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，…...
数据来源于 Node.js Toolbox，网站展示了 Node.js 生态系统中积极维护且流行的库。...
简介 LVS（Linux Virtual Server）是一个高性能的开源负载均衡解决方案，它通过在Linux内核中实现IPVS（IP Virtual Server）模块来提供负载均衡功能。LVS能够将外部请求根据特定的算法分发到后端的多个服务器上，…...
一、python基础 1、环境python2、python3 [rootpython ~]# yum list installed | grep python #检查是否有python包 [rootpython ~]# yum list installed | grep epel #检查是否有epel包 [rootpython ~]# yum -y install epel-release [rootpython ~]# yum -y install …...
🌞🌞🌞生活本就沉闷，但跑起来就会有风 ~~~ 前言： 🌟🌟Hello家人们，这期讲解数据结构队列的基础知识，希望你能帮到屏幕前的你。 📚️上期博客在这里࿱…...
FFmpeg是一个开源的多媒体处理工具集，可以用于处理音频、视频和图片等多种媒体格式。由于其强大的功能和灵活性，FFmpeg被广泛应用在多媒体处理领域，包括音视频编解码、流媒体服务器、视频转码等。FFmpeg7.0 版本移除了 6.0 之前已弃用的 API&…...
一、结构定义 顺序表是通常是数组，要求数据连续存储。顺序表又分为定长顺序表和变长顺序表，本文实现后者。 1、头文件 #include <stdio.h> #include <stdlib.h> 2、定长顺序表 #define MAX 100 定长顺序表结构 typedef struct SqList {…...
如何写出更优雅的并行程序？ 并行编程关于并行编程的一些理解 并行编程 并行编程是一种利用多个处理器或计算资源同时执行多个任务的编程方式，以提高计算效率和性能。允许程序员编写可以在多核处理器或多个计算机节点上同时执行的程序，以充分…...
Hangfire 和 Quartz.NET 是两种常见的 C# 任务调度库，它们有不同的特点和使用场景。以下是这两个库的详细对比，包括它们的主要功能、适用场景以及关键区别。 目录 Hangfire 主要功能 适用场景 示例代码 Quartz.NET 主要功能 适用场景 示例代码 …...
接口简介：全面覆盖，支持所有带银联标识的银行卡; 高准确性-验证结果实时返回，准确率达99%; 高稳定性-双通道自动切换，保证业务不间断; 专业服务-7*24小时服务，极速响应，为用户保驾护航; 接口地址࿱…...
总目录 前言 命令模式在日常中，也是比较常见的，就比如：妈妈和爸爸说，你去让孩子把地扫一下；这就是是一个命令，命令中的 下达命令的是妈妈，传达命令的是爸爸，接受命令做事的是孩子&a…...
K8S是通过 list-watch 机制实现每个组件的协同工作 controller-manager、scheduler、kubelet 通过 list-watch 机制监听 apiserver 发出的事件，apiserver 也会监听 etcd 发出的事件 scheduler的调度策略： 预选策略（Predicates）…...
目录 第一部分：人工智能、机器学习与深度学习概述 1.1 人工智能的概念与发展 代码示例：简单的AI决策系统 1.2 机器学习的定义与分类 代码示例：简单的线性回归模型 1.3 深度学习的基础与应用 代码示例：构建简单的神经网络 …...
记录，以防忘记 围绕圆 import React, { useEffect } from react; import ./index.scoped.scss;const Test () > {const arr Array.from({ length: 28 }, (_, index) > index 1);useEffect(() > {const dayTotal arr.length;// 动态设置每个点的旋转角…...
CPU使用率过高有许多可能原因，但以下原因最为常见： 1.由于以下情况，表或索引扫描导致的高逻辑读取： 过期统计信息 缺少索引 参数敏感计划 (PSP) 问题 设计不佳的查询 2.工作负荷增加 对于安装了sqlserver的服务器，可…...
AUTOSAR AP常用文档前缀总结如下表： 缩写全称含义EXPExplanation文档类别，跟踪类别 讨论其他文件中已经显示的内容的说明材料MODModel文档类别，跟踪类别 元级别1(模型)上的建模内容(模型或从模型生成的内容)RSRequirement Specification文档…...
文章目录 反编译创建java工程编译新的数据库配置类DbUtilclass文件替换到Tomcat配置的应用路径 docBase背景：非国产化项目服务器审计不通过，需要迁移到外部公司。由于项目是第三方公司开发，丢失java项目源码。 部署环境：Tomcat7，JDK1.8 涉及JAVA项目的有两个服务，一个电台…...
参考文章 1、确认操作系统类型及内核版本 Docker依赖于Linux内核的一些特性，不同版本的Docker对内核版本有不同要求。例如，Docker 17.06及之后的版本通常需要Linux内核3.10及以上版本，Docker17.09及更高版本对应Linux内核4.9.x及更高版本。…...
作者：来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。 想获得 Elastic 认证吗？了解下一期 Elasticsearch Engineer 培训的时间吧！ Elasticsearch 拥有众多新功能，助你为自己…...
1. BluetoothProperties介绍 libsysprop/srcs/android/sysprop/BluetoothProperties.sysprop BluetoothProperties.sysprop 是 Android AOSP 中的一种 系统属性定义文件（System Property Definition File），用于声明和管理 Bluetooth 模块相…...
抽象类 抽象类是指设计为被继承的类。抽象类只能被用作其他类的基类。 不能创建抽象类的实例。抽象类使用abstract修饰符声明。 抽象类可以包含抽象成员或普通的非抽象成员。抽象类的成员可以是抽象成员和普通带 实现的成员的任意组合。抽象类自己可以派生自另一个抽象类。例…...
华为云FlexusDeepSeek征文｜DeepSeek-V3/R1 商用服务开通全流程与本地部署搭建 前言 如今大模型其性能出色，华为云 ModelArts Studio_MaaS大模型即服务平台华为云内置了大模型，能助力我们轻松驾驭 DeepSeek-V3/R1，本文中将分享如何…...
销量过万TEEIS德国护膝夏天用薄款 优惠券冠生园 百花蜂蜜428g 挤压瓶纯蜂蜜巨奇严选 鞋子除臭剂360ml 多芬身体磨砂膏280g健70%-75%酒精消毒棉片湿巾1418cm 80片/袋3袋大包清洁食品用消毒 优惠券AIMORNY52朵红玫瑰永生香皂花同城配送非鲜花七夕情人节生日礼物送女友 热卖妙洁棉…...
修改bug思路： 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑：async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...
一. 简介 前面一篇文章简单学习了C语言中第三方库（uthash库）提供对哈希表的操作，文章如下： C语言中提供的第三方库uthash常用接口-CSDN博客 本文简单学习一下第三方库 uthash库对哈希表的操作。 二. uthash库哈希表操作示例 u…...
jsp？ 好多年没用了。重新整一下 还费了点时间，记录一下。 项目结构： pom: <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://ww…...
文章目录 一、题目介绍二、递归思路详解：从决策树开始理解三、解法一：二叉决策树 DFS四、解法二：组合式回溯写法（推荐）五、解法对比 递归算法是编程中一种非常强大且常见的思想，它能够优雅地解决很多复杂的…...