1、数据存储
1.1、hive->hdfs、mapredus
1.2、ClickHouse
1.3、Elasticsearch
1.4、PostgreSQL
1.5、HBase
2、数据抽取
2.1、Kettle
2.2、DataX
2.3、Canal
2.4、Flink CDC
2.5、Sqoop
2.6、Filebeat&Logstash(日志)
3、任务编排
3.1、Apache DolphinScheduler
4、数据处理
4.1、spark
4.2、storm
4.3、flink
5、数据分析引擎
5.1、presto
5.2、trino
5.3、StarRocks
6、报表展示
6.1、Davinci达芬奇
6.2、帆软BI
6.3、DataEase
6.4、Prometheus+Grafana
6.5、Kibana
参考资料：常见大数据技术组件及应用场景 (it168.com)
1、数据存储1.1、hive->hdfs、mapredus1.2、ClickHouse1.3、Elasticsearch1.4、PostgreSQL1.5、HBase 2、数据抽取2.1、Kettle2.2、DataX2.3、Canal2.4、Flink CDC2.5、Sqoop2.6、Filebeat&Logstash(日志) 3、任务编排3.1、Apache DolphinScheduler 4、数据处理4.1、spa…...
9.Docker Remote API未授权访问漏洞 步骤一:使用以下Fofa语句对Docker产品进行搜索. port"2375" 步骤二:直接使用浏览器访问以下路径 /version#查看版本信息 /info#查看容器信息 漏洞修复 1.端口访问控制 对2375端口做网络访问控制，如设置iptables…...
一.扩散 题解： 计算点之间的距离，然后对图进行处理即可，这个数据规模较小，因此我使用了floyd,还有最小生成树和二份答案加并查集的写法； 代码： #include <iostream> #include <cstring> #in…...
目录 1、事务简介 2、事务操作 2.1 方式一 2.2 方式二 3、事务四大特性 4、并发事务问题 5、事务隔离级别 1、事务简介 事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，…...
数据来源于 Node.js Toolbox，网站展示了 Node.js 生态系统中积极维护且流行的库。...
简介 LVS（Linux Virtual Server）是一个高性能的开源负载均衡解决方案，它通过在Linux内核中实现IPVS（IP Virtual Server）模块来提供负载均衡功能。LVS能够将外部请求根据特定的算法分发到后端的多个服务器上，…...
一、python基础 1、环境python2、python3 [rootpython ~]# yum list installed | grep python #检查是否有python包 [rootpython ~]# yum list installed | grep epel #检查是否有epel包 [rootpython ~]# yum -y install epel-release [rootpython ~]# yum -y install …...
🌞🌞🌞生活本就沉闷，但跑起来就会有风 ~~~ 前言： 🌟🌟Hello家人们，这期讲解数据结构队列的基础知识，希望你能帮到屏幕前的你。 📚️上期博客在这里࿱…...
FFmpeg是一个开源的多媒体处理工具集，可以用于处理音频、视频和图片等多种媒体格式。由于其强大的功能和灵活性，FFmpeg被广泛应用在多媒体处理领域，包括音视频编解码、流媒体服务器、视频转码等。FFmpeg7.0 版本移除了 6.0 之前已弃用的 API&…...
一、结构定义 顺序表是通常是数组，要求数据连续存储。顺序表又分为定长顺序表和变长顺序表，本文实现后者。 1、头文件 #include <stdio.h> #include <stdlib.h> 2、定长顺序表 #define MAX 100 定长顺序表结构 typedef struct SqList {…...
如何写出更优雅的并行程序？ 并行编程关于并行编程的一些理解 并行编程 并行编程是一种利用多个处理器或计算资源同时执行多个任务的编程方式，以提高计算效率和性能。允许程序员编写可以在多核处理器或多个计算机节点上同时执行的程序，以充分…...
Hangfire 和 Quartz.NET 是两种常见的 C# 任务调度库，它们有不同的特点和使用场景。以下是这两个库的详细对比，包括它们的主要功能、适用场景以及关键区别。 目录 Hangfire 主要功能 适用场景 示例代码 Quartz.NET 主要功能 适用场景 示例代码 …...
接口简介：全面覆盖，支持所有带银联标识的银行卡; 高准确性-验证结果实时返回，准确率达99%; 高稳定性-双通道自动切换，保证业务不间断; 专业服务-7*24小时服务，极速响应，为用户保驾护航; 接口地址࿱…...
总目录 前言 命令模式在日常中，也是比较常见的，就比如：妈妈和爸爸说，你去让孩子把地扫一下；这就是是一个命令，命令中的 下达命令的是妈妈，传达命令的是爸爸，接受命令做事的是孩子&a…...
K8S是通过 list-watch 机制实现每个组件的协同工作 controller-manager、scheduler、kubelet 通过 list-watch 机制监听 apiserver 发出的事件，apiserver 也会监听 etcd 发出的事件 scheduler的调度策略： 预选策略（Predicates）…...
目录 第一部分：人工智能、机器学习与深度学习概述 1.1 人工智能的概念与发展 代码示例：简单的AI决策系统 1.2 机器学习的定义与分类 代码示例：简单的线性回归模型 1.3 深度学习的基础与应用 代码示例：构建简单的神经网络 …...
记录，以防忘记 围绕圆 import React, { useEffect } from react; import ./index.scoped.scss;const Test () > {const arr Array.from({ length: 28 }, (_, index) > index 1);useEffect(() > {const dayTotal arr.length;// 动态设置每个点的旋转角…...
CPU使用率过高有许多可能原因，但以下原因最为常见： 1.由于以下情况，表或索引扫描导致的高逻辑读取： 过期统计信息 缺少索引 参数敏感计划 (PSP) 问题 设计不佳的查询 2.工作负荷增加 对于安装了sqlserver的服务器，可…...
AUTOSAR AP常用文档前缀总结如下表： 缩写全称含义EXPExplanation文档类别，跟踪类别 讨论其他文件中已经显示的内容的说明材料MODModel文档类别，跟踪类别 元级别1(模型)上的建模内容(模型或从模型生成的内容)RSRequirement Specification文档…...
文章目录 反编译创建java工程编译新的数据库配置类DbUtilclass文件替换到Tomcat配置的应用路径 docBase背景：非国产化项目服务器审计不通过，需要迁移到外部公司。由于项目是第三方公司开发，丢失java项目源码。 部署环境：Tomcat7，JDK1.8 涉及JAVA项目的有两个服务，一个电台…...
前言 useAsyncError 是 React Router v6.4 引入的一个钩子，用于处理异步操作（如数据加载）中的错误。下面我将详细解释其用途并提供代码示例。 一、useAsyncError 用途 处理异步错误：捕获在 loader 或 action 中发生的异步错误替…...
1、自动备份文件或目录 2、批量重命名文件 3、查找并删除指定名称的文件： 4、批量删除文件 5、查找并替换文件内容 6、批量创建文件 7、创建文件夹并移动文件 8、在文件夹中查找文件...
题目 394. 字符串解码 - 力扣（LeetCode） 思路 使用两个栈：一个存储重复次数，一个存储字符串 遍历输入字符串： 数字处理：遇到数字时，累积计算重复次数左括号处理：保存当前状态&a…...
当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时，可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案： 1. 检查电源供电问题 问题原因：多块移动硬盘同时运行可能导致USB接口供电不足&#x…...
文章目录 问题现象问题原因解决办法 问题现象 macOS启动台（Launchpad）多出来了：Google云端硬盘、YouTube、表格、幻灯片、Gmail、Google文档等应用。 问题原因 很明显，都是Google家的办公全家桶。这些应用并不是通过独立安装的…...
1.问题说明 用户端小程序展示的菜品数据都是通过查询数据库获得，如果用户端访问量比较大，数据库访问压力随之增大 2.实现思路 通过Redis来缓存菜品数据，减少数据库查询操作。 缓存逻辑分析： ①每个分类下的菜品保持一份缓存数据…...
NSURLAuthenticationMethodServerTrust 只是 authenticationMethod 的冰山一角 要理解 NSURLAuthenticationMethodServerTrust, 首先要明白它只是 authenticationMethod 的选项之一, 并非唯一 1 先厘清概念 点说明authenticationMethodURLAuthenticationChallenge.protectionS…...
本篇文章是对C学习的STL哈希容器自主实现部分的学习分享 希望也能为你带来些帮助~ 那咱们废话不多说，直接开始吧！ 一、源码结构分析 1. SGISTL30实现剖析 // hash_set核心结构 template <class Value, class HashFcn, ...> class hash_set {ty…...
一、项目背景回顾 前五弹完成了Json-Rpc协议解析、请求处理、客户端调用等基础模块搭建。 本弹重点聚焦于服务端的模块划分与架构设计，提升代码结构的可维护性与扩展性。 二、服务端模块设计目标 高内聚低耦合：各模块职责清晰，便于独立开发…...
Python 包管理器 uv 全面介绍 uv 是由 Astral（热门工具 Ruff 的开发者）推出的下一代高性能 Python 包管理器和构建工具，用 Rust 编写。它旨在解决传统工具（如 pip、virtualenv、pip-tools）的性能瓶颈，同时…...