1、数据存储
1.1、hive->hdfs、mapredus
1.2、ClickHouse
1.3、Elasticsearch
1.4、PostgreSQL
1.5、HBase
2、数据抽取
2.1、Kettle
2.2、DataX
2.3、Canal
2.4、Flink CDC
2.5、Sqoop
2.6、Filebeat&Logstash(日志)
3、任务编排
3.1、Apache DolphinScheduler
4、数据处理
4.1、spark
4.2、storm
4.3、flink
5、数据分析引擎
5.1、presto
5.2、trino
5.3、StarRocks
6、报表展示
6.1、Davinci达芬奇
6.2、帆软BI
6.3、DataEase
6.4、Prometheus+Grafana
6.5、Kibana
参考资料：常见大数据技术组件及应用场景 (it168.com)
1、数据存储1.1、hive->hdfs、mapredus1.2、ClickHouse1.3、Elasticsearch1.4、PostgreSQL1.5、HBase 2、数据抽取2.1、Kettle2.2、DataX2.3、Canal2.4、Flink CDC2.5、Sqoop2.6、Filebeat&Logstash(日志) 3、任务编排3.1、Apache DolphinScheduler 4、数据处理4.1、spa…...
9.Docker Remote API未授权访问漏洞 步骤一:使用以下Fofa语句对Docker产品进行搜索. port"2375" 步骤二:直接使用浏览器访问以下路径 /version#查看版本信息 /info#查看容器信息 漏洞修复 1.端口访问控制 对2375端口做网络访问控制，如设置iptables…...
一.扩散 题解： 计算点之间的距离，然后对图进行处理即可，这个数据规模较小，因此我使用了floyd,还有最小生成树和二份答案加并查集的写法； 代码： #include <iostream> #include <cstring> #in…...
目录 1、事务简介 2、事务操作 2.1 方式一 2.2 方式二 3、事务四大特性 4、并发事务问题 5、事务隔离级别 1、事务简介 事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，…...
数据来源于 Node.js Toolbox，网站展示了 Node.js 生态系统中积极维护且流行的库。...
简介 LVS（Linux Virtual Server）是一个高性能的开源负载均衡解决方案，它通过在Linux内核中实现IPVS（IP Virtual Server）模块来提供负载均衡功能。LVS能够将外部请求根据特定的算法分发到后端的多个服务器上，…...
一、python基础 1、环境python2、python3 [rootpython ~]# yum list installed | grep python #检查是否有python包 [rootpython ~]# yum list installed | grep epel #检查是否有epel包 [rootpython ~]# yum -y install epel-release [rootpython ~]# yum -y install …...
🌞🌞🌞生活本就沉闷，但跑起来就会有风 ~~~ 前言： 🌟🌟Hello家人们，这期讲解数据结构队列的基础知识，希望你能帮到屏幕前的你。 📚️上期博客在这里࿱…...
FFmpeg是一个开源的多媒体处理工具集，可以用于处理音频、视频和图片等多种媒体格式。由于其强大的功能和灵活性，FFmpeg被广泛应用在多媒体处理领域，包括音视频编解码、流媒体服务器、视频转码等。FFmpeg7.0 版本移除了 6.0 之前已弃用的 API&…...
一、结构定义 顺序表是通常是数组，要求数据连续存储。顺序表又分为定长顺序表和变长顺序表，本文实现后者。 1、头文件 #include <stdio.h> #include <stdlib.h> 2、定长顺序表 #define MAX 100 定长顺序表结构 typedef struct SqList {…...
如何写出更优雅的并行程序？ 并行编程关于并行编程的一些理解 并行编程 并行编程是一种利用多个处理器或计算资源同时执行多个任务的编程方式，以提高计算效率和性能。允许程序员编写可以在多核处理器或多个计算机节点上同时执行的程序，以充分…...
Hangfire 和 Quartz.NET 是两种常见的 C# 任务调度库，它们有不同的特点和使用场景。以下是这两个库的详细对比，包括它们的主要功能、适用场景以及关键区别。 目录 Hangfire 主要功能 适用场景 示例代码 Quartz.NET 主要功能 适用场景 示例代码 …...
接口简介：全面覆盖，支持所有带银联标识的银行卡; 高准确性-验证结果实时返回，准确率达99%; 高稳定性-双通道自动切换，保证业务不间断; 专业服务-7*24小时服务，极速响应，为用户保驾护航; 接口地址࿱…...
总目录 前言 命令模式在日常中，也是比较常见的，就比如：妈妈和爸爸说，你去让孩子把地扫一下；这就是是一个命令，命令中的 下达命令的是妈妈，传达命令的是爸爸，接受命令做事的是孩子&a…...
K8S是通过 list-watch 机制实现每个组件的协同工作 controller-manager、scheduler、kubelet 通过 list-watch 机制监听 apiserver 发出的事件，apiserver 也会监听 etcd 发出的事件 scheduler的调度策略： 预选策略（Predicates）…...
目录 第一部分：人工智能、机器学习与深度学习概述 1.1 人工智能的概念与发展 代码示例：简单的AI决策系统 1.2 机器学习的定义与分类 代码示例：简单的线性回归模型 1.3 深度学习的基础与应用 代码示例：构建简单的神经网络 …...
记录，以防忘记 围绕圆 import React, { useEffect } from react; import ./index.scoped.scss;const Test () > {const arr Array.from({ length: 28 }, (_, index) > index 1);useEffect(() > {const dayTotal arr.length;// 动态设置每个点的旋转角…...
CPU使用率过高有许多可能原因，但以下原因最为常见： 1.由于以下情况，表或索引扫描导致的高逻辑读取： 过期统计信息 缺少索引 参数敏感计划 (PSP) 问题 设计不佳的查询 2.工作负荷增加 对于安装了sqlserver的服务器，可…...
AUTOSAR AP常用文档前缀总结如下表： 缩写全称含义EXPExplanation文档类别，跟踪类别 讨论其他文件中已经显示的内容的说明材料MODModel文档类别，跟踪类别 元级别1(模型)上的建模内容(模型或从模型生成的内容)RSRequirement Specification文档…...
文章目录 反编译创建java工程编译新的数据库配置类DbUtilclass文件替换到Tomcat配置的应用路径 docBase背景：非国产化项目服务器审计不通过，需要迁移到外部公司。由于项目是第三方公司开发，丢失java项目源码。 部署环境：Tomcat7，JDK1.8 涉及JAVA项目的有两个服务，一个电台…...
核心目标：在便携设备（智能手表/家用检测仪）部署轻量化疾病预测模型，实现低延迟、隐私安全的实时健康风险评估。 一、技术架构设计 #mermaid-svg-iuNaeeLK2YoFKfao {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg…...
【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名（Class Name)2.协议名（Protocol Name)3.方法名（Method Name)4.属性名（Property Name）5.局部变量/实例变量（Local / Instance Variables&…...
1 列表标签 作用：布局内容排列整齐的区域 列表分类：无序列表、有序列表、定义列表。 例如： 1.1 无序列表 标签：ul 嵌套 li，ul是无序列表，li是列表条目。 注意事项： ul 标签里面只能包裹 li…...
前文覆盖了 BLE 扫描的基础概念与经典问题蓝牙 BLE 扫描面试题大全(1)：从基础到实战的深度解析-CSDN博客，但实际面试中，企业更关注候选人对复杂场景的应对能力（如多设备并发扫描、低功耗与高发现率的平衡）和前沿技术的…...
Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库，例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体，比如 SnowballFight、Huggy the Do…...
云原生玩法三问：构建自定义开发环境 引言 临时运维一个古董项目，无文档，无环境，无交接人，俗称三无。 运行设备的环境老，本地环境版本高，ssh不过去。正好最近对 腾讯出品的云原生 cnb 感兴趣&…...
在汽车智能化的汹涌浪潮中，车辆不再仅仅是传统的交通工具，而是逐步演变为高度智能的移动终端。这一转变的核心支撑，来自于车内关键技术的深度融合与协同创新。车载远程信息处理盒（T-Box）方案：NXP S32K146 与…...
说明：这是一个机器学习实战项目（附带数据代码文档），如需数据代码文档可以直接到文章最后关注获取。 1.项目背景 在金融市场日益复杂和波动加剧的背景下，风险管理成为金融机构和个人投资者关注的核心议题之一。VaR&…...
目录 什么是表达式树？ 核心概念 1.表达式树的构建 2. 表达式树与Lambda表达式 3.解析和访问表达式树 4.动态条件查询 表达式树的优势 1.动态构建查询 2.LINQ 提供程序支持： 3.性能优化 4.元数据处理 5.代码转换和重写 适用场景 代码复杂性…...
一、构建速度优化 1、升级Webpack和Node.js 优化效果：Webpack 4比Webpack 3构建时间降低60%-98%。原因： V8引擎优化（for of替代forEach、Map/Set替代Object）。默认使用更快的md4哈希算法。AST直接从Loa…...