1、数据存储
1.1、hive->hdfs、mapredus
1.2、ClickHouse
1.3、Elasticsearch
1.4、PostgreSQL
1.5、HBase
2、数据抽取
2.1、Kettle
2.2、DataX
2.3、Canal
2.4、Flink CDC
2.5、Sqoop
2.6、Filebeat&Logstash(日志)
3、任务编排
3.1、Apache DolphinScheduler
4、数据处理
4.1、spark
4.2、storm
4.3、flink
5、数据分析引擎
5.1、presto
5.2、trino
5.3、StarRocks
6、报表展示
6.1、Davinci达芬奇
6.2、帆软BI
6.3、DataEase
6.4、Prometheus+Grafana
6.5、Kibana
参考资料：常见大数据技术组件及应用场景 (it168.com)
1、数据存储1.1、hive->hdfs、mapredus1.2、ClickHouse1.3、Elasticsearch1.4、PostgreSQL1.5、HBase 2、数据抽取2.1、Kettle2.2、DataX2.3、Canal2.4、Flink CDC2.5、Sqoop2.6、Filebeat&Logstash(日志) 3、任务编排3.1、Apache DolphinScheduler 4、数据处理4.1、spa…...
9.Docker Remote API未授权访问漏洞 步骤一:使用以下Fofa语句对Docker产品进行搜索. port"2375" 步骤二:直接使用浏览器访问以下路径 /version#查看版本信息 /info#查看容器信息 漏洞修复 1.端口访问控制 对2375端口做网络访问控制，如设置iptables…...
一.扩散 题解： 计算点之间的距离，然后对图进行处理即可，这个数据规模较小，因此我使用了floyd,还有最小生成树和二份答案加并查集的写法； 代码： #include <iostream> #include <cstring> #in…...
目录 1、事务简介 2、事务操作 2.1 方式一 2.2 方式二 3、事务四大特性 4、并发事务问题 5、事务隔离级别 1、事务简介 事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，…...
数据来源于 Node.js Toolbox，网站展示了 Node.js 生态系统中积极维护且流行的库。...
简介 LVS（Linux Virtual Server）是一个高性能的开源负载均衡解决方案，它通过在Linux内核中实现IPVS（IP Virtual Server）模块来提供负载均衡功能。LVS能够将外部请求根据特定的算法分发到后端的多个服务器上，…...
一、python基础 1、环境python2、python3 [rootpython ~]# yum list installed | grep python #检查是否有python包 [rootpython ~]# yum list installed | grep epel #检查是否有epel包 [rootpython ~]# yum -y install epel-release [rootpython ~]# yum -y install …...
🌞🌞🌞生活本就沉闷，但跑起来就会有风 ~~~ 前言： 🌟🌟Hello家人们，这期讲解数据结构队列的基础知识，希望你能帮到屏幕前的你。 📚️上期博客在这里࿱…...
FFmpeg是一个开源的多媒体处理工具集，可以用于处理音频、视频和图片等多种媒体格式。由于其强大的功能和灵活性，FFmpeg被广泛应用在多媒体处理领域，包括音视频编解码、流媒体服务器、视频转码等。FFmpeg7.0 版本移除了 6.0 之前已弃用的 API&…...
一、结构定义 顺序表是通常是数组，要求数据连续存储。顺序表又分为定长顺序表和变长顺序表，本文实现后者。 1、头文件 #include <stdio.h> #include <stdlib.h> 2、定长顺序表 #define MAX 100 定长顺序表结构 typedef struct SqList {…...
如何写出更优雅的并行程序？ 并行编程关于并行编程的一些理解 并行编程 并行编程是一种利用多个处理器或计算资源同时执行多个任务的编程方式，以提高计算效率和性能。允许程序员编写可以在多核处理器或多个计算机节点上同时执行的程序，以充分…...
Hangfire 和 Quartz.NET 是两种常见的 C# 任务调度库，它们有不同的特点和使用场景。以下是这两个库的详细对比，包括它们的主要功能、适用场景以及关键区别。 目录 Hangfire 主要功能 适用场景 示例代码 Quartz.NET 主要功能 适用场景 示例代码 …...
接口简介：全面覆盖，支持所有带银联标识的银行卡; 高准确性-验证结果实时返回，准确率达99%; 高稳定性-双通道自动切换，保证业务不间断; 专业服务-7*24小时服务，极速响应，为用户保驾护航; 接口地址࿱…...
总目录 前言 命令模式在日常中，也是比较常见的，就比如：妈妈和爸爸说，你去让孩子把地扫一下；这就是是一个命令，命令中的 下达命令的是妈妈，传达命令的是爸爸，接受命令做事的是孩子&a…...
K8S是通过 list-watch 机制实现每个组件的协同工作 controller-manager、scheduler、kubelet 通过 list-watch 机制监听 apiserver 发出的事件，apiserver 也会监听 etcd 发出的事件 scheduler的调度策略： 预选策略（Predicates）…...
目录 第一部分：人工智能、机器学习与深度学习概述 1.1 人工智能的概念与发展 代码示例：简单的AI决策系统 1.2 机器学习的定义与分类 代码示例：简单的线性回归模型 1.3 深度学习的基础与应用 代码示例：构建简单的神经网络 …...
记录，以防忘记 围绕圆 import React, { useEffect } from react; import ./index.scoped.scss;const Test () > {const arr Array.from({ length: 28 }, (_, index) > index 1);useEffect(() > {const dayTotal arr.length;// 动态设置每个点的旋转角…...
CPU使用率过高有许多可能原因，但以下原因最为常见： 1.由于以下情况，表或索引扫描导致的高逻辑读取： 过期统计信息 缺少索引 参数敏感计划 (PSP) 问题 设计不佳的查询 2.工作负荷增加 对于安装了sqlserver的服务器，可…...
AUTOSAR AP常用文档前缀总结如下表： 缩写全称含义EXPExplanation文档类别，跟踪类别 讨论其他文件中已经显示的内容的说明材料MODModel文档类别，跟踪类别 元级别1(模型)上的建模内容(模型或从模型生成的内容)RSRequirement Specification文档…...
文章目录 反编译创建java工程编译新的数据库配置类DbUtilclass文件替换到Tomcat配置的应用路径 docBase背景：非国产化项目服务器审计不通过，需要迁移到外部公司。由于项目是第三方公司开发，丢失java项目源码。 部署环境：Tomcat7，JDK1.8 涉及JAVA项目的有两个服务，一个电台…...
文章目录 1. 项目介绍2. 开发环境准备3. 设计应用界面4. 创建Vue实例和数据模型5. 实现记事本功能5.1 添加新记事项5.2 删除记事项5.3 清空所有记事 6. 添加样式7. 功能扩展：显示创建时间8. 功能扩展：记事项搜索9. 完整代码10. Vue知识点解析10.1 数据绑…...
两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数，对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后…...
一、Prompt Tuning、P-Tuning、Prefix Tuning的区别 1. Prompt Tuning（提示调优） 核心思想：固定预训练模型参数，仅学习额外的连续提示向量（通常是嵌入层的一部分）。实现方式：在输入文本前添加可训练的连续向量（软提示），模型只更新这些提示参数。优势：参数量少（仅提…...
作者：Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao单位：中南大学地球科学与信息物理学院论文标题：BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs论文链接：https://arxiv.…...
问题描述：iview使用table 中type: "index",分页之后 ，索引还是从1开始，试过绑定后台返回数据的id, 这种方法可行，就是后台返回数据的每个页面id都不完全是按照从1开始的升序，因此百度了下，找到了…...
1、行为树节点分类 在 Nav2（Navigation2）的行为树框架中，行为树节点插件按照功能分为 Action（动作节点）、Condition（条件节点）、Control（控制节点） 和 Decorator（装饰节点） 四类。 1.1 动作节点 Action 执行具体的机器人操作或任务，直接与硬件、传感器或外部系统…...
在 OkHttp 中实现断点续传主要通过以下步骤完成，核心是利用 HTTP 协议的 Range 请求头指定下载范围： 实现原理 Range 请求头：向服务器请求文件的特定字节范围（如 Range: bytes1024-） 本地文件记录：保存已…...
随着新能源汽车的快速普及，充电桩作为核心配套设施，其安全性与可靠性备受关注。然而，在高温、高负荷运行环境下，充电桩的散热问题与消防安全隐患日益凸显，成为制约行业发展的关键瓶颈。 如何通过智慧化管理手段优化散…...
7种色调职场工作汇报PPT，橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版：职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...
config.yaml 文件 config.yaml 是 Caliper 的主配置文件，通常包含以下内容： test:name: fisco-bcos-test # 测试名称description: Performance test of FISCO-BCOS # 测试描述workers:type: local # 工作进程类型number: 5 # 工作进程数量monitor:type: - docker- pro…...