当前位置：首页 > news >正文

数据建设实践之大数据平台(一)

news 2026/4/4 20:40:34

大数据组件版本信息

zookeeper-3.5.7
hadoop-3.3.5
mysql-5.7.28
apache-hive-3.1.3
spark-3.3.1
datax
apache-dolphinscheduler-3.1.9

大数据技术架构

大数据组件部署规划

node101	node102	node103	node104	node105
datax	datax	datax
ZK	ZK	ZK
RM	RM
		NM

数据建设实践之大数据平台(一)

大数据组件版本信息 zookeeper-3.5.7hadoop-3.3.5mysql-5.7.28apache-hive-3.1.3spark-3.3.1dataxapache-dolphinscheduler-3.1.9大数据技术架构大数据组件部署规划 node101node102node103node104node105datax datax datax ZK ZK ZK RM RM NM...

编程日记 2024/7/11 16:18:31

【MIT 6.5840/6.824】Lab1 MapReduce

MapReduce MapReduce思想实现思路感受 6.5840/6.824 Lab与笔记汇总本文对应的Lab版本为MIT6.5840-Spring2024的Lab1 本博客只提供思路，不会公开任何代码本lab耗时约6h，码量约500行 MapReduce思想 MapReduce的思想属于是比较简单的，分为两…...

编程日记 2024/7/11 16:16:29

如何在 C 语言中进行选择排序？

🍅关注博主🎗️ 带你畅游技术世界，不错过每一次成长机会！ 📙C 语言百万年薪修炼课程通俗易懂，深入浅出，匠心打磨，死磕细节，6年迭代，看过的人都说好。文章目…...

编程日记 2024/7/11 16:15:28

开源浏览器引擎对比与适用场景：WebKit、Chrome、Gecko

WebKit与Chrome的Blink引擎对比起源与关系： WebKit最初由苹果公司开发，用于Safari浏览器。后来，WebKit逐渐成为一个独立的开源项目，被多个浏览器厂商采用。Blink是Google基于WebKit项目分支出来的一个浏览器引擎，用于…...

编程日记 2024/7/11 16:12:24

DNF客户端使用

客户端使用 1、下载客户端2、配置网关连接到服务器2.1 网关设置参数：2.2 点击连接网关2.3 点击“参数设置内容立即生效” 3、使用网关生成登陆器3.1 登陆器参数设置3.2 点击增加3.3 复制网关的通信密钥,点击生成登陆器 4、复制替换相关文件4.1 复制登陆器到客户端文…...

编程日记 2024/7/11 16:10:22

打包时提示：Missing Gradle Project Information.或者在加载gradle时出错

1.Android打包弹出错误提示框：missing gradle project information. please check if the IDE successfully synchronized its state with the Gradble project model. 2.加载gradle出错：修复报错后 File -> Sync Project with Gradle Files...

编程日记 2024/7/11 16:09:21

基于前馈神经网络 FNN 实现股票单变量时间序列预测(PyTorch版)

前言系列专栏:【深度学习：算法项目实战】✨︎ 涉及医疗健康、财经金融、商业零售、食品饮料、运动健身、交通运输、环境科学、社交媒体以及文本和图像处理等诸多领域，讨论了各种复杂的深度神经网络思想，如卷积神经网络、循环神经网络、生成对…...

编程日记 2024/7/11 16:07:19

Scikit Learn - 建模手册（02）--- 数据表示、估算器

Scikit Learn - 数据表示文章目录一、说明二、数据表格2.1 数据作为特征矩阵2.2 数据作为目标数组三、什么是 Estimator API四、Estimator API 的使用五、指导原则六、使用 Estimator API 的步骤七、监督学习示例八、无监督学习示例一、说明众所周知，机器学习…...

编程日记 2024/7/11 16:06:18

【鸿蒙学习笔记】通过用户首选项实现数据持久化

官方文档：通过用户首选项实现数据持久化目录标题使用场景第1步：源码第2步：启动模拟器第3步：启动entry第6步：操作样例2 使用场景 Preferences会将该数据缓存在内存中，当用户读取的时候，能够快…...

编程日记 2024/7/11 16:04:15

LabVIEW航空发动机试验器数据监测分析

1. 概述为了适应航空发动机试验器的智能化发展，本文基于图形化编程工具LabVIEW为平台，结合航空发动机试验器原有的软硬件设备，设计开发了一套数据监测分析功能模块。主要阐述了数据监测分析功能设计中的设计思路和主要功能，以及…...

编程日记 2024/7/11 16:01:12

快速上手：前后端分离开发（Vue+Element+Spring Boot+MyBatis+MySQL）

文章目录前言项目简介环境准备第一步：初始化前端项目登录页面任务管理页面第二步：初始化后端项目数据库配置数据库表结构实体类和Mapper服务层和控制器第三步：连接前后端总结 🎉欢迎来到架构设计专栏~探索Java中的静态变量与实…...

编程日记 2024/7/11 16:00:11

产品推荐| 长江存储eMMC嵌入式储存 YMTC EC230

产品详情 EC230是基于长江存储晶栈Xtacking3.0三维闪存架构打造的新一代eMMC 5.1嵌入式存储产品。EC230的最大顺序读取速度达330MB/s，支持动态SLC缓存，为终端设备提供稳定高性能；支持自动后台/自动节能等操作，减少设备延迟&#…...

编程日记 2024/7/11 15:59:10

【Linux】IP地址与主机名

文章目录 1.IP地址2.特殊IP地址3.主机名4.域名解析 1.IP地址每一台联网的电脑都会有一个地址，用于和其它计算机进行通讯 IP地址主要有2个版本，V4版本和V6版本 IPv4版本的地址格式是：a.b.c.d,其中abcd表示0~255的数字，如192.168.…...

编程日记 2024/7/11 15:58:09

ros2--colcon

colcon ros2的编译工具，用于编译ros2项目； 需要在工作空间，也就是src上一级目录colcon build； 很明显colcon作为构建工具，通过调用CMake、Python setuptools完成构建。小鱼文档构建参数 --packages-select 仅构…...

编程日记 2024/7/11 15:57:08

PyCharm 2023.3.2 关闭时一直显示正在关闭项目

文章目录一、问题描述二、问题原因三、解决方法一、问题描述 PyCharm 2023.3.2 关闭时一直显示正在关闭项目二、问题原因因为PyCharm还没有加载完索引导致的三、解决方法方法一： 先使用任务管理器强制关闭，下次关闭时注意要等待PyCharm加载完索…...

编程日记 2024/7/11 15:56:07

VS2022 git拉取/推送代码错误

第一步：打开VS2022 第二步：工具->选项->源代码管理->Git 全局设置第三步：加密网络提供程序设置为：OpenSSL 完结：...

编程日记 2024/7/11 15:55:05

【Vue】vue3中使用swipe竖直方向上滚动

安装 npm install swipe使用 import swiper/css; import swiper/css/mousewheel; import { Swiper, SwiperSlide } from swiper/vue; import { Mousewheel } from swiper/modules;containerHeight 是容器的高度，一定要设置竖直方向上滚动高度，不然会非…...

编程日记 2024/7/11 15:54:04

搭建基于 ChatGPT 的问答系统

搭建基于 ChatGPT 的问答系统 📣1.简介📣2.模型，范式和 token📣3.检查输入-分类📣4.检查输入-监督📣5.思维链推理📣6.提示链📣7.检查输入📣8.评估（端到端系统…...

编程日记 2024/7/11 15:53:03

C++运行时类型识别

目录 C运行时类型识别A.What（什么是运行时类型识别RTTI）B.Why（为什么需要RTTI）C.dynamic_cast运算符Why（dynamic_cast运算符的作用）How（如何使用dynamic_cast运算符） D.typeid运算符…...

编程日记 2024/7/11 15:52:01

在微信上怎么制作一个商城链接

在这个快节奏的时代，每一分每一秒都显得尤为珍贵。随着移动互联网的飞速发展，我们的生活方式正经历着前所未有的变革，其中，微信作为国民级社交应用，早已超越了简单的聊天功能，成为了集社交、支付、生活服务…...

编程日记 2024/7/11 15:50:59

B站直播推流码获取技术全解析：从API集成到第三方工具落地实践

B站直播推流码获取技术全解析：从API集成到第三方工具落地实践【免费下载链接】bilibili_live_stream_code 用于在准备直播时获取第三方推流码，以便可以绕开哔哩哔哩直播姬，直接在如OBS等软件中进行直播，软件同时提供定义直播分区…...

编程新知 2026/4/4 19:50:57

Gemma-3-12b-it多模态交互工具效果展示：菜单图片识别+多语言翻译生成

Gemma-3-12b-it多模态交互工具效果展示：菜单图片识别多语言翻译生成 1. 引言：当AI看懂菜单，还能帮你翻译想象一下，你走进一家异国餐厅，面对一份满是陌生文字的菜单，完全不知道点什么好。这时候&#xff…...

编程新知 2026/4/4 19:04:29

PlayCover：重新定义Apple Silicon Mac的iOS应用运行体验

PlayCover：重新定义Apple Silicon Mac的iOS应用运行体验【免费下载链接】PlayCover Community fork of PlayCover 项目地址: https://gitcode.com/gh_mirrors/pl/PlayCover 价值定位：突破生态壁垒的三大核心创新如何打破苹果生态系统的应用边界…...

编程新知 2026/4/4 19:02:29

一键永久珍藏QQ空间回忆：GetQzonehistory完整备份指南

一键永久珍藏QQ空间回忆：GetQzonehistory完整备份指南【免费下载链接】GetQzonehistory 获取QQ空间发布的历史说说项目地址: https://gitcode.com/GitHub_Trending/ge/GetQzonehistory 你是否担心QQ空间里的珍贵回忆会随着时间流逝而消失？那些记…...

编程新知 2026/4/4 18:46:22

在Windows系统下使用fastboot命令

在Windows系统下使用fastboot命令第一步：确认工具已就绪第二步：让手机进入 Fastboot 模式方法 A：通过 ADB 命令重启（推荐，需先连接 ADB）方法 B：物理按键组合（手机关机状态下&#xf…...

编程新知 2026/4/4 18:42:21

多模态探索：OpenClaw+Qwen3-4B分析截图中的文字与图表数据

多模态探索：OpenClawQwen3-4B分析截图中的文字与图表数据 1. 为什么需要自动化处理截图数据作为一名经常需要处理学术论文的研究者，我长期被一个问题困扰：当阅读PDF论文时，遇到有价值的图表数据，传统方法只能手动录…...

编程新知 2026/4/4 17:59:51

智能SQL工具全攻略：从自然语言到高效数据查询的技术实践

智能SQL工具全攻略：从自然语言到高效数据查询的技术实践【免费下载链接】sqlcoder SoTA LLM for converting natural language questions to SQL queries 项目地址: https://gitcode.com/gh_mirrors/sq/sqlcoder 在数据驱动决策的时代，智能SQL工…...

编程新知 2026/4/4 17:35:40