Hadoop初体验
一、HDFS初体验
-
1. shell命令操作
hadoop fs -mkdir /itcast
hadoop fs -put zookeeper.out /itcast
hadoop fs -ls /
-
2. Web UI页面操作
结论：
- HDFS本质就是一个文件系统
- 有目录树结构 和Linux类似，分文件、文件夹
- 为什么上传一个小文件也这么慢？
二、MapReduce +YARN初体验
执行Hadoop官方自带的MapReduce案例
评估圆周率π的值
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4
思考：
- MapReduce本质是程序？
- 执行MapReduce的时候，为什么首先请求YARN?
- MapReduce看上去好像是两个阶段？
- 先Map,再Reduce？
- 处理小数据的时候，MapReduce速度快吗？
相关文章：
Hadoop初体验
一、HDFS初体验 1. shell命令操作 hadoop fs -mkdir /itcast hadoop fs -put zookeeper.out /itcast hadoop fs -ls / 2. Web UI页面操作 结论： HDFS本质就是一个文件系统有目录树结构 和Linux类似，分文件、文件夹为什么上传一个小文件也这…...
在vue2中操作数组，如何保证其视图的响应式
在 Vue 2 中，操作数组时需要注意一些方法不会触发视图的响应式更新。为了确保数组的操作是响应式的，可以使用 Vue 提供的响应式方法。以下是一些常见的操作及其替代方法： 使用 Vue.set 方法： 当你需要通过索引直接修改数组中的某个…...
CentOS的ssh复制文件
1.前提 首先要已经连接上了对方的ssh 2.命令 scp [文件] 目标IP:目标路径 例如： $PWD是一个环境变量，可以获取当前绝对目录，ssh上传的时候一定要确保对方有这个目录才行，不然会报错 3.递归上传 scp -r 目录 目标IP:路径 可以…...
Spring Cloud — Hystrix 服务隔离、请求缓存及合并
Hystrix 的核心是提供服务容错保护，防止任何单一依赖耗尽整个容器的全部用户线程。使用舱壁隔离模式，对资源或失败单元进行隔离，避免一个服务的失效导致整个系统垮掉（雪崩效应）。 1 Hystrix监控 Hystrix 提供了对服务…...
Vmware虚拟机Ubantu安装Docker、k8s、kuboard
准备工作: 切换用户：su root关闭防火墙: sudo ufw diasble关闭swap: systemctl stop swap.target systemctl status swap.target systemctl disable swap.target #开机禁用 systemctl stop swap.img.swap systemctl status swap.img.swap关闭虚拟交换分区 vim /…...
PHP建立MySQL持久化连接(长连接)及mysql与mysqli扩展的区别
如果在 PHP 5.3 的版本以前想要创建MySQL的持久化连接(长连接)，需要显式调用 pconnect 创建： $con mysql_pconnect($server[host], $server[username], $server[password]); if (!($con false)) { if (mysql_select_db($server[database], $con) fals…...
python爬虫系列课程2：如何下载Xpath Helper
python爬虫系列课程2：如何下载Xpath Helper 一、访问极简插件官网二、点击搜索按钮三、输入xpath并点击搜索四、点击推荐下载五、将下载下来的文件解压缩六、打开扩展程序界面七、将xpath.crx文件拖入扩展程序界面一、访问极简插件官网 极简插件官网地址：https://chrome.zzz…...
【Python项目】基于Python的Web漏洞挖掘系统
【Python项目】基于Python的Web漏洞挖掘系统 技术简介： 采用Python技术、MySQL数据库、Django框架、Scrapy爬虫等技术实现。 系统简介： Web漏洞挖掘系统是一个基于B/S架构的漏洞扫描平台，旨在通过自动化的方式对网站进行漏洞检测。系统主要功…...
多环境日志管理：使用Logback与Logstash集成实现高效日志处理
多环境日志管理：使用Logback与Logstash集成实现高效日志处理 在现代软件开发中，有效的日志管理是至关重要的。无论是调试问题、监控应用性能还是审计用户活动，良好的日志策略都能大大提高工作效率。本文将详细介绍如何配置Spring Boot项目以…...
idea连接gitee(使用idea远程兼容gitee)
文章目录 先登录你的gitee拿到你的邮箱找到idea的设置选择密码方式登录填写你的邮箱和密码登录成功 先登录你的gitee拿到你的邮箱 具体位置在gitee–>设置–>邮箱管理 找到idea的设置 选择密码方式登录 填写你的邮箱和密码 登录成功...
STM32 看门狗
目录 背景 独立看门狗（IWDG） 寄存器访问保护 窗口看门狗（WWDG） 程序 独立看门狗 设置独立看门狗程序 第一步、使能对独立看门狗寄存器的写操作 第二步、设置预分频和重装载值 第三步、喂狗 第四步、使能独立看门狗 喂狗…...
飞书API
extend目录下,API <?php // ---------------------------------------------------------------------- // | 飞书API // ---------------------------------------------------------------------- // | COPYRIGHT (C) 2021 http://www.jeoshi.com All rights reserved. …...
深入解析 Hydra 库：灵活强大的 Python 配置管理框架
深入解析 Hydra 库：灵活强大的 Python 配置管理框架 在机器学习、深度学习和复杂软件开发项目中，管理和维护大量的配置参数是一项具有挑战性的任务。传统的 argparse、json 或 yaml 方式虽然能管理部分配置，但随着项目规模的增长，…...
【开源免费】基于Vue和SpringBoot的失物招领平台（附论文）
本文项目编号 T 243 ，文末自助获取源码 \color{red}{T243，文末自助获取源码} T243，文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…...
科普：你的笔记本电脑中有三个IP：127.0.0.1、无线网 IP 和局域网 IP；两个域名：localhost和host.docker.internal
三个IP 你的笔记本电脑中有三个IP：127.0.0.1、无线网 IP 和局域网 IP。 在不同的场景下，需要选用不同的 IP 地址，如下为各自的特点及适用场景： 127.0.0.1（回环地址） 特点 127.0.0.1 是一个特殊的 IP 地…...
测试WSS服务器
必须有域名，证书也是强制关联这个域名，阿里云、腾讯云、百度云都可以申请免费的证书，外网对应的主机要备案到域名 备案：是针域名下的主机备案，不备案的话，会强制断网 这个网站可以测试本地WSS连接 …...
unity学习49：寻路网格链接 offMeshLinks, 以及传送门效果
目录 1 网格链接 offMeshLinks 功能入口 1.1 unity 2022之前 1.2 unity 2022之后 2 网格链接 offMeshLinks 功能设置 3 点击 offMeshLinks 功能里的bake 3.1 unity 2022之前 3.2 unity 2022之后 3.3 实测link 3.4 跳跃距离增大，可以实现轻功类的效果 4 …...
Web 开发中的 5 大跨域标签解析：如何安全地进行跨域请求与加载外部资源
在 Web 开发中，跨域（Cross-Origin）是指从一个源（协议、域名、端口）访问另一个源的资源。以下是5个常见的用于跨域操作的 HTML 标签，它们主要用于跨域请求或加载外部资源：1. <script> 标签 用途：最常用于进行跨域请求的标签，特别是在 JSONP 技术中。浏览器允许通…...
UMLS数据下载及访问
UMLS数据申请 这个直接在官网上申请即可，记得把地址填全，基本都会拿到lisence。 UMLS数据访问 UMLS的数据访问分为网页访问，API访问以及数据下载后的本地访问，网页访问，API访问按照官网的指示即可，这里主…...
23种设计模式 - 空对象模式
模式定义 空对象模式（Null Object Pattern）是一种行为型设计模式，通过用无操作的空对象替代null值，消除客户端对空值的检查，避免空指针异常。其核心是让空对象与真实对象实现相同接口，但空对象不执行实际逻…...
从WWDC看苹果产品发展的规律
WWDC 是苹果公司一年一度面向全球开发者的盛会，其主题演讲展现了苹果在产品设计、技术路线、用户体验和生态系统构建上的核心理念与演进脉络。我们借助 ChatGPT Deep Research 工具，对过去十年 WWDC 主题演讲内容进行了系统化分析，形成了这份…...
【磁盘】每天掌握一个Linux命令 - iostat
目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat（I/O Statistics）是Linux系统下用于监视系统输入输出设备和CPU使…...
最新SpringBoot+SpringCloud+Nacos微服务框架分享
文章目录 前言一、服务规划二、架构核心1.cloud的pom2.gateway的异常handler3.gateway的filter4、admin的pom5、admin的登录核心 三、code-helper分享总结 前言 最近有个活蛮赶的，根据Excel列的需求预估的工时直接打骨折，不要问我为什么，主要…...
Spring AI与Spring Modulith核心技术解析
Spring AI核心架构解析 Spring AI（https://spring.io/projects/spring-ai）作为Spring生态中的AI集成框架，其核心设计理念是通过模块化架构降低AI应用的开发复杂度。与Python生态中的LangChain/LlamaIndex等工具类似，但特别为多语…...
Java毕业设计：WML信息查询与后端信息发布系统开发
JAVAWML信息查询与后端信息发布系统实现 一、系统概述 本系统基于Java和WML(无线标记语言)技术开发，实现了移动设备上的信息查询与后端信息发布功能。系统采用B/S架构，服务器端使用Java Servlet处理请求，数据库采用MySQL存储信息࿰…...
push [特殊字符] present
push 🆚 present 前言present和dismiss特点代码演示 push和pop特点代码演示 前言 在 iOS 开发中，push 和 present 是两种不同的视图控制器切换方式，它们有着显著的区别。 present和dismiss 特点 在当前控制器上方新建视图层级需要手动调用…...
站群服务器的应用场景都有哪些？
站群服务器主要是为了多个网站的托管和管理所设计的，可以通过集中管理和高效资源的分配，来支持多个独立的网站同时运行，让每一个网站都可以分配到独立的IP地址，避免出现IP关联的风险，用户还可以通过控制面板进行管理功…...
0x-3-Oracle 23 ai-sqlcl 25.1 集成安装-配置和优化
是不是受够了安装了oracle database之后sqlplus的简陋，无法删除无法上下翻页的苦恼。 可以安装readline和rlwrap插件的话，配置.bahs_profile后也能解决上下翻页这些，但是很多生产环境无法安装rpm包。 oracle提供了sqlcl免费许可，…...
在RK3588上搭建ROS1环境：创建节点与数据可视化实战指南
在RK3588上搭建ROS1环境：创建节点与数据可视化实战指南 背景介绍完整操作步骤1. 创建Docker容器环境2. 验证GUI显示功能3. 安装ROS Noetic4. 配置环境变量5. 创建ROS节点（小球运动模拟）6. 配置RVIZ默认视图7. 创建启动脚本8. 运行可视化系统效果展示与交互技术解析ROS节点通…...
多元隐函数 偏导公式
我们来推导隐函数 z z ( x , y ) z z(x, y) zz(x,y) 的偏导公式，给定一个隐函数关系： F ( x , y , z ( x , y ) ) 0 F(x, y, z(x, y)) 0 F(x,y,z(x,y))0 🧠 目标： 求 ∂ z ∂ x \frac{\partial z}{\partial x} ∂x∂z、 …...