Hadoop初体验
一、HDFS初体验
-
1. shell命令操作
hadoop fs -mkdir /itcast
hadoop fs -put zookeeper.out /itcast
hadoop fs -ls /
-
2. Web UI页面操作
结论：
- HDFS本质就是一个文件系统
- 有目录树结构 和Linux类似，分文件、文件夹
- 为什么上传一个小文件也这么慢？
二、MapReduce +YARN初体验
执行Hadoop官方自带的MapReduce案例
评估圆周率π的值
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4
思考：
- MapReduce本质是程序？
- 执行MapReduce的时候，为什么首先请求YARN?
- MapReduce看上去好像是两个阶段？
- 先Map,再Reduce？
- 处理小数据的时候，MapReduce速度快吗？
相关文章：
Hadoop初体验
一、HDFS初体验 1. shell命令操作 hadoop fs -mkdir /itcast hadoop fs -put zookeeper.out /itcast hadoop fs -ls / 2. Web UI页面操作 结论： HDFS本质就是一个文件系统有目录树结构 和Linux类似，分文件、文件夹为什么上传一个小文件也这…...
在vue2中操作数组，如何保证其视图的响应式
在 Vue 2 中，操作数组时需要注意一些方法不会触发视图的响应式更新。为了确保数组的操作是响应式的，可以使用 Vue 提供的响应式方法。以下是一些常见的操作及其替代方法： 使用 Vue.set 方法： 当你需要通过索引直接修改数组中的某个…...
CentOS的ssh复制文件
1.前提 首先要已经连接上了对方的ssh 2.命令 scp [文件] 目标IP:目标路径 例如： $PWD是一个环境变量，可以获取当前绝对目录，ssh上传的时候一定要确保对方有这个目录才行，不然会报错 3.递归上传 scp -r 目录 目标IP:路径 可以…...
Spring Cloud — Hystrix 服务隔离、请求缓存及合并
Hystrix 的核心是提供服务容错保护，防止任何单一依赖耗尽整个容器的全部用户线程。使用舱壁隔离模式，对资源或失败单元进行隔离，避免一个服务的失效导致整个系统垮掉（雪崩效应）。 1 Hystrix监控 Hystrix 提供了对服务…...
Vmware虚拟机Ubantu安装Docker、k8s、kuboard
准备工作: 切换用户：su root关闭防火墙: sudo ufw diasble关闭swap: systemctl stop swap.target systemctl status swap.target systemctl disable swap.target #开机禁用 systemctl stop swap.img.swap systemctl status swap.img.swap关闭虚拟交换分区 vim /…...
PHP建立MySQL持久化连接(长连接)及mysql与mysqli扩展的区别
如果在 PHP 5.3 的版本以前想要创建MySQL的持久化连接(长连接)，需要显式调用 pconnect 创建： $con mysql_pconnect($server[host], $server[username], $server[password]); if (!($con false)) { if (mysql_select_db($server[database], $con) fals…...
python爬虫系列课程2：如何下载Xpath Helper
python爬虫系列课程2：如何下载Xpath Helper 一、访问极简插件官网二、点击搜索按钮三、输入xpath并点击搜索四、点击推荐下载五、将下载下来的文件解压缩六、打开扩展程序界面七、将xpath.crx文件拖入扩展程序界面一、访问极简插件官网 极简插件官网地址：https://chrome.zzz…...
【Python项目】基于Python的Web漏洞挖掘系统
【Python项目】基于Python的Web漏洞挖掘系统 技术简介： 采用Python技术、MySQL数据库、Django框架、Scrapy爬虫等技术实现。 系统简介： Web漏洞挖掘系统是一个基于B/S架构的漏洞扫描平台，旨在通过自动化的方式对网站进行漏洞检测。系统主要功…...
多环境日志管理：使用Logback与Logstash集成实现高效日志处理
多环境日志管理：使用Logback与Logstash集成实现高效日志处理 在现代软件开发中，有效的日志管理是至关重要的。无论是调试问题、监控应用性能还是审计用户活动，良好的日志策略都能大大提高工作效率。本文将详细介绍如何配置Spring Boot项目以…...
idea连接gitee(使用idea远程兼容gitee)
文章目录 先登录你的gitee拿到你的邮箱找到idea的设置选择密码方式登录填写你的邮箱和密码登录成功 先登录你的gitee拿到你的邮箱 具体位置在gitee–>设置–>邮箱管理 找到idea的设置 选择密码方式登录 填写你的邮箱和密码 登录成功...
STM32 看门狗
目录 背景 独立看门狗（IWDG） 寄存器访问保护 窗口看门狗（WWDG） 程序 独立看门狗 设置独立看门狗程序 第一步、使能对独立看门狗寄存器的写操作 第二步、设置预分频和重装载值 第三步、喂狗 第四步、使能独立看门狗 喂狗…...
飞书API
extend目录下,API <?php // ---------------------------------------------------------------------- // | 飞书API // ---------------------------------------------------------------------- // | COPYRIGHT (C) 2021 http://www.jeoshi.com All rights reserved. …...
深入解析 Hydra 库：灵活强大的 Python 配置管理框架
深入解析 Hydra 库：灵活强大的 Python 配置管理框架 在机器学习、深度学习和复杂软件开发项目中，管理和维护大量的配置参数是一项具有挑战性的任务。传统的 argparse、json 或 yaml 方式虽然能管理部分配置，但随着项目规模的增长，…...
【开源免费】基于Vue和SpringBoot的失物招领平台（附论文）
本文项目编号 T 243 ，文末自助获取源码 \color{red}{T243，文末自助获取源码} T243，文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…...
科普：你的笔记本电脑中有三个IP：127.0.0.1、无线网 IP 和局域网 IP；两个域名：localhost和host.docker.internal
三个IP 你的笔记本电脑中有三个IP：127.0.0.1、无线网 IP 和局域网 IP。 在不同的场景下，需要选用不同的 IP 地址，如下为各自的特点及适用场景： 127.0.0.1（回环地址） 特点 127.0.0.1 是一个特殊的 IP 地…...
测试WSS服务器
必须有域名，证书也是强制关联这个域名，阿里云、腾讯云、百度云都可以申请免费的证书，外网对应的主机要备案到域名 备案：是针域名下的主机备案，不备案的话，会强制断网 这个网站可以测试本地WSS连接 …...
unity学习49：寻路网格链接 offMeshLinks, 以及传送门效果
目录 1 网格链接 offMeshLinks 功能入口 1.1 unity 2022之前 1.2 unity 2022之后 2 网格链接 offMeshLinks 功能设置 3 点击 offMeshLinks 功能里的bake 3.1 unity 2022之前 3.2 unity 2022之后 3.3 实测link 3.4 跳跃距离增大，可以实现轻功类的效果 4 …...
Web 开发中的 5 大跨域标签解析：如何安全地进行跨域请求与加载外部资源
在 Web 开发中，跨域（Cross-Origin）是指从一个源（协议、域名、端口）访问另一个源的资源。以下是5个常见的用于跨域操作的 HTML 标签，它们主要用于跨域请求或加载外部资源：1. <script> 标签 用途：最常用于进行跨域请求的标签，特别是在 JSONP 技术中。浏览器允许通…...
UMLS数据下载及访问
UMLS数据申请 这个直接在官网上申请即可，记得把地址填全，基本都会拿到lisence。 UMLS数据访问 UMLS的数据访问分为网页访问，API访问以及数据下载后的本地访问，网页访问，API访问按照官网的指示即可，这里主…...
23种设计模式 - 空对象模式
模式定义 空对象模式（Null Object Pattern）是一种行为型设计模式，通过用无操作的空对象替代null值，消除客户端对空值的检查，避免空指针异常。其核心是让空对象与真实对象实现相同接口，但空对象不执行实际逻…...
web vue 项目 Docker化部署
Web 项目 Docker 化部署详细教程 目录 Web 项目 Docker 化部署概述Dockerfile 详解 构建阶段生产阶段 构建和运行 Docker 镜像 1. Web 项目 Docker 化部署概述 Docker 化部署的主要步骤分为以下几个阶段： 构建阶段（Build Stage）：…...
vscode里如何用git
打开vs终端执行如下： 1 初始化 Git 仓库（如果尚未初始化） git init 2 添加文件到 Git 仓库 git add . 3 使用 git commit 命令来提交你的更改。确保在提交时加上一个有用的消息。 git commit -m "备注信息" 4 …...
Python爬虫（一）：爬虫伪装
一、网站防爬机制概述 在当今互联网环境中，具有一定规模或盈利性质的网站几乎都实施了各种防爬措施。这些措施主要分为两大类： 身份验证机制：直接将未经授权的爬虫阻挡在外反爬技术体系：通过各种技术手段增加爬虫获取数据的难度…...
dify打造数据可视化图表
一、概述 在日常工作和学习中，我们经常需要和数据打交道。无论是分析报告、项目展示，还是简单的数据洞察，一个清晰直观的图表，往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server，由蚂蚁集团 AntV 团队…...
Hive 存储格式深度解析：从 TextFile 到 ORC，如何选对数据存储方案？
在大数据处理领域，Hive 作为 Hadoop 生态中重要的数据仓库工具，其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式，很多开发者常常陷入选择困境。本文将从底…...
：观察者模式)
JS设计模式(4)：观察者模式
JS设计模式(4):观察者模式 一、引入 在开发中，我们经常会遇到这样的场景：一个对象的状态变化需要自动通知其他对象，比如： 电商平台中，商品库存变化时需要通知所有订阅该商品的用户；新闻网站中࿰…...
使用Spring AI和MCP协议构建图片搜索服务
目录 使用Spring AI和MCP协议构建图片搜索服务 引言 技术栈概览 项目架构设计 架构图 服务端开发 1. 创建Spring Boot项目 2. 实现图片搜索工具 3. 配置传输模式 Stdio模式（本地调用） SSE模式（远程调用） 4. 注册工具提…...
前端中slice和splic的区别
1. slice slice 用于从数组中提取一部分元素，返回一个新的数组。 特点： 不修改原数组：slice 不会改变原数组，而是返回一个新的数组。提取数组的部分：slice 会根据指定的开始索引和结束索引提取数组的一部分。不包含…...
Sklearn 机器学习 缺失值处理 获取填充失值的统计值
💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在CSDN上与你们相遇～💖 本博客的精华专栏： 【自动化测试】 【测试经验】 【人工智能】 【Python】 使用 Scikit-learn 处理缺失值并提取填充统计信息的完整指南 在机器学习项目中，数据清…...
Android写一个捕获全局异常的工具类
项目开发和实际运行过程中难免会遇到异常发生，系统提供了一个可以捕获全局异常的工具Uncaughtexceptionhandler，它是Thread的子类（就是package java.lang;里线程的Thread）。本文将利用它将设备信息、报错信息以及错误的发生时间都…...