Hadoop初体验
一、HDFS初体验
-
1. shell命令操作
hadoop fs -mkdir /itcast
hadoop fs -put zookeeper.out /itcast
hadoop fs -ls /
-
2. Web UI页面操作
结论：
- HDFS本质就是一个文件系统
- 有目录树结构 和Linux类似，分文件、文件夹
- 为什么上传一个小文件也这么慢？
二、MapReduce +YARN初体验
执行Hadoop官方自带的MapReduce案例
评估圆周率π的值
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4
思考：
- MapReduce本质是程序？
- 执行MapReduce的时候，为什么首先请求YARN?
- MapReduce看上去好像是两个阶段？
- 先Map,再Reduce？
- 处理小数据的时候，MapReduce速度快吗？
相关文章：
Hadoop初体验
一、HDFS初体验 1. shell命令操作 hadoop fs -mkdir /itcast hadoop fs -put zookeeper.out /itcast hadoop fs -ls / 2. Web UI页面操作 结论： HDFS本质就是一个文件系统有目录树结构 和Linux类似，分文件、文件夹为什么上传一个小文件也这…...
在vue2中操作数组，如何保证其视图的响应式
在 Vue 2 中，操作数组时需要注意一些方法不会触发视图的响应式更新。为了确保数组的操作是响应式的，可以使用 Vue 提供的响应式方法。以下是一些常见的操作及其替代方法： 使用 Vue.set 方法： 当你需要通过索引直接修改数组中的某个…...
CentOS的ssh复制文件
1.前提 首先要已经连接上了对方的ssh 2.命令 scp [文件] 目标IP:目标路径 例如： $PWD是一个环境变量，可以获取当前绝对目录，ssh上传的时候一定要确保对方有这个目录才行，不然会报错 3.递归上传 scp -r 目录 目标IP:路径 可以…...
Spring Cloud — Hystrix 服务隔离、请求缓存及合并
Hystrix 的核心是提供服务容错保护，防止任何单一依赖耗尽整个容器的全部用户线程。使用舱壁隔离模式，对资源或失败单元进行隔离，避免一个服务的失效导致整个系统垮掉（雪崩效应）。 1 Hystrix监控 Hystrix 提供了对服务…...
Vmware虚拟机Ubantu安装Docker、k8s、kuboard
准备工作: 切换用户：su root关闭防火墙: sudo ufw diasble关闭swap: systemctl stop swap.target systemctl status swap.target systemctl disable swap.target #开机禁用 systemctl stop swap.img.swap systemctl status swap.img.swap关闭虚拟交换分区 vim /…...
PHP建立MySQL持久化连接(长连接)及mysql与mysqli扩展的区别
如果在 PHP 5.3 的版本以前想要创建MySQL的持久化连接(长连接)，需要显式调用 pconnect 创建： $con mysql_pconnect($server[host], $server[username], $server[password]); if (!($con false)) { if (mysql_select_db($server[database], $con) fals…...
python爬虫系列课程2：如何下载Xpath Helper
python爬虫系列课程2：如何下载Xpath Helper 一、访问极简插件官网二、点击搜索按钮三、输入xpath并点击搜索四、点击推荐下载五、将下载下来的文件解压缩六、打开扩展程序界面七、将xpath.crx文件拖入扩展程序界面一、访问极简插件官网 极简插件官网地址：https://chrome.zzz…...
【Python项目】基于Python的Web漏洞挖掘系统
【Python项目】基于Python的Web漏洞挖掘系统 技术简介： 采用Python技术、MySQL数据库、Django框架、Scrapy爬虫等技术实现。 系统简介： Web漏洞挖掘系统是一个基于B/S架构的漏洞扫描平台，旨在通过自动化的方式对网站进行漏洞检测。系统主要功…...
多环境日志管理：使用Logback与Logstash集成实现高效日志处理
多环境日志管理：使用Logback与Logstash集成实现高效日志处理 在现代软件开发中，有效的日志管理是至关重要的。无论是调试问题、监控应用性能还是审计用户活动，良好的日志策略都能大大提高工作效率。本文将详细介绍如何配置Spring Boot项目以…...
idea连接gitee(使用idea远程兼容gitee)
文章目录 先登录你的gitee拿到你的邮箱找到idea的设置选择密码方式登录填写你的邮箱和密码登录成功 先登录你的gitee拿到你的邮箱 具体位置在gitee–>设置–>邮箱管理 找到idea的设置 选择密码方式登录 填写你的邮箱和密码 登录成功...
STM32 看门狗
目录 背景 独立看门狗（IWDG） 寄存器访问保护 窗口看门狗（WWDG） 程序 独立看门狗 设置独立看门狗程序 第一步、使能对独立看门狗寄存器的写操作 第二步、设置预分频和重装载值 第三步、喂狗 第四步、使能独立看门狗 喂狗…...
飞书API
extend目录下,API <?php // ---------------------------------------------------------------------- // | 飞书API // ---------------------------------------------------------------------- // | COPYRIGHT (C) 2021 http://www.jeoshi.com All rights reserved. …...
深入解析 Hydra 库：灵活强大的 Python 配置管理框架
深入解析 Hydra 库：灵活强大的 Python 配置管理框架 在机器学习、深度学习和复杂软件开发项目中，管理和维护大量的配置参数是一项具有挑战性的任务。传统的 argparse、json 或 yaml 方式虽然能管理部分配置，但随着项目规模的增长，…...
【开源免费】基于Vue和SpringBoot的失物招领平台（附论文）
本文项目编号 T 243 ，文末自助获取源码 \color{red}{T243，文末自助获取源码} T243，文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…...
科普：你的笔记本电脑中有三个IP：127.0.0.1、无线网 IP 和局域网 IP；两个域名：localhost和host.docker.internal
三个IP 你的笔记本电脑中有三个IP：127.0.0.1、无线网 IP 和局域网 IP。 在不同的场景下，需要选用不同的 IP 地址，如下为各自的特点及适用场景： 127.0.0.1（回环地址） 特点 127.0.0.1 是一个特殊的 IP 地…...
测试WSS服务器
必须有域名，证书也是强制关联这个域名，阿里云、腾讯云、百度云都可以申请免费的证书，外网对应的主机要备案到域名 备案：是针域名下的主机备案，不备案的话，会强制断网 这个网站可以测试本地WSS连接 …...
unity学习49：寻路网格链接 offMeshLinks, 以及传送门效果
目录 1 网格链接 offMeshLinks 功能入口 1.1 unity 2022之前 1.2 unity 2022之后 2 网格链接 offMeshLinks 功能设置 3 点击 offMeshLinks 功能里的bake 3.1 unity 2022之前 3.2 unity 2022之后 3.3 实测link 3.4 跳跃距离增大，可以实现轻功类的效果 4 …...
Web 开发中的 5 大跨域标签解析：如何安全地进行跨域请求与加载外部资源
在 Web 开发中，跨域（Cross-Origin）是指从一个源（协议、域名、端口）访问另一个源的资源。以下是5个常见的用于跨域操作的 HTML 标签，它们主要用于跨域请求或加载外部资源：1. <script> 标签 用途：最常用于进行跨域请求的标签，特别是在 JSONP 技术中。浏览器允许通…...
UMLS数据下载及访问
UMLS数据申请 这个直接在官网上申请即可，记得把地址填全，基本都会拿到lisence。 UMLS数据访问 UMLS的数据访问分为网页访问，API访问以及数据下载后的本地访问，网页访问，API访问按照官网的指示即可，这里主…...
23种设计模式 - 空对象模式
模式定义 空对象模式（Null Object Pattern）是一种行为型设计模式，通过用无操作的空对象替代null值，消除客户端对空值的检查，避免空指针异常。其核心是让空对象与真实对象实现相同接口，但空对象不执行实际逻…...
通过Wrangler CLI在worker中创建数据库和表
官方使用文档：Getting started Cloudflare D1 docs 创建数据库 在命令行中执行完成之后，会在本地和远程创建数据库： npx wranglerlatest d1 create prod-d1-tutorial 在cf中就可以看到数据库： 现在，您的Cloudfla…...
MySQL用户和授权
开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务： test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...
Java毕业设计：WML信息查询与后端信息发布系统开发
JAVAWML信息查询与后端信息发布系统实现 一、系统概述 本系统基于Java和WML(无线标记语言)技术开发，实现了移动设备上的信息查询与后端信息发布功能。系统采用B/S架构，服务器端使用Java Servlet处理请求，数据库采用MySQL存储信息࿰…...
MySQL 部分重点知识篇
一、数据库对象 1. 主键 定义 ：主键是用于唯一标识表中每一行记录的字段或字段组合。它具有唯一性和非空性特点。 作用 ：确保数据的完整性，便于数据的查询和管理。 示例 ：在学生信息表中，学号可以作为主键ÿ…...
土建施工员考试：建筑施工技术重点知识有哪些？
《管理实务》是土建施工员考试中侧重实操应用与管理能力的科目，核心考查施工组织、质量安全、进度成本等现场管理要点。以下是结合考试大纲与高频考点整理的重点内容，附学习方向和应试技巧： 一、施工组织与进度管理 核心目标： 规…...
数据分析六部曲？
引言 上一章我们说到了数据分析六部曲，何谓六部曲呢？ 其实啊，数据分析没那么难，只要掌握了下面这六个步骤，也就是数据分析六部曲，就算你是个啥都不懂的小白，也能慢慢上手做数据分析啦。 第一…...
32位寻址与64位寻址
32位寻址与64位寻址 32位寻址是什么？ 32位寻址是指计算机的CPU、内存或总线系统使用32位二进制数来标识和访问内存中的存储单元（地址），其核心含义与能力如下： 1. 核心定义 地址位宽：CPU或内存控制器用32位…...
【1】跨越技术栈鸿沟：字节跳动开源TRAE AI编程IDE的实战体验
2024年初，人工智能编程工具领域发生了一次静默的变革。当字节跳动宣布退出其TRAE项目（一款融合大型语言模型能力的云端AI编程IDE）时，技术社区曾短暂叹息。然而这一退场并非终点——通过开源社区的接力，TRAE在WayToAGI等…...
Python第七周作业
Python第七周作业 文章目录 Python第七周作业 1.使用open以只读模式打开文件data.txt，并逐行打印内容 2.使用pathlib模块获取当前脚本的绝对路径，并创建logs目录（若不存在） 3.递归遍历目录data，输出所有.csv文件的路径…...
【技巧】dify前端源代码修改第一弹-增加tab页
回到目录 【技巧】dify前端源代码修改第一弹-增加tab页 尝试修改dify的前端源代码，在知识库增加一个tab页"HELLO WORLD"，完成后的效果如下 [gif01] 1. 前端代码进入调试模式 参考 【部署】win10的wsl环境下启动dify的web前端服务 启动调试…...