Hadoop初体验
一、HDFS初体验
-
1. shell命令操作
hadoop fs -mkdir /itcast
hadoop fs -put zookeeper.out /itcast
hadoop fs -ls /
-
2. Web UI页面操作
结论：
- HDFS本质就是一个文件系统
- 有目录树结构 和Linux类似，分文件、文件夹
- 为什么上传一个小文件也这么慢？
二、MapReduce +YARN初体验
执行Hadoop官方自带的MapReduce案例
评估圆周率π的值
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4
思考：
- MapReduce本质是程序？
- 执行MapReduce的时候，为什么首先请求YARN?
- MapReduce看上去好像是两个阶段？
- 先Map,再Reduce？
- 处理小数据的时候，MapReduce速度快吗？
相关文章：
Hadoop初体验
一、HDFS初体验 1. shell命令操作 hadoop fs -mkdir /itcast hadoop fs -put zookeeper.out /itcast hadoop fs -ls / 2. Web UI页面操作 结论： HDFS本质就是一个文件系统有目录树结构 和Linux类似，分文件、文件夹为什么上传一个小文件也这…...
在vue2中操作数组，如何保证其视图的响应式
在 Vue 2 中，操作数组时需要注意一些方法不会触发视图的响应式更新。为了确保数组的操作是响应式的，可以使用 Vue 提供的响应式方法。以下是一些常见的操作及其替代方法： 使用 Vue.set 方法： 当你需要通过索引直接修改数组中的某个…...
CentOS的ssh复制文件
1.前提 首先要已经连接上了对方的ssh 2.命令 scp [文件] 目标IP:目标路径 例如： $PWD是一个环境变量，可以获取当前绝对目录，ssh上传的时候一定要确保对方有这个目录才行，不然会报错 3.递归上传 scp -r 目录 目标IP:路径 可以…...
Spring Cloud — Hystrix 服务隔离、请求缓存及合并
Hystrix 的核心是提供服务容错保护，防止任何单一依赖耗尽整个容器的全部用户线程。使用舱壁隔离模式，对资源或失败单元进行隔离，避免一个服务的失效导致整个系统垮掉（雪崩效应）。 1 Hystrix监控 Hystrix 提供了对服务…...
Vmware虚拟机Ubantu安装Docker、k8s、kuboard
准备工作: 切换用户：su root关闭防火墙: sudo ufw diasble关闭swap: systemctl stop swap.target systemctl status swap.target systemctl disable swap.target #开机禁用 systemctl stop swap.img.swap systemctl status swap.img.swap关闭虚拟交换分区 vim /…...
PHP建立MySQL持久化连接(长连接)及mysql与mysqli扩展的区别
如果在 PHP 5.3 的版本以前想要创建MySQL的持久化连接(长连接)，需要显式调用 pconnect 创建： $con mysql_pconnect($server[host], $server[username], $server[password]); if (!($con false)) { if (mysql_select_db($server[database], $con) fals…...
python爬虫系列课程2：如何下载Xpath Helper
python爬虫系列课程2：如何下载Xpath Helper 一、访问极简插件官网二、点击搜索按钮三、输入xpath并点击搜索四、点击推荐下载五、将下载下来的文件解压缩六、打开扩展程序界面七、将xpath.crx文件拖入扩展程序界面一、访问极简插件官网 极简插件官网地址：https://chrome.zzz…...
【Python项目】基于Python的Web漏洞挖掘系统
【Python项目】基于Python的Web漏洞挖掘系统 技术简介： 采用Python技术、MySQL数据库、Django框架、Scrapy爬虫等技术实现。 系统简介： Web漏洞挖掘系统是一个基于B/S架构的漏洞扫描平台，旨在通过自动化的方式对网站进行漏洞检测。系统主要功…...
多环境日志管理：使用Logback与Logstash集成实现高效日志处理
多环境日志管理：使用Logback与Logstash集成实现高效日志处理 在现代软件开发中，有效的日志管理是至关重要的。无论是调试问题、监控应用性能还是审计用户活动，良好的日志策略都能大大提高工作效率。本文将详细介绍如何配置Spring Boot项目以…...
idea连接gitee(使用idea远程兼容gitee)
文章目录 先登录你的gitee拿到你的邮箱找到idea的设置选择密码方式登录填写你的邮箱和密码登录成功 先登录你的gitee拿到你的邮箱 具体位置在gitee–>设置–>邮箱管理 找到idea的设置 选择密码方式登录 填写你的邮箱和密码 登录成功...
STM32 看门狗
目录 背景 独立看门狗（IWDG） 寄存器访问保护 窗口看门狗（WWDG） 程序 独立看门狗 设置独立看门狗程序 第一步、使能对独立看门狗寄存器的写操作 第二步、设置预分频和重装载值 第三步、喂狗 第四步、使能独立看门狗 喂狗…...
飞书API
extend目录下,API <?php // ---------------------------------------------------------------------- // | 飞书API // ---------------------------------------------------------------------- // | COPYRIGHT (C) 2021 http://www.jeoshi.com All rights reserved. …...
深入解析 Hydra 库：灵活强大的 Python 配置管理框架
深入解析 Hydra 库：灵活强大的 Python 配置管理框架 在机器学习、深度学习和复杂软件开发项目中，管理和维护大量的配置参数是一项具有挑战性的任务。传统的 argparse、json 或 yaml 方式虽然能管理部分配置，但随着项目规模的增长，…...
【开源免费】基于Vue和SpringBoot的失物招领平台（附论文）
本文项目编号 T 243 ，文末自助获取源码 \color{red}{T243，文末自助获取源码} T243，文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…...
科普：你的笔记本电脑中有三个IP：127.0.0.1、无线网 IP 和局域网 IP；两个域名：localhost和host.docker.internal
三个IP 你的笔记本电脑中有三个IP：127.0.0.1、无线网 IP 和局域网 IP。 在不同的场景下，需要选用不同的 IP 地址，如下为各自的特点及适用场景： 127.0.0.1（回环地址） 特点 127.0.0.1 是一个特殊的 IP 地…...
测试WSS服务器
必须有域名，证书也是强制关联这个域名，阿里云、腾讯云、百度云都可以申请免费的证书，外网对应的主机要备案到域名 备案：是针域名下的主机备案，不备案的话，会强制断网 这个网站可以测试本地WSS连接 …...
unity学习49：寻路网格链接 offMeshLinks, 以及传送门效果
目录 1 网格链接 offMeshLinks 功能入口 1.1 unity 2022之前 1.2 unity 2022之后 2 网格链接 offMeshLinks 功能设置 3 点击 offMeshLinks 功能里的bake 3.1 unity 2022之前 3.2 unity 2022之后 3.3 实测link 3.4 跳跃距离增大，可以实现轻功类的效果 4 …...
Web 开发中的 5 大跨域标签解析：如何安全地进行跨域请求与加载外部资源
在 Web 开发中，跨域（Cross-Origin）是指从一个源（协议、域名、端口）访问另一个源的资源。以下是5个常见的用于跨域操作的 HTML 标签，它们主要用于跨域请求或加载外部资源：1. <script> 标签 用途：最常用于进行跨域请求的标签，特别是在 JSONP 技术中。浏览器允许通…...
UMLS数据下载及访问
UMLS数据申请 这个直接在官网上申请即可，记得把地址填全，基本都会拿到lisence。 UMLS数据访问 UMLS的数据访问分为网页访问，API访问以及数据下载后的本地访问，网页访问，API访问按照官网的指示即可，这里主…...
23种设计模式 - 空对象模式
模式定义 空对象模式（Null Object Pattern）是一种行为型设计模式，通过用无操作的空对象替代null值，消除客户端对空值的检查，避免空指针异常。其核心是让空对象与真实对象实现相同接口，但空对象不执行实际逻…...
[特殊字符] 智能合约中的数据是如何在区块链中保持一致的？
🧠 智能合约中的数据是如何在区块链中保持一致的？ 为什么所有区块链节点都能得出相同结果？合约调用这么复杂，状态真能保持一致吗？本篇带你从底层视角理解“状态一致性”的真相。 一、智能合约的数据存储在哪里…...
使用rpicam-app通过网络流式传输视频)
树莓派超全系列教程文档--(62)使用rpicam-app通过网络流式传输视频
使用rpicam-app通过网络流式传输视频 使用 rpicam-app 通过网络流式传输视频UDPTCPRTSPlibavGStreamerRTPlibcamerasrc GStreamer 元素 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 使用 rpicam-app 通过网络流式传输视频 本节介绍来自 rpica…...
《从零掌握MIPI CSI-2: 协议精解与FPGA摄像头开发实战》-- CSI-2 协议详细解析 (一）
CSI-2 协议详细解析 (一） 1. CSI-2层定义（CSI-2 Layer Definitions） 分层结构 ：CSI-2协议分为6层： 物理层（PHY Layer） ： 定义电气特性、时钟机制和传输介质（导线&#…...
376. Wiggle Subsequence
376. Wiggle Subsequence 代码 class Solution { public:int wiggleMaxLength(vector<int>& nums) {int n nums.size();int res 1;int prediff 0;int curdiff 0;for(int i 0;i < n-1;i){curdiff nums[i1] - nums[i];if( (prediff > 0 && curdif…...
智能在线客服平台：数字化时代企业连接用户的 AI 中枢
随着互联网技术的飞速发展，消费者期望能够随时随地与企业进行交流。在线客服平台作为连接企业与客户的重要桥梁，不仅优化了客户体验，还提升了企业的服务效率和市场竞争力。本文将探讨在线客服平台的重要性、技术进展、实际应用，并…...
苍穹外卖--缓存菜品
1.问题说明 用户端小程序展示的菜品数据都是通过查询数据库获得，如果用户端访问量比较大，数据库访问压力随之增大 2.实现思路 通过Redis来缓存菜品数据，减少数据库查询操作。 缓存逻辑分析： ①每个分类下的菜品保持一份缓存数据…...
【C语言练习】080. 使用C语言实现简单的数据库操作
080. 使用C语言实现简单的数据库操作 080. 使用C语言实现简单的数据库操作使用原生APIODBC接口第三方库ORM框架文件模拟1. 安装SQLite2. 示例代码：使用SQLite创建数据库、表和插入数据3. 编译和运行4. 示例运行输出：5. 注意事项6. 总结080. 使用C语言实现简单的数据库操作 在…...
代理篇12|深入理解 Vite中的Proxy接口代理配置
在前端开发中，常常会遇到 跨域请求接口 的情况。为了解决这个问题，Vite 和 Webpack 都提供了 proxy 代理功能，用于将本地开发请求转发到后端服务器。 什么是代理（proxy）？ 代理是在开发过程中，前端项目通过开发服务器，将指定的请求“转发”到真实的后端服务器，从而绕…...
C# 求圆面积的程序（Program to find area of a circle）
给定半径r，求圆的面积。圆的面积应精确到小数点后5位。 例子： 输入：r 5 输出：78.53982 解释：由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982，因为我们只保留小数点后 5 位数字。 输…...
JVM虚拟机：内存结构、垃圾回收、性能优化
1、JVM虚拟机的简介 Java 虚拟机（Java Virtual Machine 简称：JVM）是运行所有 Java 程序的抽象计算机，是 Java 语言的运行环境，实现了 Java 程序的跨平台特性。JVM 屏蔽了与具体操作系统平台相关的信息，使得 Java 程序只需生成在 JVM 上运行的目标代码（字节码），就可以…...