01.hadoop上课笔记之hadoop介绍
1.大数据介绍
- 可以对未来数据预测 google通过搜索预测流感,足球球员有一 定关联…
- caict可以得到数据
- hbase hive林子雨mooc
- 数据要进行挖掘(推断更多信息)
2.大数据是非结构化数据多:声音,图片…
3.大数据影响因素 大多快低 tb pb eb zb
1.硬件
2.网络带宽
4.大数据的特征
- 数据量大
- 数据格式多样
- 速度快 秒级实时响应
- 低价值密度
5.大数据的影响
- 数据多,抽样不能表达所有全样(全部数据) 如灯泡检测,用以前灯泡检测数据,进行分析它的 趋势
- 效率而非精确(数据中不一定是准确的,预测一瞬间的数据)
- 相关而非因果(相关性,有关联, 啤酒和尿布,因为因果很难知道去发现…)
6.大数据的应用领域
银行 做信贷风险分析(贷不贷款给他)
汽车 无人驾驶 判断是否遇到障碍
零售 商品推荐
餐饮 麦当劳的选址 我们的手机通讯商发现人流量多,卖信息给麦当劳
上海迪士尼 发手环,定位你,送餐给你避免餐厅拥挤
7.hadoop是他孩子的黄色的小象
hadoop 2008年出名 10亿数据排序 打破世界纪录 雅虎 腾讯 阿里(使用商业版) facebook 百度 淘宝使用
hadoop特性 高可靠性高效性 高可扩展性 高容错性 成本低 (加社区,面试有用) (如 spark在内存里面计算)
相关文章：
01.hadoop上课笔记之hadoop介绍
1.大数据介绍 可以对未来数据预测 google通过搜索预测流感,足球球员有一 定关联…caict可以得到数据hbase hive林子雨mooc数据要进行挖掘(推断更多信息) 2.大数据是非结构化数据多:声音,图片… 3.大数据影响因素 大多快低 tb pb eb zb 1.硬件 2.网络带宽 4.大数据的特征 数据量…...
小鹏汽车Q1财报：押注G6、大力降本，明年智驾BOM降半
作者 | 德新编辑 | 王博 小鹏汽车本周发了Q1财报，数据不好看，以致于在微博端也发了公开信。 那后续呢？ 小鹏第二季度指引是，总交付数量约为2.1 - 2.2万辆，收入预计约为45 - 47亿元；四季度，…...
VMware ESXi 8.0U1a 发布 - 领先的裸机 Hypervisor
VMware ESXi 8.0U1a 发布 - 领先的裸机 Hypervisor 请访问原文链接：https://sysin.org/blog/vmware-esxi-8-u1/，查看最新版。原创作品，转载请保留出处。 作者主页：sysin.org 2023-06-01, VMware vSphere 8.0U1a 发布。 详见&am…...
Unity的IPreprocessBuild：深入解析与实用案例
Unity IPreprocessBuild Unity IPreprocessBuild是Unity引擎中的一个非常有用的功能，它可以让开发者在构建项目时自动执行一些操作。这个功能可以帮助开发者提高工作效率，减少手动操作的时间和错误率。在本文中我们将介绍Unity IPreprocessBuild的使用方…...
htmlCSS-----CSS选择器（下）
目录 前言： 2.高级选择器 （1）子代选择器 （2）伪类选择器 （3）后代选择器 （4）兄弟选择器 相邻兄弟选择器 通用兄弟选择器 （5）并集选择器 &am…...
RDK X3 Module发布，全新软硬件平台加速实现量产级产品落地
机器人开发是一段美妙的旅程。GEEKROS创始人杨状状是地平线社区的一名开发者，热衷于鼓捣各类机器人，2022年，状状第一时间就拿到了地平线旭日X3派（简称旭日X3派），基于TogetheROS™.Bot机器人操作系统&#x…...
【面试实战】Redis缓存设计
文章目录 Redis缓存出现的问题🙎♂️面试官：什么是缓存雪崩？🙎♂️面试官：怎样解决缓存雪崩？🙎♂️面试官：什么是缓存击穿？🙎♂️面试官：怎样解决缓存击穿？🙎♂️面试官：什么是缓存穿透？🙎♂️面试官：怎样解决缓存穿透？🙎♂️面试官：…...
如何解决js定时器不准确问题
为什么会出现定时器不准确呢？ 这个其实就得提到js执行机制了，叫做事件循环Eventloop 循环机制中，异步事件 setInterval 到时后会把回调函数放入消息队列中Event Queue，主线程的宏任务执行完毕后依次执行消息队列的微任务ÿ…...
学习笔记——vue中使用el-dropdown组件报错
今天在工作中，发现使用el-select做的下拉框，下拉菜单展开后，鼠标点击下拉框之外的区域时，下拉菜单没有收起。然后，我打开控制台，发现了这个错误。 Uncaught TypeError: Cannot read properties of null (re…...
Java之旅（八）
Java 条件运算符 Java 条件运算符用于根据一个条件表达式的布尔值来决定程序执行的流程。条件运算符有三种类型：if、else 和 switch。 if 语句的一般格式如下： if (condition) {// 条件为 true 执行的代码块 } 其中，condition 是一个 bool…...
华为OD机试真题（Java），四则运算（100%通过+复盘思路）
一、题目描述 输入一个表达式（用字符串表示），求这个表达式的值。 保证字符串中的有效字符包括[‘0’-‘9’],‘+’,‘-’, ‘*’,‘/’ ,‘(’， ‘)’,‘[’, ‘]’,‘{’ ,‘}’。且表达式一定合法。 数据范围：表达式计算结果和过程中满足∣val∣≤1000 ，字符串长度满…...
HTML表单标签form分析
说明：在html的标签中，表单标签与后台联系密切，像用户登录、注册，都是用到页面的表单标签，用户将信息填入到表单中，提交到后端业务中校验处理，再将结果反馈给前端页面。 表单内的标签分别有&…...
Qt 项目文件Pri详解
在Qt项目中，pri文件(.pri)是一种类似于makefile的文件，用于定义Qt项目中的编译规则。通常可以用pri文件来配置Qt库、头文件、源文件、链接库等信息，这样可以把这些信息定义在一个文件中，避免在每个工程中都进行重复配置࿰…...
Keil 5 MDK 发律师函警告了，如何用STCubeIDE开发标准库的程序（STM32F103C8T6为例）
用STCubeIDE进行标准库开发 1、CubeIDE介绍 https://www.stmcu.com.cn/ecosystem/Cube/STM32CubeIDE 2、CubeIDE下载 点击上面的链接，登录即可下载 3、搭建Demo工程 新建一个工作空间 创建一个工程 选择芯片-STM32F103C8T6 填写工程信息 添加标准库到工程 标…...
接口测试--apipost接口断言详解
在做接口测试的时候，会对接口进行断言，一个完整的接口测试，包括：请求->获取响应正文->断言。 一、apipost如何进行断言 apipost的断言设置实在后执行脚本中进行编写的。apipost本身提供了11中断言： apt.asser…...
YYDS练手 130道python练习题 完整版PDF
近年来，Python在编程语言界里赚足了风头，无论是受欢迎程度，还是薪资待遇，都非常可观，相应的，Python岗位要求也越来越高，无论你是零基础还是老前辈，在Python面试中都不能轻视。 不打…...
2-python的变量类型
内容提要 主要回顾了python中的变量类型，区分它们和c中的区别 python中的数字没有long python中的字符串不能被改变，也就是说不能对其内字符元素进行赋值操作 python中列表的数据类型与c访问方式有一定的区别列表的下标可以是负数，无论正负&…...
Python之并发编程一背景知识
一、开篇介绍 顾名思义，进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。 进程的概念起源于操作系统，是操作系统最核心的概念，也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展…...
Redis分区
分区 Redis是单线程的，如何提高多核CPU的利用率？ 可以在同一个服务器部署多个Redis的实例，并把他们当作不同的服务器来使用，在某些时候，无论如何一个服务器是不够的， 所以，如果你想使用多个CPU&…...
代码随想录算法训练营第56天 | 583、72
583. 两个字符串的删除操作 题目描述 给定两个单词 word1 和 word2 ，返回使得 word1 和 word2 相同所需的最小步数。 每步 可以删除任意一个字符串中的一个字符。 示例1： 输入： w o r d 1 " s e a " , w o r d 2 " e a t …...
RestClient
什么是RestClient RestClient 是 Elasticsearch 官方提供的 Java 低级 REST 客户端，它允许HTTP与Elasticsearch 集群通信，而无需处理 JSON 序列化/反序列化等底层细节。它是 Elasticsearch Java API 客户端的基础。 RestClient 主要特点 轻量级ÿ…...
eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)
说明： 想象一下，你正在用eNSP搭建一个虚拟的网络世界，里面有虚拟的路由器、交换机、电脑（PC）等等。这些设备都在你的电脑里面“运行”，它们之间可以互相通信，就像一个封闭的小王国。 但是&#…...
屋顶变身“发电站” ，中天合创屋面分布式光伏发电项目顺利并网！
5月28日，中天合创屋面分布式光伏发电项目顺利并网发电，该项目位于内蒙古自治区鄂尔多斯市乌审旗，项目利用中天合创聚乙烯、聚丙烯仓库屋面作为场地建设光伏电站，总装机容量为9.96MWp。 项目投运后，每年可节约标煤3670…...
【python异步多线程】异步多线程爬虫代码示例
claude生成的python多线程、异步代码示例，模拟20个网页的爬取，每个网页假设要0.5-2秒完成。 代码 Python多线程爬虫教程 核心概念 多线程：允许程序同时执行多个任务，提高IO密集型任务（如网络请求）的效率…...
根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：
根据万维钢精英日课6的内容，使用AI（2025）可以参考以下方法： 四个洞见 模型已经比人聪明：以ChatGPT o3为代表的AI非常强大，能运用高级理论解释道理、引用最新学术论文，生成对顶尖科学家都有用的…...
智能分布式爬虫的数据处理流水线优化：基于深度强化学习的数据质量控制
在数字化浪潮席卷全球的今天，数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具，在大规模数据获取中发挥着关键作用。然而，传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时，常出现数据质…...
CVE-2020-17519源码分析与漏洞复现(Flink 任意文件读取)
漏洞概览 漏洞名称：Apache Flink REST API 任意文件读取漏洞CVE编号：CVE-2020-17519CVSS评分：7.5影响版本：Apache Flink 1.11.0、1.11.1、1.11.2修复版本：≥ 1.11.3 或 ≥ 1.12.0漏洞类型：路径遍历&#x…...
【VLNs篇】07：NavRL—在动态环境中学习安全飞行
项目内容论文标题NavRL: 在动态环境中学习安全飞行 (NavRL: Learning Safe Flight in Dynamic Environments)核心问题解决无人机在包含静态和动态障碍物的复杂环境中进行安全、高效自主导航的挑战，克服传统方法和现有强化学习方法的局限性。核心算法基于近端策略优化…...
【无标题】路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论
路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论 一、传统路径模型的根本缺陷 在经典正方形路径问题中（图1）： mermaid graph LR A((A)) --- B((B)) B --- C((C)) C --- D((D)) D --- A A -.- C[无直接路径] B -…...
深度学习水论文：mamba＋图像增强
🧀当前视觉领域对高效长序列建模需求激增，对Mamba图像增强这方向的研究自然也逐渐火热。原因在于其高效长程建模，以及动态计算优势，在图像质量提升和细节恢复方面有难以替代的作用。 🧀因此短时间内，就有不…...