当前位置： 首页 > news >正文

大数据概述（林子雨慕课课程）

news 2026/5/21 7:58:45

文章目录

    • 1. 大数据概述
      • 1.1 大数据概念和影响
      • 1.2 大数据的应用
      • 1.3 大数据的关键技术
      • 1.4 大数据与云计算和物联网的关系
        • 云计算
        • 物联网

1. 大数据概述

  • 大数据的四大特点：大量化、快速化、多样化、价值密度低

1.1 大数据概念和影响

  • 大数据摩尔定律
image-20230926145239672

  • 大数据由结构化和非结构化的数据组成，非结构化的数据占比大，如图像数据

    image-20230926145401781

  • 结构化的数据就是关系数据库表中的图表数据

  • 非结构化的数据种类繁多

    image-20230926145534691

  • 大数据从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少，必须实现秒级决策

  • 价值密度低，商业价值高

  • 大数据的影响

    • 全样非抽样：因为现在存储廉价，数据可以全部保存，不在需要抽样进行统计分析
    • 效率而非精确：因为从前的抽样的结果误差放在全样上会被放大，现在基于全样的分析不存在效率问题
    • 相关而非因果：大数据时代追求的更多的追求数据之间的相关性，而非因果关系

1.2 大数据的应用

image-20230926150537411

1.3 大数据的关键技术

  • 四个关键技术
image-20230926150853710
  • 两大核心技术：分布式存储和分布式处理

    • 分布式存储：解决海量数据的存储问题

      • 分布式数据库，以及分布式文件系统

    • 分布式处理：解决海量数据的处理问题

      • 分布式并行处理技术
image-20230926151045548

  • 不同的计算模式需要不同产品：批处理、流计算、图计算、查询分析计算

    • MapReduce是批处理计算模式的典型代表，其无法满足实时要求
    • 流计算：流数据需要实时处理，给出实时响应，否则分析结果会失去商业价值
      • S4+Storm+Flume
    • 图计算：代表Goole Pregel 设计可以高效处理图流数据的产品
    • 查询分析计算：秒级响应，实现交互式计算，如Google Dremel、Hive、Cassandra
    image-20230926151927900

1.4 大数据与云计算和物联网的关系

云计算

  • 云计算：解决海量数据的分布式存储问题和分布式处理问题

    • 典型特征：虚拟化、多租户
    • 概念：云计算是通过网络以服务的方式为用户提供非常廉价的IT资源
    • 优势：企业无需自建IT基础设施，可以租用云端资源
    • 云的三种模式

  • 云计算的三种模式

    image-20230926152321989

    • 公有云：构建的云平台是面对所有公众服务的：如百度云

    • 私有云：企业内部自己构建的面对企业内部员工的云平台

    • 混合云：构建的云平台部分给自己用，部分给外面用

  • 三种云服务：

    image-20230926152709877

    • IaaS:基础设施即服务

      • 将基础设施（计算资源和存储）作为服务出租

    • PaaS：平台即服务

      • 开发云产品：在别人提供的云服务环境中，利用其提供的接口，开发各种云服务产品，也部署到其分布式环境中去

        image-20230926153034561

    • SaaS:软件即服务

      • 将云中心财务软件买卖给你

  • 虚拟化和多租户：

    image-20230926153457276

  • 云计算数据中心：各种数据和应用，并非在天上云端，而是位于数据中心里

    • 其应用广泛
    image-20230926153919564
物联网

  • 概念：物联网（IoT:The Internet of Things）物联网就是物物相连的互联网，是互联网的延伸

  • 物联网的层次架构

    image-20230926154132177

  • 物联网的关键技术：识别和感知技术

  • 物联网的应用：

    image-20230926154459910

  • 云计算和物联网的关系：

    image-20230926154650537

相关文章：

大数据概述（林子雨慕课课程）

文章目录 1. 大数据概述1.1 大数据概念和影响1.2 大数据的应用1.3 大数据的关键技术1.4 大数据与云计算和物联网的关系云计算物联网 1. 大数据概述 大数据的四大特点：大量化、快速化、多样化、价值密度低 1.1 大数据概念和影响 大数据摩尔定律 大数据由结构化和非…...

编程日记 2023/10/9 7:16:24

ES6 class类关键字super

super关键字 在 JavaSCript 中，能通过 extends 关键字去继承父类 super 关键字在子类中有以下用法： 当成函数调用 super() 作为 "属性查询" super.prop 和 super[expr] super() super 作为函数调用时，代表父类的构造函数。 ES6 要求…...

编程日记 2023/10/9 7:15:22

C++并发与多线程(4) | 传递临时对象作为线程参数的一些问题Ⅰ

一、陷阱1 写一个传递临时对象作为线程参数的示例： #include <iostream> #include <vector> #include <thread> using namespace std;void myprint(const int& i, char* pmybuf) {cout << i << endl;cout << pmybuf << endl;r…...

编程日记 2023/10/9 7:12:16

CentOS Integration SIG 正式成立

导读CentOS 董事会已批准成立 CentOS Integration Special Interest Group (SIG)。该小组旨在帮助那些在 Red Hat Enterprise Linux (RHEL) 或特别是其上游 CentOS Stream 上构建产品和服务的人员&#xff0c;验证其能否在未来版本中继续运行。 红帽 RHEL CI 工程师 Aleksandr…...

编程日记 2023/10/9 7:11:15

智能AI系统源码ChatGPT系统源码+详细搭建部署教程+AI绘画系统+已支持OpenAI GPT全模型+国内AI全模型

一、AI创作系统 SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统&#xff0c;支持OpenAI GPT全模型国内AI全模型。本期针对源码系统整体测试下来非常完美&#xff0c;可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作Chat…...

编程日记 2023/10/9 7:10:14

软考程序员考试大纲（2023）

文章目录 前言一、考试说明1.考试目标2.考试要求3&#xff0e;考试科目设置 二、考试范围考试科目1&#xff1a;计算机与软件工程基本知识1&#xff0e;计算机科学基础2&#xff0e;计算机系统基础知识3&#xff0e;系统开发和运行知识4&#xff0e;网络与信息安全基础知识5&am…...

编程日记 2023/10/9 7:06:07

【重拾C语言】七、指针（一）指针与变量、指针操作、指向指针的指针

目录 前言 七、指针 7.1 指针与变量 7.1.1 指针类型和指针变量 7.1.2 指针所指变量 7.1.3 空指针、无效指针 7.2 指针操作 7.2.1 指针的算术运算 7.2.2 指针的比较 7.2.3 指针的递增和递减 7.3 指向指针的指针 前言 指针是C语言中一个重要的概念正确灵活运用指针 可…...

编程日记 2023/10/9 7:05:06

Kafka源码简要分析

目录 一、生产者的初始化流程 二、生产者到缓冲队列的流程 三、Sender拉取数据到Kafka流程 四、消费者初始化 五、主题订阅原理 六、消费者抓取数据原理 七、消费者组初始化 八、消费者组消费流程 九、提交offset原理 一、生产者的初始化流程 首先获取事务id和客户端…...

编程日记 2023/10/9 7:04:04

react 按住ctrl键，点击时会出现菜单的问题修复

问题描述&#xff1a;我需要按住crtl键&#xff0c;然后鼠标点击后做一些逻辑操作&#xff0c;但是出现如下问题 问题一&#xff1a;按住ctrl键后&#xff0c;点击时不触发click事件&#xff0c;只触发 mousedown和mouseup事件。 问题二&#xff1a;按住ctrl键点击时出现菜单…...

编程日记 2023/10/9 7:03:03

【虚拟机栈】

文章目录 1. 虚拟机栈概述2. 局部变量表(Local Variables)3. 操作数栈4. 动态链接4.1 方法的调用&#xff1a;解析与分配 5. 方法返回地址6. 栈的相关面试题 1. 虚拟机栈概述 每个线程在创建时都会创建一个虚拟机栈&#xff0c;其内部保存一个个的栈帧&#xff08;Stack Frame…...

编程日记 2023/10/9 7:02:02

Linux系列讲解 —— 【fsck】检查并修复Linux文件系统

当文件系统出现损坏时&#xff0c;例如文件无法查看&#xff0c;删除等&#xff0c;可以使用 fsck&#xff08;File System Consistency Check&#xff09;进行修复。但是需要注意fsck在修复时&#xff0c;如果检查出某个文件有问题&#xff0c;可能会向用户请求删除。所以&…...

编程日记 2023/10/9 7:01:01

gitlab突然提示我要输入密码了。

用了很长时间的一个gitlab库&#xff0c;今天提交代码的时候突然提示我输入密码了&#xff0c;并且用户还是gitxx.xx.xx.xx的&#xff0c;瞬间懵逼。 想想原因&#xff0c;可能是因为我不久前设置了本地对另外一个git库的远程访问&#xff0c;用的是ssh&#xff0c;操作过程中可…...

编程日记 2023/10/9 6:59:59

业务测试常见问题(一)

如何多维度的分析一个需求&#xff1f; 功能维度&#xff1a;需求中所描述的功能是否实现&#xff0c;与用户的需求是否一致&#xff0c;是否完整符合用户的需求等。 安全性维度&#xff1a;是否有安全漏洞&#xff0c;是否存在未授权访问漏洞等&#xff0c;以保证系统的安全性…...

编程日记 2023/10/9 6:58:58

IntelliJ IDEA失焦自动重启服务的解决方法

IDEA 热部署特性 热部署&#xff0c;即应用正属于运行状态时&#xff0c;我们对应用源码进行了修改更新&#xff0c;在不重新启动应用的情况下&#xff0c;可以能够自动的把更新的内容重新进行编译并部署到服务器上&#xff0c;使修改立即生效。 现象 在使用 IntelliJ IDEA运…...

编程日记 2023/10/9 6:57:55

终端准入控制系统，保障企业内网安全的关键防线

随着网络技术的不断发展&#xff0c;企业面临的安全威胁也越来越多。终端作为承载企业业务的媒介&#xff0c;对内网资产安全有着重要影响。确保内网终端&#xff08;如PC、BYOD、IoT等&#xff09;能够得到统一管理&#xff0c;对保护内网安全很有必要。终端准入控制作为一种有…...

编程日记 2023/10/9 6:55:52

mysql-执行计划

1. 执行计划表概述 id相同表示加载表的顺序是从上到下。 id不同id值越大&#xff0c;优先级越高&#xff0c;越先被执行。id有相同&#xff0c;也有不同&#xff0c;同时存在。 id相同的可以认为是一组&#xff0c;从上往下顺序执行&#xff1b;在所有的组中&#xff0c;id的值…...

编程日记 2023/10/9 6:54:52

金蝶云星空和旺店通·企业奇门接口打通对接实战

金蝶云星空和旺店通企业奇门接口打通对接实战 接入系统&#xff1a;金蝶云星空 金蝶K/3Cloud&#xff08;金蝶云星空&#xff09;是移动互联网时代的新型ERP&#xff0c;是基于WEB2.0与云技术的新时代企业管理服务平台。金蝶K/3Cloud围绕着“生态、人人、体验”&#xff0c;旨在…...

编程日记 2023/10/9 6:53:50

在服务器上使用nginx改变前端项目请求的url

location /app-dev {rewrite ^/app-dev/(.*) /$1 break;proxy_pass http://152.136.36.251:9999;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr; } location /请求后缀 { rewrite ^/app-dev/(.*) /$1 break; proxy_pass 想要的请求后端的url; …...

编程日记 2023/10/9 6:52:49

【学习笔记】莫比乌斯反演

退役OIer回来受虐啦 一些定义 μ ( x ) { 1 x > 1 ( − 1 ) n x ∏ i 1 n P i 0 o t h e r w i s e \mu(x) \begin{cases} 1 & x > 1 \\ (-1)^n & x \prod _ {i1} ^ {n} P_{i}\\ 0 & otherwise \end{cases} μ(x)⎩ ⎨ ⎧​1(−1)n0​x>1x∏i1n​Pi…...

编程日记 2023/10/9 6:49:45

一款构建Python命令行应用的开源库

1 简介 当我们编写 Python 程序时&#xff0c;我们经常需要与用户进行交互&#xff0c;接收输入并输出结果。Python 提供了许多方法来实现这一点&#xff0c;其中一个非常方便的方法是使用 typer 库。typer 是一个用于构建命令行应用程序的 Python 库&#xff0c;它使得创建命令…...

编程日记 2023/10/9 6:47:44

OpenWrt opkg配置进阶：手把手教你设置代理、跳过证书检查，解决国内下载慢问题

OpenWrt opkg高效配置指南&#xff1a;突破网络限制的实战技巧 每次在OpenWrt上安装软件时&#xff0c;看着缓慢的下载进度条或者突如其来的连接错误&#xff0c;是不是感觉既熟悉又无奈&#xff1f;作为一款强大的路由器操作系统&#xff0c;OpenWrt的opkg包管理器本该是我们的…...

编程新知 2026/5/21 6:15:39

如何永久免费解锁Cursor Pro全部功能：终极解决方案完全指南

如何永久免费解锁Cursor Pro全部功能&#xff1a;终极解决方案完全指南 【免费下载链接】cursor-free-vip [Support 0.45]&#xff08;Multi Language 多语言&#xff09;自动注册 Cursor Ai &#xff0c;自动重置机器ID &#xff0c; 免费升级使用Pro 功能: Youve reached you…...

编程新知 2026/5/21 6:02:11

靖江注册公司需要多少钱？2026最新费用明细与隐形消费避坑指南

对于靖江的传统小微型企业、个体工商户、夫妻店及初创公司而言&#xff0c;注册公司的费用多少、是否存在隐形消费&#xff0c;是创业初期最关心的问题。这类企业大多没有专职会计&#xff0c;社保参保人数通常在3人以下&#xff0c;注册年限多在2年内&#xff0c;资金预算有限…...

编程新知 2026/5/21 5:49:42

别再只会拖模块了！用Simulink S-Function把C++算法集成到模型里的保姆级教程

从零实现Simulink与C的深度集成&#xff1a;以PID控制器为例的工程实践指南 在工业自动化和控制系统的开发中&#xff0c;Simulink因其直观的图形化建模能力而广受欢迎。然而&#xff0c;当面对复杂的算法实现或需要复用现有C代码库时&#xff0c;单纯依赖图形化模块往往显得力…...

编程新知 2026/5/21 5:17:22

kagent支持的5大AI框架对比：ADK、CrewAI、LangGraph、OpenAI、技能框架

kagent支持的5大AI框架对比&#xff1a;ADK、CrewAI、LangGraph、OpenAI、技能框架 【免费下载链接】kagent Cloud Native Agentic AI | Discord: https://bit.ly/kagentdiscord 项目地址: https://gitcode.com/gh_mirrors/ka/kagent kagent作为一款云原生智能代理平台&…...

编程新知 2026/5/21 4:16:16

毕业设计精选【芳心科技】12V锂电池充放电管理系统

实物效果图&#xff1a;实现功能&#xff1a;1.通过电流传感器&#xff0c;电压传感器检测电池电压电流。 2.通过ds18b20温度传感器检测电池温度 3.超温&#xff0c;超压时控制电池停止放电或充电4.利用安时积分法估算剩余电量电量显示要求能实时监控5.控制充放电用一个继电器控…...

编程新知 2026/5/21 3:50:31

避坑指南：ESP32-C3蓝牙开发中GATT读写事件的常见误解与正确姿势

ESP32-C3蓝牙GATT开发实战&#xff1a;破解读写事件的核心逻辑与高效数据流设计 当你在ESP32-C3上实现蓝牙温度传感器时&#xff0c;是否遇到过这样的困境&#xff1a;手机APP读取到的温度值总是比实际值延迟了2秒&#xff1f;或者明明在代码里更新了数据&#xff0c;客户端却始…...

编程新知 2026/5/21 1:16:35

谷歌关键词优化具体要做什么？新网站靠长尾词2周快速被收录

新域名的权重评分在初期处于1分的初始档位。全新页面发布后&#xff0c;通常需要经历90天到180天的考察停留。在新站上线的头30天里&#xff0c;搜索引擎分配给网站的每日抓取频率处于极低水平&#xff0c;统计显示每日爬虫访问次数往往少于5次。频繁的等待造成了大量新发布的页…...

编程新知 2026/5/20 23:05:23

深入STM32F103定时器：用TIM2输入捕获精准测量脉冲宽度与频率

深入STM32F103定时器&#xff1a;用TIM2输入捕获精准测量脉冲宽度与频率 在嵌入式开发中&#xff0c;精确测量外部信号的脉冲宽度和频率是一项常见但极具挑战性的任务。无论是工业控制中的旋转编码器、消费电子中的红外遥控信号&#xff0c;还是无人机领域的PPM控制信号&#x…...

编程新知 2026/5/20 22:19:05

独立开发者如何通过 Taotoken Token Plan 套餐优化项目预算

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 独立开发者如何通过 Taotoken Token Plan 套餐优化项目预算 对于独立开发者或小型团队而言&#xff0c;在项目开发中引入大模型能力…...

编程新知 2026/5/20 22:17:01