当前位置： 首页 > news >正文

【人工智能】大数据平台技术及应用

news 2025/9/17 16:39:28

文章目录

  • 前言
  • 一、大数据平台基本概念及发展趋势
    • 1、数据量爆发式增长，发数据蓬勃发展
    • 2、大数据到底是什么？
    • 3、大数据处理与传统数据处理的差异
    • 4、为什么要建立大数据平台？
    • 5、大数据平台开源架构-Hadoop
    • 6、华为云大数据平台架构
  • 二、大数据技术框架及应用
    • 1、大数据的应用场景
    • 2、大数据应用流程框架
    • 3、大数据技术平台框架
    • 4、从数据供应到数据应用消费是一项系统性的工程
    • 5、大数据的应用举例：导航软件红绿灯倒计时引导
    • 6、大数据的应用举例：千人千面内容推荐

前言

  • 掌握大数据平台的基本概念和特征
  • 了解大数据平台架构
  • 了解大数据平台技术发展趋势
  • 了解大数据的应用场景
  • 掌握大数据的应用框架

一、大数据平台基本概念及发展趋势

1、数据量爆发式增长，发数据蓬勃发展

  • 我国网民数量居世界之首，每天产生的数据量也位于世界前列。

  • 中央政府多次指出数据的重要性。

在这里插入图片描述

2、大数据到底是什么？

  • 维基百科定义：
  • 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

在这里插入图片描述

3、大数据处理与传统数据处理的差异

在这里插入图片描述

4、为什么要建立大数据平台？

在这里插入图片描述

5、大数据平台开源架构-Hadoop

在这里插入图片描述

6、华为云大数据平台架构

在这里插入图片描述

大数据基本概念：（1）大数据4V特征（2）与传统数据处理区别大数据平台概念及意义：打通数据壁垒，提升数据价值大数据平台典型架构及产品：（1）开源Hadoop平台架构（2）华为云大数据平台架构

二、大数据技术框架及应用

1、大数据的应用场景

在这里插入图片描述

2、大数据应用流程框架

在这里插入图片描述

3、大数据技术平台框架

在这里插入图片描述

4、从数据供应到数据应用消费是一项系统性的工程

在这里插入图片描述

5、大数据的应用举例：导航软件红绿灯倒计时引导

在这里插入图片描述

6、大数据的应用举例：千人千面内容推荐

在这里插入图片描述


大数据的应用包括了5级应用场景。大数据应用流程框架包括了数据采集、数据存储、数据计算、数据消费应用、数据的治理。大数据的应用从供应到消费，涉及技术、能力、标准、流程、制度、管理等等环节，是一项系统性工程。

相关文章：

【人工智能】大数据平台技术及应用

文章目录 前言一、大数据平台基本概念及发展趋势1、数据量爆发式增长，发数据蓬勃发展2、大数据到底是什么？3、大数据处理与传统数据处理的差异4、为什么要建立大数据平台？5、大数据平台开源架构-Hadoop6、华为云大数据平台架构 二、大数据技术…...

编程日记 2024/12/8 3:06:04

Scala的模式匹配（7）

package hfdobject Test35 {case class Person(name:String)case class Student(name:String,className:String)//match case 能根据 类名和属性的信息，匹配到对应的类//注意：//1 匹配的时候，case class的属性个数要对上//2 数学名不需要一一…...

编程日记 2024/12/8 3:04:02

使用 MATLAB 绘制三维散点图：根据坐标和距离映射点的颜色和大小

在数据可视化中，三维散点图是一种非常直观的方式来展示数据的分布。MATLAB 提供了强大的 scatter3 函数，可以用来绘制三维散点图，而通过调整点的颜色和大小，可以进一步增强图形的表现力。 在本篇博客中，我们将逐步讲解…...

编程日记 2024/12/8 2:56:50

数仓技术hive与oracle对比（五）

附录说明 附录是对测试过程中涉及到的一些操作进行记录和解析。 oracle清除缓存 alter system flush shared_pool; 将使library cache和data dictionary cache以前保存的sql执行计划全部清空，但不会清空共享sql区或者共享pl/sql区里面缓存的最近被执行的条目。刷…...

编程日记 2024/12/8 2:53:45

金融数学在股市交易中的具体应用

### 1. 风险管理 - **VaR（在险价值）**: VaR是衡量投资组合潜在损失的指标。例如，如果一个投资组合的VaR为100万元，置信水平为95%，这意味着在未来的一个交易日内，有95%的可能性该投资组合的损失不会超过100…...

编程日记 2024/12/8 2:51:43

Spring6：1 概述

Spring6：1 概述 标签 JAVASpring 目录 Spring 是什么？Spring 的狭义和广义 广义的 Spring：Spring 技术栈狭义的 Spring：Spring Framework Spring Framework 特点Spring 模块组成Spring6 特点 版本要求本课程软件版本 1. 概述 …...

编程日记 2024/12/8 2:48:40

Python Selenium 各浏览器驱动下载与配置使用（详细流程）

1、安装 pip install selenium 2、浏览器驱动下载 Chrome(google)浏览器驱动 下载地址：http://chromedriver.storage.googleapis.com/index.html 或 https://sites.google.com/a/chromium.org/chromedriver/home . 下载地址：http://chromedriver.stor…...

编程日记 2024/12/8 2:47:38

C语言期末考试——重点考点

目录 1.C语言的结构 2.三种循环结构 3.逻辑真假判断 4. printf函数 5. 强制类型转化 6. 多分支选择结构 7. 标识符的定义 8. 三目运算符 1.C语言的结构 选择结构、顺序结构、循环结构 2.三种循环结构 for、while、do-while 3.逻辑真假判断 C语言用0表示false,用非0(不…...

编程日记 2024/12/8 2:45:36

mongo开启慢日志及常用命令行操作、数据备份

mongo开启慢日志及常用命令行操作、数据备份 1.常用命令行操作2.mongo备份3.通过命令临时开启慢日志记录4.通过修改配置开启慢日志记录 1.常用命令行操作 连接命令行 格式：mongo -u用户名 -p密码 --host 主机地址 --port 端口号 库名； 如：连…...

编程日记 2024/12/8 2:44:35

Mybatis-Plus的主要API

一、实体类操作相关API BaseMapper<T>接口 功能&#xff1a;这是 MyBatis - Plus 为每个实体类对应的 Mapper 接口提供的基础接口。它提供了一系列基本的 CRUD&#xff08;增删改查&#xff09;操作方法。例如insert(T entity)方法用于插入一条记录&#xff0c;d…...

编程日记 2024/12/8 2:41:33

2023 年“泰迪杯”数据分析技能赛B 题企业财务数据分析与造假识别

2023 年“泰迪杯”数据分析技能赛B 题企业财务数据分析与造假识别 一、背景 财务数据是指企业经营活动和财务结果的数据记录&#xff0c;反映了企业的财务状况 与经营成果。对行业、企业的财务数据进行分析&#xff0c;就是要评价其过去的经营业绩、 衡量现在的财务状况、预测…...

编程日记 2024/12/8 2:37:30

【SpringMVC】参数传递 重定向与转发 REST风格

文章目录 参数传递重定向与转发REST风格 参数传递 ModelAndView&#xff1a;包含视图信息和模型数据信息 public ModelAndView index1(){// 返回页面ModelAndView modelAndView new ModelAndView("视图名");// 或// ModelAndView modelAndView new ModelAndView(…...

编程日记 2024/12/8 2:36:28

性能测试需求分析（超详细总结）

&#x1f345; 点击文末小卡片 &#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 1、客户方提出 客户方能提出明确的性能需求&#xff0c;说明对方很重视性能测试&#xff0c;这样的企业一般是金融、电信、银行、医疗器械等&#xff1b;他们…...

编程日记 2024/12/8 2:35:27

显卡（Graphics Processing Unit，GPU）架构详细解读

显卡架构主要分为两大类&#xff1a;GPU 核心架构&#xff08;也称为图形处理单元架构&#xff09;和显卡的其他组件&#xff08;如内存、控制器、输出接口等&#xff09;。本篇文章将对显卡架构进行详细分析&#xff0c;重点介绍 GPU 核心架构、显卡计算单元、显存结构、显卡管…...

编程日记 2024/12/8 2:31:23

【大语言模型】ACL2024论文-24 图像化歧义：Winograd Schema 挑战的视觉转变

【大语言模型】ACL2024论文-24 图像化歧义&#xff1a;Winograd Schema 挑战的视觉转变 目录 文章目录 【大语言模型】ACL2024论文-24 图像化歧义&#xff1a;Winograd Schema 挑战的视觉转变目录摘要研究背景问题与挑战如何解决核心创新点算法模型实验效果&#xff08;包含重要…...

编程日记 2024/12/8 2:30:22

AcWing 2868. 子串分值

文章目录 前言代码思路 前言 还是实力不允许啊&#xff0c;要是实力允许我就一道一道中等题刷了。简单题真够呛。有些题看题解都是看老半天看不懂&#xff0c;假设是这种我是真感觉没必要钻研。我现在大三&#xff0c;要是看一遍题解看不懂就算了&#xff0c;果断放弃。真可以…...

编程日记 2024/12/8 2:29:21

如何进行 JavaScript 性能优化？

要进行 JavaScript 性能优化&#xff0c;我们可以从多个角度进行思考&#xff0c;主要包括减少页面渲染时间、减少内存占用、优化代码执行效率等。以下是优化的一些方法&#xff0c;并结合实际项目代码示例讲解。 目录结构 减少 DOM 操作 缓存 DOM 元素批量更新 DOM 优化 Jav…...

编程日记 2024/12/8 2:26:14

使用TCP编程实现简单登录功能

在Java中&#xff0c;使用TCP编程实现登录功能通常涉及以下步骤&#xff1a; 创建服务器端&#xff0c;监听特定端口&#xff0c;等待客户端连接。创建客户端&#xff0c;连接到服务器端。客户端发送用户名和密码到服务器端。服务器端验证用户名和密码。服务器端返回验证结果给…...

编程日记 2024/12/8 2:24:10

卷积神经网络（CNN）的层次结构

卷积神经网络&#xff08;CNN&#xff09;是一种以其处理图像和视频数据的能力而闻名的深度学习模型&#xff0c;其基本结构通常包括以下几个层次&#xff0c;每个层次都有其特定的功能和作用&#xff1a; 1. 输入层&#xff08;Input Layer&#xff09;&#xff1a; 卷积神经网…...

编程日记 2024/12/8 2:22:04

操作系统文件管理相关习题2

文件管理的任务和功能文件管理 任务&#xff1a;对用户文件和系统文件进行组织管理&#xff0c;以方便用户使用&#xff0c;并保证文件的安全 功能&#xff1a;文件存储空间的管理&#xff0c;目录管理&#xff0c;文件读写管理和保护 目录管理 对目录管理的要求 实现按名存…...

编程日记 2024/12/8 2:21:02

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站&#xff0c;会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后&#xff0c;网站没有变化的情况。 不熟悉siteground主机的新手&#xff0c;遇到这个问题&#xff0c;就很抓狂&#xff0c;明明是哪都没操作错误&#x…...

编程新知 2025/9/17 3:15:32

智慧医疗能源事业线深度画像分析（上）

引言 医疗行业作为现代社会的关键基础设施，其能源消耗与环境影响正日益受到关注。随着全球"双碳"目标的推进和可持续发展理念的深入，智慧医疗能源事业线应运而生，致力于通过创新技术与管理方案，重构医疗领域的能源使用模式。这一事业线融合了能源管理、可持续发…...

编程新知 2025/9/16 1:45:47

DeepSeek 赋能智慧能源：微电网优化调度的智能革新路径

目录 一、智慧能源微电网优化调度概述1.1 智慧能源微电网概念1.2 优化调度的重要性1.3 目前面临的挑战 二、DeepSeek 技术探秘2.1 DeepSeek 技术原理2.2 DeepSeek 独特优势2.3 DeepSeek 在 AI 领域地位 三、DeepSeek 在微电网优化调度中的应用剖析3.1 数据处理与分析3.2 预测与…...

编程新知 2025/6/15 19:07:20

uni-app学习笔记二十二---使用vite.config.js全局导入常用依赖

在前面的练习中&#xff0c;每个页面需要使用ref&#xff0c;onShow等生命周期钩子函数时都需要像下面这样导入 import {onMounted, ref} from "vue" 如果不想每个页面都导入&#xff0c;需要使用node.js命令npm安装unplugin-auto-import npm install unplugin-au…...

编程新知 2025/9/14 18:41:15

【位运算】消失的两个数字（hard）

消失的两个数字&#xff08;hard&#xff09; 题⽬描述&#xff1a;解法&#xff08;位运算&#xff09;&#xff1a;Java 算法代码&#xff1a;更简便代码 题⽬链接&#xff1a;⾯试题 17.19. 消失的两个数字 题⽬描述&#xff1a; 给定⼀个数组&#xff0c;包含从 1 到 N 所有…...

编程新知 2025/7/8 4:43:23

连锁超市冷库节能解决方案：如何实现超市降本增效

在连锁超市冷库运营中&#xff0c;高能耗、设备损耗快、人工管理低效等问题长期困扰企业。御控冷库节能解决方案通过智能控制化霜、按需化霜、实时监控、故障诊断、自动预警、远程控制开关六大核心技术&#xff0c;实现年省电费15%-60%&#xff0c;且不改动原有装备、安装快捷、…...

编程新知 2025/9/11 12:55:02

工程地质软件市场：发展现状、趋势与策略建议

一、引言 在工程建设领域&#xff0c;准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具&#xff0c;正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...

编程新知 2025/9/9 8:26:07

css的定位（position）详解：相对定位 绝对定位 固定定位

在 CSS 中&#xff0c;元素的定位通过 position 属性控制&#xff0c;共有 5 种定位模式&#xff1a;static&#xff08;静态定位&#xff09;、relative&#xff08;相对定位&#xff09;、absolute&#xff08;绝对定位&#xff09;、fixed&#xff08;固定定位&#xff09;和…...

编程新知 2025/8/9 2:28:15

leetcodeSQL解题：3564. 季节性销售分析

leetcodeSQL解题&#xff1a;3564. 季节性销售分析 题目&#xff1a; 表&#xff1a;sales ---------------------- | Column Name | Type | ---------------------- | sale_id | int | | product_id | int | | sale_date | date | | quantity | int | | price | decimal | -…...

编程新知 2025/8/20 17:01:25

C++ 求圆面积的程序（Program to find area of a circle）

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

编程新知 2025/9/13 0:44:14