当前位置： 首页 > news >正文

【人工智能】大数据平台技术及应用

news 2026/5/18 20:38:22

文章目录

  • 前言
  • 一、大数据平台基本概念及发展趋势
    • 1、数据量爆发式增长，发数据蓬勃发展
    • 2、大数据到底是什么？
    • 3、大数据处理与传统数据处理的差异
    • 4、为什么要建立大数据平台？
    • 5、大数据平台开源架构-Hadoop
    • 6、华为云大数据平台架构
  • 二、大数据技术框架及应用
    • 1、大数据的应用场景
    • 2、大数据应用流程框架
    • 3、大数据技术平台框架
    • 4、从数据供应到数据应用消费是一项系统性的工程
    • 5、大数据的应用举例：导航软件红绿灯倒计时引导
    • 6、大数据的应用举例：千人千面内容推荐

前言

  • 掌握大数据平台的基本概念和特征
  • 了解大数据平台架构
  • 了解大数据平台技术发展趋势
  • 了解大数据的应用场景
  • 掌握大数据的应用框架

一、大数据平台基本概念及发展趋势

1、数据量爆发式增长，发数据蓬勃发展

  • 我国网民数量居世界之首，每天产生的数据量也位于世界前列。

  • 中央政府多次指出数据的重要性。

在这里插入图片描述

2、大数据到底是什么？

  • 维基百科定义：
  • 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

在这里插入图片描述

3、大数据处理与传统数据处理的差异

在这里插入图片描述

4、为什么要建立大数据平台？

在这里插入图片描述

5、大数据平台开源架构-Hadoop

在这里插入图片描述

6、华为云大数据平台架构

在这里插入图片描述

大数据基本概念：（1）大数据4V特征（2）与传统数据处理区别大数据平台概念及意义：打通数据壁垒，提升数据价值大数据平台典型架构及产品：（1）开源Hadoop平台架构（2）华为云大数据平台架构

二、大数据技术框架及应用

1、大数据的应用场景

在这里插入图片描述

2、大数据应用流程框架

在这里插入图片描述

3、大数据技术平台框架

在这里插入图片描述

4、从数据供应到数据应用消费是一项系统性的工程

在这里插入图片描述

5、大数据的应用举例：导航软件红绿灯倒计时引导

在这里插入图片描述

6、大数据的应用举例：千人千面内容推荐

在这里插入图片描述


大数据的应用包括了5级应用场景。大数据应用流程框架包括了数据采集、数据存储、数据计算、数据消费应用、数据的治理。大数据的应用从供应到消费，涉及技术、能力、标准、流程、制度、管理等等环节，是一项系统性工程。

相关文章：

【人工智能】大数据平台技术及应用

文章目录 前言一、大数据平台基本概念及发展趋势1、数据量爆发式增长，发数据蓬勃发展2、大数据到底是什么？3、大数据处理与传统数据处理的差异4、为什么要建立大数据平台？5、大数据平台开源架构-Hadoop6、华为云大数据平台架构 二、大数据技术…...

编程日记 2024/12/8 3:06:04

Scala的模式匹配（7）

package hfdobject Test35 {case class Person(name:String)case class Student(name:String,className:String)//match case 能根据 类名和属性的信息，匹配到对应的类//注意：//1 匹配的时候，case class的属性个数要对上//2 数学名不需要一一…...

编程日记 2024/12/8 3:04:02

使用 MATLAB 绘制三维散点图：根据坐标和距离映射点的颜色和大小

在数据可视化中，三维散点图是一种非常直观的方式来展示数据的分布。MATLAB 提供了强大的 scatter3 函数，可以用来绘制三维散点图，而通过调整点的颜色和大小，可以进一步增强图形的表现力。 在本篇博客中，我们将逐步讲解…...

编程日记 2024/12/8 2:56:50

数仓技术hive与oracle对比（五）

附录说明 附录是对测试过程中涉及到的一些操作进行记录和解析。 oracle清除缓存 alter system flush shared_pool; 将使library cache和data dictionary cache以前保存的sql执行计划全部清空，但不会清空共享sql区或者共享pl/sql区里面缓存的最近被执行的条目。刷…...

编程日记 2024/12/8 2:53:45

金融数学在股市交易中的具体应用

### 1. 风险管理 - **VaR（在险价值）**: VaR是衡量投资组合潜在损失的指标。例如，如果一个投资组合的VaR为100万元，置信水平为95%，这意味着在未来的一个交易日内，有95%的可能性该投资组合的损失不会超过100…...

编程日记 2024/12/8 2:51:43

Spring6：1 概述

Spring6：1 概述 标签 JAVASpring 目录 Spring 是什么？Spring 的狭义和广义 广义的 Spring：Spring 技术栈狭义的 Spring：Spring Framework Spring Framework 特点Spring 模块组成Spring6 特点 版本要求本课程软件版本 1. 概述 …...

编程日记 2024/12/8 2:48:40

Python Selenium 各浏览器驱动下载与配置使用（详细流程）

1、安装 pip install selenium 2、浏览器驱动下载 Chrome(google)浏览器驱动 下载地址：http://chromedriver.storage.googleapis.com/index.html 或 https://sites.google.com/a/chromium.org/chromedriver/home . 下载地址：http://chromedriver.stor…...

编程日记 2024/12/8 2:47:38

C语言期末考试——重点考点

目录 1.C语言的结构 2.三种循环结构 3.逻辑真假判断 4. printf函数 5. 强制类型转化 6. 多分支选择结构 7. 标识符的定义 8. 三目运算符 1.C语言的结构 选择结构、顺序结构、循环结构 2.三种循环结构 for、while、do-while 3.逻辑真假判断 C语言用0表示false,用非0(不…...

编程日记 2024/12/8 2:45:36

mongo开启慢日志及常用命令行操作、数据备份

mongo开启慢日志及常用命令行操作、数据备份 1.常用命令行操作2.mongo备份3.通过命令临时开启慢日志记录4.通过修改配置开启慢日志记录 1.常用命令行操作 连接命令行 格式：mongo -u用户名 -p密码 --host 主机地址 --port 端口号 库名； 如：连…...

编程日记 2024/12/8 2:44:35

Mybatis-Plus的主要API

一、实体类操作相关API BaseMapper<T>接口 功能&#xff1a;这是 MyBatis - Plus 为每个实体类对应的 Mapper 接口提供的基础接口。它提供了一系列基本的 CRUD&#xff08;增删改查&#xff09;操作方法。例如insert(T entity)方法用于插入一条记录&#xff0c;d…...

编程日记 2024/12/8 2:41:33

2023 年“泰迪杯”数据分析技能赛B 题企业财务数据分析与造假识别

2023 年“泰迪杯”数据分析技能赛B 题企业财务数据分析与造假识别 一、背景 财务数据是指企业经营活动和财务结果的数据记录&#xff0c;反映了企业的财务状况 与经营成果。对行业、企业的财务数据进行分析&#xff0c;就是要评价其过去的经营业绩、 衡量现在的财务状况、预测…...

编程日记 2024/12/8 2:37:30

【SpringMVC】参数传递 重定向与转发 REST风格

文章目录 参数传递重定向与转发REST风格 参数传递 ModelAndView&#xff1a;包含视图信息和模型数据信息 public ModelAndView index1(){// 返回页面ModelAndView modelAndView new ModelAndView("视图名");// 或// ModelAndView modelAndView new ModelAndView(…...

编程日记 2024/12/8 2:36:28

性能测试需求分析（超详细总结）

&#x1f345; 点击文末小卡片 &#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 1、客户方提出 客户方能提出明确的性能需求&#xff0c;说明对方很重视性能测试&#xff0c;这样的企业一般是金融、电信、银行、医疗器械等&#xff1b;他们…...

编程日记 2024/12/8 2:35:27

显卡（Graphics Processing Unit，GPU）架构详细解读

显卡架构主要分为两大类&#xff1a;GPU 核心架构&#xff08;也称为图形处理单元架构&#xff09;和显卡的其他组件&#xff08;如内存、控制器、输出接口等&#xff09;。本篇文章将对显卡架构进行详细分析&#xff0c;重点介绍 GPU 核心架构、显卡计算单元、显存结构、显卡管…...

编程日记 2024/12/8 2:31:23

【大语言模型】ACL2024论文-24 图像化歧义：Winograd Schema 挑战的视觉转变

【大语言模型】ACL2024论文-24 图像化歧义&#xff1a;Winograd Schema 挑战的视觉转变 目录 文章目录 【大语言模型】ACL2024论文-24 图像化歧义&#xff1a;Winograd Schema 挑战的视觉转变目录摘要研究背景问题与挑战如何解决核心创新点算法模型实验效果&#xff08;包含重要…...

编程日记 2024/12/8 2:30:22

AcWing 2868. 子串分值

文章目录 前言代码思路 前言 还是实力不允许啊&#xff0c;要是实力允许我就一道一道中等题刷了。简单题真够呛。有些题看题解都是看老半天看不懂&#xff0c;假设是这种我是真感觉没必要钻研。我现在大三&#xff0c;要是看一遍题解看不懂就算了&#xff0c;果断放弃。真可以…...

编程日记 2024/12/8 2:29:21

如何进行 JavaScript 性能优化？

要进行 JavaScript 性能优化&#xff0c;我们可以从多个角度进行思考&#xff0c;主要包括减少页面渲染时间、减少内存占用、优化代码执行效率等。以下是优化的一些方法&#xff0c;并结合实际项目代码示例讲解。 目录结构 减少 DOM 操作 缓存 DOM 元素批量更新 DOM 优化 Jav…...

编程日记 2024/12/8 2:26:14

使用TCP编程实现简单登录功能

在Java中&#xff0c;使用TCP编程实现登录功能通常涉及以下步骤&#xff1a; 创建服务器端&#xff0c;监听特定端口&#xff0c;等待客户端连接。创建客户端&#xff0c;连接到服务器端。客户端发送用户名和密码到服务器端。服务器端验证用户名和密码。服务器端返回验证结果给…...

编程日记 2024/12/8 2:24:10

卷积神经网络（CNN）的层次结构

卷积神经网络&#xff08;CNN&#xff09;是一种以其处理图像和视频数据的能力而闻名的深度学习模型&#xff0c;其基本结构通常包括以下几个层次&#xff0c;每个层次都有其特定的功能和作用&#xff1a; 1. 输入层&#xff08;Input Layer&#xff09;&#xff1a; 卷积神经网…...

编程日记 2024/12/8 2:22:04

操作系统文件管理相关习题2

文件管理的任务和功能文件管理 任务&#xff1a;对用户文件和系统文件进行组织管理&#xff0c;以方便用户使用&#xff0c;并保证文件的安全 功能&#xff1a;文件存储空间的管理&#xff0c;目录管理&#xff0c;文件读写管理和保护 目录管理 对目录管理的要求 实现按名存…...

编程日记 2024/12/8 2:21:02

瑞萨RL78/G16开发板与EZ-CUBE3仿真器连接调试全攻略

1. 项目概述与核心价值 最近在折腾瑞萨的RL78系列MCU&#xff0c;手头正好有一块RL78/G16的快速原型开发板和一个EZ-CUBE3仿真器。对于刚接触瑞萨生态的朋友来说&#xff0c;如何把这套硬件正确地连接起来&#xff0c;并成功跑通第一个LED闪烁程序&#xff0c;往往是入门路上的…...

编程新知 2026/5/18 19:03:43

3步掌握N_m3u8DL-CLI-SimpleG：让M3U8视频下载变得像复制粘贴一样简单

3步掌握N_m3u8DL-CLI-SimpleG&#xff1a;让M3U8视频下载变得像复制粘贴一样简单 【免费下载链接】N_m3u8DL-CLI-SimpleG N_m3u8DL-CLIs simple GUI 项目地址: https://gitcode.com/gh_mirrors/nm3/N_m3u8DL-CLI-SimpleG 在数字内容日益丰富的今天&#xff0c;M3U8格式视…...

编程新知 2026/5/18 17:33:46

免费开源AMD Ryzen处理器调试工具：SMUDebugTool终极指南

免费开源AMD Ryzen处理器调试工具&#xff1a;SMUDebugTool终极指南 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址: https://…...

编程新知 2026/5/18 17:00:38

3个常见视频下载难题，猫抓扩展如何帮你一键解决？浏览器资源嗅探实战指南

3个常见视频下载难题&#xff0c;猫抓扩展如何帮你一键解决&#xff1f;浏览器资源嗅探实战指南 【免费下载链接】cat-catch 猫抓 浏览器资源嗅探扩展 / cat-catch Browser Resource Sniffing Extension 项目地址: https://gitcode.com/GitHub_Trending/ca/cat-catch 你…...

编程新知 2026/5/18 16:52:25

避坑指南：用TensorFlow 2.x和HuggingFace Transformers搞定中文NER，我踩过的这些坑你别再踩

中文NER实战避坑手册&#xff1a;TensorFlow 2.x与HuggingFace Transformers的进阶技巧 在自然语言处理领域&#xff0c;命名实体识别&#xff08;NER&#xff09;一直是核心任务之一。对于中文文本而言&#xff0c;由于语言特性的差异&#xff0c;开发者往往会遇到比英文NER更…...

编程新知 2026/5/18 15:44:22

HOSFEM中矩阵向量乘法优化与几何因子重计算技术

1. 矩阵向量乘法在HOSFEM中的核心地位与挑战 高阶/谱有限元方法&#xff08;HOSFEM&#xff09;是求解偏微分方程&#xff08;PDE&#xff09;的重要工具&#xff0c;广泛应用于计算流体力学、结构力学和电磁学等领域。与传统低阶方法相比&#xff0c;HOSFEM能以更少的自由度达…...

编程新知 2026/5/18 15:31:01

告别混乱：一文读懂GB/T 18655与GB/T 38661如何共同定义BMS的EMC测试要求

电动汽车BMS电磁兼容测试&#xff1a;双国标协同应用全景指南 当工程师第一次面对GB/T 18655和GB/T 38661两份标准时&#xff0c;往往会陷入困惑——为什么需要两份标准来规范同一个电池管理系统的EMC测试&#xff1f;这个问题背后&#xff0c;隐藏着中国电动汽车标准体系演进的…...

编程新知 2026/5/18 14:19:42

如何用MGit在Android手机上轻松管理Git仓库：完整指南

如何用MGit在Android手机上轻松管理Git仓库&#xff1a;完整指南 【免费下载链接】MGit A Git client for Android. 项目地址: https://gitcode.com/gh_mirrors/mg/MGit 你是否曾经希望在Android手机上也能像在电脑上一样轻松管理Git仓库&#xff1f;MGit就是为你量身打…...

编程新知 2026/5/18 13:52:08

NotebookLM思维导图生成响应延迟超8秒？92%用户忽略的3个文档预处理致命陷阱（附自动化清洗脚本）

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;NotebookLM思维导图生成响应延迟超8秒&#xff1f;现象复现与归因定位 在 NotebookLM v2.3.1 环境中&#xff0c;用户频繁反馈「思维导图生成」功能存在显著延迟——实测端到端响应时间普遍达 8.2–14.…...

编程新知 2026/5/18 13:21:55

企业内如何构建基于Taotoken的标准化AI能力中台

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 企业内如何构建基于Taotoken的标准化AI能力中台 随着大模型技术在企业内部的应用日益广泛&#xff0c;如何高效、安全、可控地管理…...

编程新知 2026/5/18 13:15:49