当前位置： 首页 > news >正文

【人工智能】大数据平台技术及应用

news 2026/3/28 21:14:55

文章目录

  • 前言
  • 一、大数据平台基本概念及发展趋势
    • 1、数据量爆发式增长，发数据蓬勃发展
    • 2、大数据到底是什么？
    • 3、大数据处理与传统数据处理的差异
    • 4、为什么要建立大数据平台？
    • 5、大数据平台开源架构-Hadoop
    • 6、华为云大数据平台架构
  • 二、大数据技术框架及应用
    • 1、大数据的应用场景
    • 2、大数据应用流程框架
    • 3、大数据技术平台框架
    • 4、从数据供应到数据应用消费是一项系统性的工程
    • 5、大数据的应用举例：导航软件红绿灯倒计时引导
    • 6、大数据的应用举例：千人千面内容推荐

前言

  • 掌握大数据平台的基本概念和特征
  • 了解大数据平台架构
  • 了解大数据平台技术发展趋势
  • 了解大数据的应用场景
  • 掌握大数据的应用框架

一、大数据平台基本概念及发展趋势

1、数据量爆发式增长，发数据蓬勃发展

  • 我国网民数量居世界之首，每天产生的数据量也位于世界前列。

  • 中央政府多次指出数据的重要性。

在这里插入图片描述

2、大数据到底是什么？

  • 维基百科定义：
  • 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

在这里插入图片描述

3、大数据处理与传统数据处理的差异

在这里插入图片描述

4、为什么要建立大数据平台？

在这里插入图片描述

5、大数据平台开源架构-Hadoop

在这里插入图片描述

6、华为云大数据平台架构

在这里插入图片描述

大数据基本概念：（1）大数据4V特征（2）与传统数据处理区别大数据平台概念及意义：打通数据壁垒，提升数据价值大数据平台典型架构及产品：（1）开源Hadoop平台架构（2）华为云大数据平台架构

二、大数据技术框架及应用

1、大数据的应用场景

在这里插入图片描述

2、大数据应用流程框架

在这里插入图片描述

3、大数据技术平台框架

在这里插入图片描述

4、从数据供应到数据应用消费是一项系统性的工程

在这里插入图片描述

5、大数据的应用举例：导航软件红绿灯倒计时引导

在这里插入图片描述

6、大数据的应用举例：千人千面内容推荐

在这里插入图片描述


大数据的应用包括了5级应用场景。大数据应用流程框架包括了数据采集、数据存储、数据计算、数据消费应用、数据的治理。大数据的应用从供应到消费，涉及技术、能力、标准、流程、制度、管理等等环节，是一项系统性工程。

相关文章：

【人工智能】大数据平台技术及应用

文章目录 前言一、大数据平台基本概念及发展趋势1、数据量爆发式增长，发数据蓬勃发展2、大数据到底是什么？3、大数据处理与传统数据处理的差异4、为什么要建立大数据平台？5、大数据平台开源架构-Hadoop6、华为云大数据平台架构 二、大数据技术…...

编程日记 2024/12/8 3:06:04

Scala的模式匹配（7）

package hfdobject Test35 {case class Person(name:String)case class Student(name:String,className:String)//match case 能根据 类名和属性的信息，匹配到对应的类//注意：//1 匹配的时候，case class的属性个数要对上//2 数学名不需要一一…...

编程日记 2024/12/8 3:04:02

使用 MATLAB 绘制三维散点图：根据坐标和距离映射点的颜色和大小

在数据可视化中，三维散点图是一种非常直观的方式来展示数据的分布。MATLAB 提供了强大的 scatter3 函数，可以用来绘制三维散点图，而通过调整点的颜色和大小，可以进一步增强图形的表现力。 在本篇博客中，我们将逐步讲解…...

编程日记 2024/12/8 2:56:50

数仓技术hive与oracle对比（五）

附录说明 附录是对测试过程中涉及到的一些操作进行记录和解析。 oracle清除缓存 alter system flush shared_pool; 将使library cache和data dictionary cache以前保存的sql执行计划全部清空，但不会清空共享sql区或者共享pl/sql区里面缓存的最近被执行的条目。刷…...

编程日记 2024/12/8 2:53:45

金融数学在股市交易中的具体应用

### 1. 风险管理 - **VaR（在险价值）**: VaR是衡量投资组合潜在损失的指标。例如，如果一个投资组合的VaR为100万元，置信水平为95%，这意味着在未来的一个交易日内，有95%的可能性该投资组合的损失不会超过100…...

编程日记 2024/12/8 2:51:43

Spring6：1 概述

Spring6：1 概述 标签 JAVASpring 目录 Spring 是什么？Spring 的狭义和广义 广义的 Spring：Spring 技术栈狭义的 Spring：Spring Framework Spring Framework 特点Spring 模块组成Spring6 特点 版本要求本课程软件版本 1. 概述 …...

编程日记 2024/12/8 2:48:40

Python Selenium 各浏览器驱动下载与配置使用（详细流程）

1、安装 pip install selenium 2、浏览器驱动下载 Chrome(google)浏览器驱动 下载地址：http://chromedriver.storage.googleapis.com/index.html 或 https://sites.google.com/a/chromium.org/chromedriver/home . 下载地址：http://chromedriver.stor…...

编程日记 2024/12/8 2:47:38

C语言期末考试——重点考点

目录 1.C语言的结构 2.三种循环结构 3.逻辑真假判断 4. printf函数 5. 强制类型转化 6. 多分支选择结构 7. 标识符的定义 8. 三目运算符 1.C语言的结构 选择结构、顺序结构、循环结构 2.三种循环结构 for、while、do-while 3.逻辑真假判断 C语言用0表示false,用非0(不…...

编程日记 2024/12/8 2:45:36

mongo开启慢日志及常用命令行操作、数据备份

mongo开启慢日志及常用命令行操作、数据备份 1.常用命令行操作2.mongo备份3.通过命令临时开启慢日志记录4.通过修改配置开启慢日志记录 1.常用命令行操作 连接命令行 格式：mongo -u用户名 -p密码 --host 主机地址 --port 端口号 库名； 如：连…...

编程日记 2024/12/8 2:44:35

Mybatis-Plus的主要API

一、实体类操作相关API BaseMapper<T>接口 功能&#xff1a;这是 MyBatis - Plus 为每个实体类对应的 Mapper 接口提供的基础接口。它提供了一系列基本的 CRUD&#xff08;增删改查&#xff09;操作方法。例如insert(T entity)方法用于插入一条记录&#xff0c;d…...

编程日记 2024/12/8 2:41:33

2023 年“泰迪杯”数据分析技能赛B 题企业财务数据分析与造假识别

2023 年“泰迪杯”数据分析技能赛B 题企业财务数据分析与造假识别 一、背景 财务数据是指企业经营活动和财务结果的数据记录&#xff0c;反映了企业的财务状况 与经营成果。对行业、企业的财务数据进行分析&#xff0c;就是要评价其过去的经营业绩、 衡量现在的财务状况、预测…...

编程日记 2024/12/8 2:37:30

【SpringMVC】参数传递 重定向与转发 REST风格

文章目录 参数传递重定向与转发REST风格 参数传递 ModelAndView&#xff1a;包含视图信息和模型数据信息 public ModelAndView index1(){// 返回页面ModelAndView modelAndView new ModelAndView("视图名");// 或// ModelAndView modelAndView new ModelAndView(…...

编程日记 2024/12/8 2:36:28

性能测试需求分析（超详细总结）

&#x1f345; 点击文末小卡片 &#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 1、客户方提出 客户方能提出明确的性能需求&#xff0c;说明对方很重视性能测试&#xff0c;这样的企业一般是金融、电信、银行、医疗器械等&#xff1b;他们…...

编程日记 2024/12/8 2:35:27

显卡（Graphics Processing Unit，GPU）架构详细解读

显卡架构主要分为两大类&#xff1a;GPU 核心架构&#xff08;也称为图形处理单元架构&#xff09;和显卡的其他组件&#xff08;如内存、控制器、输出接口等&#xff09;。本篇文章将对显卡架构进行详细分析&#xff0c;重点介绍 GPU 核心架构、显卡计算单元、显存结构、显卡管…...

编程日记 2024/12/8 2:31:23

【大语言模型】ACL2024论文-24 图像化歧义：Winograd Schema 挑战的视觉转变

【大语言模型】ACL2024论文-24 图像化歧义&#xff1a;Winograd Schema 挑战的视觉转变 目录 文章目录 【大语言模型】ACL2024论文-24 图像化歧义&#xff1a;Winograd Schema 挑战的视觉转变目录摘要研究背景问题与挑战如何解决核心创新点算法模型实验效果&#xff08;包含重要…...

编程日记 2024/12/8 2:30:22

AcWing 2868. 子串分值

文章目录 前言代码思路 前言 还是实力不允许啊&#xff0c;要是实力允许我就一道一道中等题刷了。简单题真够呛。有些题看题解都是看老半天看不懂&#xff0c;假设是这种我是真感觉没必要钻研。我现在大三&#xff0c;要是看一遍题解看不懂就算了&#xff0c;果断放弃。真可以…...

编程日记 2024/12/8 2:29:21

如何进行 JavaScript 性能优化？

要进行 JavaScript 性能优化&#xff0c;我们可以从多个角度进行思考&#xff0c;主要包括减少页面渲染时间、减少内存占用、优化代码执行效率等。以下是优化的一些方法&#xff0c;并结合实际项目代码示例讲解。 目录结构 减少 DOM 操作 缓存 DOM 元素批量更新 DOM 优化 Jav…...

编程日记 2024/12/8 2:26:14

使用TCP编程实现简单登录功能

在Java中&#xff0c;使用TCP编程实现登录功能通常涉及以下步骤&#xff1a; 创建服务器端&#xff0c;监听特定端口&#xff0c;等待客户端连接。创建客户端&#xff0c;连接到服务器端。客户端发送用户名和密码到服务器端。服务器端验证用户名和密码。服务器端返回验证结果给…...

编程日记 2024/12/8 2:24:10

卷积神经网络（CNN）的层次结构

卷积神经网络&#xff08;CNN&#xff09;是一种以其处理图像和视频数据的能力而闻名的深度学习模型&#xff0c;其基本结构通常包括以下几个层次&#xff0c;每个层次都有其特定的功能和作用&#xff1a; 1. 输入层&#xff08;Input Layer&#xff09;&#xff1a; 卷积神经网…...

编程日记 2024/12/8 2:22:04

操作系统文件管理相关习题2

文件管理的任务和功能文件管理 任务&#xff1a;对用户文件和系统文件进行组织管理&#xff0c;以方便用户使用&#xff0c;并保证文件的安全 功能&#xff1a;文件存储空间的管理&#xff0c;目录管理&#xff0c;文件读写管理和保护 目录管理 对目录管理的要求 实现按名存…...

编程日记 2024/12/8 2:21:02

视频生成技术新范式：Wan2.2如何重新定义AI创作边界

视频生成技术新范式&#xff1a;Wan2.2如何重新定义AI创作边界 【免费下载链接】Wan2.2-Animate-14B 项目地址: https://ai.gitcode.com/hf_mirrors/Wan-AI/Wan2.2-Animate-14B 在数字内容创作领域&#xff0c;视频生成技术正经历着从实验性探索到产业化应用的关键转型…...

编程新知 2026/3/28 20:57:35

requests - 简单好用的HTTP请求库

一、什么是requests&#xff1f; requests 是一个用于发送HTTP请求的 Python 库。 它可以帮助你&#xff1a; 轻松发送GET、POST、PUT、DELETE等请求处理Cookie、会话等复杂性自动解压缩内容处理国际化域名和URL 二、应用场景 requests 广泛应用于以下实际场景&#xff1a;…...

编程新知 2026/3/28 20:35:24

SCRFD实战：从数据标注到模型训练的全流程指南

1. SCRFD算法基础与场景适配 SCRFD作为轻量级人脸检测算法&#xff0c;最初设计用于输出人脸矩形框及5个关键点&#xff08;左右眼、鼻尖、嘴角&#xff09;。但在工业质检、医疗影像等领域&#xff0c;我们常需要检测其他目标并调整关键点数量。比如检测电路板元件需要3个定位…...

编程新知 2026/3/28 20:07:12

解决Ubuntu18.04网络共享中的常见问题：从Permission denied到外网访问失败

Ubuntu 18.04网络共享全攻略&#xff1a;从静态IP配置到外网访问故障排查 当你需要在两台Ubuntu 18.04设备间共享网络连接时&#xff0c;可能会遇到各种意料之外的障碍。无论是权限问题、静态IP配置错误还是NAT转发失效&#xff0c;每个环节都可能成为网络共享路上的绊脚石。本…...

编程新知 2026/3/28 18:48:40

聊天记录数据化生存：WeChatMsg从备份到分析的技术实践

聊天记录数据化生存&#xff1a;WeChatMsg从备份到分析的技术实践 【免费下载链接】WeChatMsg 提取微信聊天记录&#xff0c;将其导出成HTML、Word、CSV文档永久保存&#xff0c;对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we/WeCha…...

编程新知 2026/3/28 18:46:36

全栈实战应用：基于快马AI快速构建带投稿审稿系统的《构石》期刊官网

全栈实战应用&#xff1a;基于快马AI快速构建带投稿审稿系统的《构石》期刊官网 最近接手了一个学术期刊官网的开发需求&#xff0c;需要实现完整的在线投稿和审稿流程。这个项目涉及前后端联调和数据库设计&#xff0c;正好可以试试用InsCode(快马)平台来快速搭建原型。下面分…...

编程新知 2026/3/28 18:38:35

Umi-OCR性能调优实战指南：老旧系统文字识别效率提升方案

Umi-OCR性能调优实战指南&#xff1a;老旧系统文字识别效率提升方案 【免费下载链接】Umi-OCR Umi-OCR: 这是一个免费、开源、可批量处理的离线OCR软件&#xff0c;适用于Windows系统&#xff0c;支持截图OCR、批量OCR、二维码识别等功能。 项目地址: https://gitcode.com/Gi…...

编程新知 2026/3/28 17:09:38

AI系统架构评审中的可扩展性设计：3个关键策略

AI系统架构评审中的可扩展性设计：3个关键策略 摘要 在AI技术飞速发展的今天，系统可扩展性已成为决定AI项目成败的关键因素之一。本文深入探讨了AI系统架构评审中可扩展性设计的三个核心策略：分布式计算与存储架构、模型解耦与服务化设计以及自适应资源调度与弹性扩展。通过…...

编程新知 2026/3/28 16:33:24

Audacity：开源音频编辑与录制的终极完整指南

Audacity&#xff1a;开源音频编辑与录制的终极完整指南 【免费下载链接】audacity Audio Editor 项目地址: https://gitcode.com/GitHub_Trending/au/audacity Audacity是一款功能强大的开源音频编辑软件&#xff0c;为用户提供专业级的音频录制、编辑和处理能力。无论…...

编程新知 2026/3/28 15:37:00

Vitis 2022.1下，Ultrascale+ MPSOC PL端lwIP以太网完整配置流程（含约束文件与时钟设置）

Vitis 2022.1环境下Ultrascale MPSOC PL端lwIP以太网全流程实战指南 当我们需要在Zynq Ultrascale MPSOC平台上实现高性能网络通信时&#xff0c;PL端以太网方案往往能提供比PS端更灵活的设计空间和更高的吞吐量。本文将手把手带你完成从Vivado工程创建到Vitis应用部署的完整流…...

编程新知 2026/3/28 15:16:56