当前位置：首页 > news >正文

【人工智能】大数据平台技术及应用

news 2025/7/8 3:56:45

文章目录

前言
一、大数据平台基本概念及发展趋势
- 1、数据量爆发式增长，发数据蓬勃发展
- 2、大数据到底是什么？
- 3、大数据处理与传统数据处理的差异
- 4、为什么要建立大数据平台？
- 5、大数据平台开源架构-Hadoop
- 6、华为云大数据平台架构
二、大数据技术框架及应用
- 1、大数据的应用场景
- 2、大数据应用流程框架
- 3、大数据技术平台框架
- 4、从数据供应到数据应用消费是一项系统性的工程
- 5、大数据的应用举例：导航软件红绿灯倒计时引导
- 6、大数据的应用举例：千人千面内容推荐

前言

掌握大数据平台的基本概念和特征
了解大数据平台架构
了解大数据平台技术发展趋势
了解大数据的应用场景
掌握大数据的应用框架

一、大数据平台基本概念及发展趋势

1、数据量爆发式增长，发数据蓬勃发展

我国网民数量居世界之首，每天产生的数据量也位于世界前列。
中央政府多次指出数据的重要性。

在这里插入图片描述

2、大数据到底是什么？

维基百科定义：
大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

在这里插入图片描述

3、大数据处理与传统数据处理的差异

在这里插入图片描述

4、为什么要建立大数据平台？

在这里插入图片描述

5、大数据平台开源架构-Hadoop

在这里插入图片描述

6、华为云大数据平台架构

在这里插入图片描述

大数据基本概念：（1）大数据4V特征（2）与传统数据处理区别大数据平台概念及意义：打通数据壁垒，提升数据价值大数据平台典型架构及产品：（1）开源Hadoop平台架构（2）华为云大数据平台架构

二、大数据技术框架及应用

1、大数据的应用场景

在这里插入图片描述

2、大数据应用流程框架

在这里插入图片描述

3、大数据技术平台框架

在这里插入图片描述

4、从数据供应到数据应用消费是一项系统性的工程

在这里插入图片描述

5、大数据的应用举例：导航软件红绿灯倒计时引导

在这里插入图片描述

6、大数据的应用举例：千人千面内容推荐

在这里插入图片描述


大数据的应用包括了5级应用场景。大数据应用流程框架包括了数据采集、数据存储、数据计算、数据消费应用、数据的治理。大数据的应用从供应到消费，涉及技术、能力、标准、流程、制度、管理等等环节，是一项系统性工程。

【人工智能】大数据平台技术及应用

文章目录前言一、大数据平台基本概念及发展趋势1、数据量爆发式增长，发数据蓬勃发展2、大数据到底是什么？3、大数据处理与传统数据处理的差异4、为什么要建立大数据平台？5、大数据平台开源架构-Hadoop6、华为云大数据平台架构二、大数据技术…...

编程日记 2024/12/8 3:06:04

Scala的模式匹配（7）

package hfdobject Test35 {case class Person(name:String)case class Student(name:String,className:String)//match case 能根据类名和属性的信息，匹配到对应的类//注意：//1 匹配的时候，case class的属性个数要对上//2 数学名不需要一一…...

编程日记 2024/12/8 3:04:02

使用 MATLAB 绘制三维散点图：根据坐标和距离映射点的颜色和大小

在数据可视化中，三维散点图是一种非常直观的方式来展示数据的分布。MATLAB 提供了强大的 scatter3 函数，可以用来绘制三维散点图，而通过调整点的颜色和大小，可以进一步增强图形的表现力。在本篇博客中，我们将逐步讲解…...

编程日记 2024/12/8 2:56:50

数仓技术hive与oracle对比（五）

附录说明附录是对测试过程中涉及到的一些操作进行记录和解析。 oracle清除缓存 alter system flush shared_pool; 将使library cache和data dictionary cache以前保存的sql执行计划全部清空，但不会清空共享sql区或者共享pl/sql区里面缓存的最近被执行的条目。刷…...

编程日记 2024/12/8 2:53:45

金融数学在股市交易中的具体应用

### 1. 风险管理 - **VaR（在险价值）**: VaR是衡量投资组合潜在损失的指标。例如，如果一个投资组合的VaR为100万元，置信水平为95%，这意味着在未来的一个交易日内，有95%的可能性该投资组合的损失不会超过100…...

编程日记 2024/12/8 2:51:43

Spring6：1 概述

Spring6：1 概述标签 JAVASpring 目录 Spring 是什么？Spring 的狭义和广义广义的 Spring：Spring 技术栈狭义的 Spring：Spring Framework Spring Framework 特点Spring 模块组成Spring6 特点版本要求本课程软件版本 1. 概述 …...

编程日记 2024/12/8 2:48:40

Python Selenium 各浏览器驱动下载与配置使用（详细流程）

1、安装 pip install selenium 2、浏览器驱动下载 Chrome(google)浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html 或 https://sites.google.com/a/chromium.org/chromedriver/home . 下载地址：http://chromedriver.stor…...

编程日记 2024/12/8 2:47:38

C语言期末考试——重点考点

目录 1.C语言的结构 2.三种循环结构 3.逻辑真假判断 4. printf函数 5. 强制类型转化 6. 多分支选择结构 7. 标识符的定义 8. 三目运算符 1.C语言的结构选择结构、顺序结构、循环结构 2.三种循环结构 for、while、do-while 3.逻辑真假判断 C语言用0表示false,用非0(不…...

编程日记 2024/12/8 2:45:36

mongo开启慢日志及常用命令行操作、数据备份

mongo开启慢日志及常用命令行操作、数据备份 1.常用命令行操作2.mongo备份3.通过命令临时开启慢日志记录4.通过修改配置开启慢日志记录 1.常用命令行操作连接命令行格式：mongo -u用户名 -p密码 --host 主机地址 --port 端口号库名； 如：连…...

编程日记 2024/12/8 2:44:35

Mybatis-Plus的主要API

一、实体类操作相关API BaseMapper<T>接口功能：这是 MyBatis - Plus 为每个实体类对应的 Mapper 接口提供的基础接口。它提供了一系列基本的 CRUD（增删改查）操作方法。例如insert(T entity)方法用于插入一条记录，d…...

编程日记 2024/12/8 2:41:33

2023 年“泰迪杯”数据分析技能赛B 题企业财务数据分析与造假识别

2023 年“泰迪杯”数据分析技能赛B 题企业财务数据分析与造假识别一、背景财务数据是指企业经营活动和财务结果的数据记录，反映了企业的财务状况与经营成果。对行业、企业的财务数据进行分析，就是要评价其过去的经营业绩、衡量现在的财务状况、预测…...

编程日记 2024/12/8 2:37:30

【SpringMVC】参数传递重定向与转发 REST风格

文章目录参数传递重定向与转发REST风格参数传递 ModelAndView：包含视图信息和模型数据信息 public ModelAndView index1(){// 返回页面ModelAndView modelAndView new ModelAndView("视图名");// 或// ModelAndView modelAndView new ModelAndView(…...

编程日记 2024/12/8 2:36:28

性能测试需求分析（超详细总结）

🍅 点击文末小卡片 ，免费获取软件测试全套资料，资料在手，涨薪更快 1、客户方提出客户方能提出明确的性能需求，说明对方很重视性能测试，这样的企业一般是金融、电信、银行、医疗器械等；他们…...

编程日记 2024/12/8 2:35:27

显卡（Graphics Processing Unit，GPU）架构详细解读

显卡架构主要分为两大类：GPU 核心架构（也称为图形处理单元架构）和显卡的其他组件（如内存、控制器、输出接口等）。本篇文章将对显卡架构进行详细分析，重点介绍 GPU 核心架构、显卡计算单元、显存结构、显卡管…...

编程日记 2024/12/8 2:31:23

【大语言模型】ACL2024论文-24 图像化歧义：Winograd Schema 挑战的视觉转变

【大语言模型】ACL2024论文-24 图像化歧义：Winograd Schema 挑战的视觉转变目录文章目录【大语言模型】ACL2024论文-24 图像化歧义：Winograd Schema 挑战的视觉转变目录摘要研究背景问题与挑战如何解决核心创新点算法模型实验效果（包含重要…...

编程日记 2024/12/8 2:30:22

AcWing 2868. 子串分值

文章目录前言代码思路前言还是实力不允许啊，要是实力允许我就一道一道中等题刷了。简单题真够呛。有些题看题解都是看老半天看不懂，假设是这种我是真感觉没必要钻研。我现在大三，要是看一遍题解看不懂就算了，果断放弃。真可以…...

编程日记 2024/12/8 2:29:21

如何进行 JavaScript 性能优化？

要进行 JavaScript 性能优化，我们可以从多个角度进行思考，主要包括减少页面渲染时间、减少内存占用、优化代码执行效率等。以下是优化的一些方法，并结合实际项目代码示例讲解。目录结构减少 DOM 操作缓存 DOM 元素批量更新 DOM 优化 Jav…...

编程日记 2024/12/8 2:26:14

使用TCP编程实现简单登录功能

在Java中，使用TCP编程实现登录功能通常涉及以下步骤： 创建服务器端，监听特定端口，等待客户端连接。创建客户端，连接到服务器端。客户端发送用户名和密码到服务器端。服务器端验证用户名和密码。服务器端返回验证结果给…...

编程日记 2024/12/8 2:24:10

卷积神经网络（CNN）的层次结构

卷积神经网络（CNN）是一种以其处理图像和视频数据的能力而闻名的深度学习模型，其基本结构通常包括以下几个层次，每个层次都有其特定的功能和作用： 1. 输入层（Input Layer）： 卷积神经网…...

编程日记 2024/12/8 2:22:04

操作系统文件管理相关习题2

文件管理的任务和功能文件管理任务：对用户文件和系统文件进行组织管理，以方便用户使用，并保证文件的安全功能：文件存储空间的管理，目录管理，文件读写管理和保护目录管理对目录管理的要求实现按名存…...

编程日记 2024/12/8 2:21:02

浏览器访问 AWS ECS 上部署的 Docker 容器（监听 80 端口）

✅ 一、ECS 服务配置 Dockerfile 确保监听 80 端口 EXPOSE 80 CMD ["nginx", "-g", "daemon off;"]或 EXPOSE 80 CMD ["python3", "-m", "http.server", "80"]任务定义（Task Definition&…...

编程新知 2025/7/8 2:39:19

业务系统对接大模型的基础方案：架构设计与关键步骤

业务系统对接大模型：架构设计与关键步骤在当今数字化转型的浪潮中，大语言模型（LLM）已成为企业提升业务效率和创新能力的关键技术之一。将大模型集成到业务系统中，不仅可以优化用户体验，还能为业务决策提供…...

编程新知 2025/7/6 2:54:59

树莓派超全系列教程文档--(62)使用rpicam-app通过网络流式传输视频

使用rpicam-app通过网络流式传输视频使用 rpicam-app 通过网络流式传输视频UDPTCPRTSPlibavGStreamerRTPlibcamerasrc GStreamer 元素文章来源： http://raspberry.dns8844.cn/documentation 原文网址使用 rpicam-app 通过网络流式传输视频本节介绍来自 rpica…...

编程新知 2025/6/15 22:22:18

微软PowerBI考试 PL300-选择 Power BI 模型框架【附练习数据】

微软PowerBI考试 PL300-选择 Power BI 模型框架 20 多年来，Microsoft 持续对企业商业智能 (BI) 进行大量投资。 Azure Analysis Services (AAS) 和 SQL Server Analysis Services (SSAS) 基于无数企业使用的成熟的 BI 数据建模技术。同样的技术也是 Power BI 数据…...

编程新知 2025/7/6 23:59:41

k8s从入门到放弃之Ingress七层负载

k8s从入门到放弃之Ingress七层负载在Kubernetes（简称K8s）中，Ingress是一个API对象，它允许你定义如何从集群外部访问集群内部的服务。Ingress可以提供负载均衡、SSL终结和基于名称的虚拟主机等功能。通过Ingress，你可…...

编程新知 2025/6/18 13:47:59

Golang dig框架与GraphQL的完美结合

将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用，可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器，能够帮助开发者更好地管理复杂的依赖关系，而 GraphQL 则是一种用于 API 的查询语言，能够提…...

编程新知 2025/7/6 21:33:24

（转）什么是DockerCompose?它有什么作用？

一、什么是DockerCompose? DockerCompose可以基于Compose文件帮我们快速的部署分布式应用，而无需手动一个个创建和运行容器。 Compose文件是一个文本文件，通过指令定义集群中的每个容器如何运行。 DockerCompose就是把DockerFile转换成指令去运行。 …...

编程新知 2025/7/7 23:07:59