当前位置： 首页 > news >正文

大数据中的一些词汇解释

news 2026/4/4 6:36:02

OLTP（online Transaction Prrocessing）

OLTP是一个处理面向事务的数据的软件系统。术语“在线交易”是指实时完成活动，而不是批处理。此数据是结构化数据的常见来源，可作为许多分析过程的输入。OLTP交易讲究实时性，就像线上缴费你一定想要在一分钟内收到短信一样，它的响应时间是次秒级。为此OLTP大都采用结构化数据并尽可能做简单操。。

OLAP（online Analytical processing）

OLAP与OLTP不同，它对时效性要求不高但是侧重于对历史数据的分析和整合。OLAP系统主要用于处理数据分析查询。OLAP 是商业智能、数据挖掘和机器学习过程的一个组成部分。它们与大数据相关,因为它们既可以作为数据源,也可以作为能够接收数据的数据接收器。它们通常用于诊断、预测和规范性分析。

ETL(Extract transform load)

ETL 是企业数据应用过程中的一个数据流（pipeline）的控制技术，把原始的数据经过一定的处理，放入数据仓库里。

可以想象一下一条大河的源头被污染，下游就无法作为饮用水源，也无法用于灌溉。如果想用于灌溉，就要将河上游工厂的污水进行处理之后再排入，如果想用于饮用，那就要用水淡化或者渗透过滤技术，对水质进行改造。

同样，原始数据并不是完美的、洁净的，质量参差不齐的数据对于数据最终的使用会产生很大的影响。所以原始数据需要进行处理。（来自知乎）

相关文章：

大数据中的一些词汇解释

OLTP（online Transaction Prrocessing） OLTP是一个处理面向事务的数据的软件系统。术语“在线交易”是指实时完成活动，而不是批处理。此数据是结构化数据的常见来源，可作为许多分析过程的输入。OLTP交易讲究实时性，就…...

编程日记 2023/10/12 8:45:50

10月11-12日上课内容 Ansible

Ansible Ansible是一个基于Python开发的配置管理和应用部署工具，现在也在自动化管理领域大放异彩。它融合了众多老牌运维工具的优点，Pubbet和Saltstack能实现的功能，Ansible基本上都可以实现。 Ansible能批量配置、部署、管理上千台主机。比…...

编程日记 2023/10/12 8:44:49

android studio 我遇到的Task :app:compileDebugJavaWithJavac FAILED问题及解决过程

前几天一个网友在学习我的一个小项目的时候，发现无法达到目的，在帮他解决问题的过程中发现他用的是最近的giraffe版本的as，我用的是老版本，没办法打开他的项目，没办法只能卸载我的as，安装了最近版的diraffe…...

编程日记 2023/10/12 8:43:48

PLC电梯控制系统

目录 PLC电梯控制系统 1电梯简介 1.1电梯的基本分类 1.1.1按用途分类 1.1.2 按驱动系统分类 1.2 电梯的型号 1.3电梯的主要参数及规格尺寸 1.4电梯控制技术 1.5常用交流调速电梯的特点 1.6电梯的工作原理 2 PLC可编程序控制器 2.1 PLC的起源与发展 2.2 PLC控制系统…...

编程日记 2023/10/12 8:42:47

FastAPI学习-27 使用@app.api_route() 设置多种请求方式

对同一个访问函数设置多个http 请求方式 api_route 使用 使用methods 参数设置请求方式 from fastapi import FastAPIapp FastAPI() app.api_route(/demo/b, methods[get, post]) async def demo2(): return {"msg": "demo2 success"}判断请求方式…...

编程日记 2023/10/12 8:40:44

08. 机器学习- 线性回归

文章目录 线性回归 LINEAR REGRESSION 从本次课程开始，大部分时候我将不再将打印结果贴出来了，因为太占用篇幅。小伙伴可以根据我的输出执行敲一遍代码来进行学习和验证。 同样是为了节省篇幅，我也不会再一行行那么仔细的解释代码了&#xff…...

编程日记 2023/10/12 8:39:44

好奇喵 | PT（Private Tracker）——什么是P2P，什么是BT，啥子是PT？

前言 有时候会听到别人谈论pt，好奇猫病又犯了，啥子是pt？ PT——你有pt吗？啥是pt？ 从BT开始 BitTorrent是一种点对点（P2P）文件共享协议，用于高速下载和上传大型文件。它允许用户通…...

编程日记 2023/10/12 8:38:42

【Node.js】crypto 模块

crypto模块的目的是为了提供通用的加密和哈希算法。用纯JavaScript代码实现这些功能不是不可能，但速度会非常慢。 Nodejs用C/C实现这些算法后，通过cypto这个模块暴露为JavaScript接口，这样用起来方便，运行速度也快。 只要密钥发…...

编程日记 2023/10/12 8:37:40

vue父组件向子组件传值的方法

Vue父组件向子组件传值的方法有以下几种&#xff1a; Props&#xff08;属性&#xff09;&#xff1a;在父组件中通过在子组件标签上绑定属性的方式传递数据。子组件可以通过props选项接收并使用这些属性。适用于父组件需要向子组件传递初始值的情况。 示例&#xff1a; <…...

编程日记 2023/10/12 8:35:38

MATLAB算法实战应用案例精讲-【优化算法】高尔夫优化算法（GOA）（附MATLAB代码实现）

前言 高尔夫优化算法(Golf Optimization Algorithm, GOA)，用以解决现实世界中的复杂优化问题。该成果于2023年8月发表在SCI期刊Biomimetics 。高尔夫球是一项户外运动，在个人或团队的场地上展开，由专业球杆熟练操纵。这项运动的基本原则决定了它的本质——将球从起始点推向…...

编程日记 2023/10/12 8:34:37

数组的reduce和reduceRight方法

1.reduce方法可用接收两个参数&#xff1a; 第一个参数&#xff1a;为一个回调函数&#xff0c;此回调函数又可以有四个参数 第1个参数&#xff1a;为上一次回调函数return的结果&#xff0c;首次默认为第二个参数值&#xff0c;如果没有第二个参数值&#xff0c;则默认当前数…...

编程日记 2023/10/12 8:33:36

自动监控网站可用性并发送通知的 Bash 脚本

在现代的互联网世界中&#xff0c;网站的可用性对于业务的成功至关重要。如果您是一个网站管理员或负责监控网站运行状况的工程师&#xff0c;那么您知道及时发现并解决问题对于确保用户满意度至关重要。如何使用 Bash 脚本来监控多个网站的可用性&#xff0c;并在网站出现问题…...

编程日记 2023/10/12 8:32:33

go 项目打包部署到服务器

1、window打包到Linux 步骤1 依次执行一下命令&#xff0c;就会得到一个exe 文件 步骤2 把打包的文件&#xff0c;放到服务器上&#xff08;可以使用FinalShell工具&#xff09; chmod x main # 执行这个命令&#xff0c;给main 文件添加 执行权限&#xff0c;然后执行 ls &…...

编程日记 2023/10/12 8:29:28

整理mongodb文档:副本集成员可以为偶数

个人博客 整理mongodb文档:副本集成员可以为偶数 想了下&#xff0c;仲裁节点还是不想直接说太多&#xff0c;怕有的同学想太多&#xff0c;且本身副本集就偏向运维的&#xff0c;新手基本也没什么权限操作&#xff0c;就不多废话了。 文章概叙 文章从MongoDB是否可以用偶数…...

编程日记 2023/10/12 8:28:27

PHP - 遇到的Bug - 总结

BUG记录1 [问题] 除数为0&#xff0c;不符合规则 [问题描述] // 报错信息 DivisionByZeroError&#xff1a;is thrown when an attempt is made to divide a number by zero.// example public class Example {public static void Main(){int number1 3000;int number2 0;tr…...

编程日记 2023/10/12 8:27:26

统计子岛屿的数量

统计子岛屿 题目描述 给你两个 m x n 的二进制矩阵 grid1 和 grid2 &#xff0c;它们只包含 0 &#xff08;表示水域&#xff09;和 1 &#xff08;表示陆地&#xff09;。一个 岛屿 是由 四个方向 &#xff08;水平或者竖直&#xff09;上相邻的 1 组成的区域。任何矩阵以外…...

编程日记 2023/10/12 8:25:23

IntelliJ IDEA Maven 项目的依赖分析

在一个 maven 的项目中&#xff0c;我们需要知道我们的项目中使用的包可能有哪些冲突。 这个在 IntelliJ IDEA 中提供了贴心的查看。 选择 Maven 项目中的分析依赖。 随后&#xff0c;IntelliJ IDEA 将会打开一个依赖分析的标签页。 在这个标签页中&#xff0c;我们可以看到…...

编程日记 2023/10/12 8:24:22

数学建模、统计建模、计量建模整体框架的理解以及建模的步骤

数学建模、统计建模、计量建模整体框架的理解以及建模的步骤 引言正文模型的设定模型的估计建模中可能遇到的四种数据类型 模型的检验模型的应用 最后 引言 这篇博客主要写给统计或者数学专业的小白&#xff0c;以供快速上手建模比赛&#xff1b;本人将在这里整合参加建模比赛…...

编程日记 2023/10/12 8:23:22

WaitGroup原理分析

背景 在实际业务开发中&#xff0c;我们会遇到以下场景&#xff1a;请求数据库&#xff0c;批量获取1000条数据记录后&#xff0c;处理数据 为了减少因一次批量获取的数据太多&#xff0c;导致的数据库延时增加&#xff0c;我们可以把一次请求拆分成多次请求&#xff0c;并发去…...

编程日记 2023/10/12 8:21:19

java直播源码：如何使用Java构建一个高效的直播系统

Java直播源码是一种用于实现实时视频流传输的技术&#xff0c;它可以将视频流从一个地方传送到另一个地方。它使用Java语言编写&#xff0c;可以支持多种视频格式&#xff0c;如MPEG、H.264等。 Java直播源码是一种用于实现实时视频流传输的技术&#xff0c;它可以将视频流从一…...

编程日记 2023/10/12 8:20:18

Redis优化以太坊交易池性能实战，hadoop-mapreduce。

区块链加速器&#xff1a;Redis优化以太坊交易池性能方案 以太坊交易池的性能直接影响网络吞吐量和用户体验。传统基于内存的交易池管理面临数据一致性、查询效率及扩展性挑战。Redis作为高性能内存数据库&#xff0c;通过以下方法显著优化交易池性能。 数据结构设计优化 使用R…...

编程新知 2026/4/4 5:37:07

AI与数据库智能交互：Qwen3-0.6B-FP8实现自然语言转SQL查询

AI与数据库智能交互&#xff1a;Qwen3-0.6B-FP8实现自然语言转SQL查询 你有没有过这样的经历&#xff1f;面对公司后台密密麻麻的数据表&#xff0c;想查点东西&#xff0c;却不知道该怎么写SQL语句。或者&#xff0c;你是个业务人员&#xff0c;每次想分析数据都得找技术同事…...

编程新知 2026/4/4 5:37:07

OpenClaw+Qwen2.5-VL-7B：3类图文数据分析自动化案例

OpenClawQwen2.5-VL-7B&#xff1a;3类图文数据分析自动化案例 1. 为什么需要本地化的图文数据分析助手&#xff1f; 上周我整理季度运营报告时&#xff0c;面对几十张散落的截图和PDF&#xff0c;突然意识到一个问题&#xff1a;我们花在"找数据-复制粘贴-核对格式&quo…...

编程新知 2026/4/4 5:31:06

Keil5开发环境为STM32移植水墨江南模型生成的精简字库

Keil5开发环境为STM32移植水墨江南模型生成的精简字库 最近在做一个有点意思的硬件项目&#xff0c;想在一块小小的OLED屏幕上&#xff0c;显示一些有中国风韵味的汉字&#xff0c;比如“风”、“雅”、“颂”这类字。直接用系统自带的宋体、黑体&#xff0c;总觉得差点意思&a…...

编程新知 2026/4/4 5:23:02

SimpleScreenRecorder多线程架构设计：如何避免死锁并提升录制性能

SimpleScreenRecorder多线程架构设计&#xff1a;如何避免死锁并提升录制性能 【免费下载链接】ssr SimpleScreenRecorder, a screen recorder for Linux 项目地址: https://gitcode.com/gh_mirrors/ss/ssr SimpleScreenRecorder作为一款Linux平台下的专业屏幕录制工具&…...

编程新知 2026/4/4 4:20:03

JDK-02 | 我为什么越来越喜欢用 Java 的 Text Blocks

这是专栏第 2 篇。 如果第一篇 record 是在“模型表达”上让我轻松，Text Blocks 则是在“日常编码和代码审查”上让我明显省力。 我先给结论：Text Blocks 不只是少写几个 +，它真正解决的是多行文本在代码中的可读性、可评审性和可回归性。 一、我为什么会认真用这个特性 …...

编程新知 2026/4/4 3:53:54

避坑指南：Oracle EBS AR模块数据查询中的10个常见错误与优化技巧

Oracle EBS AR模块数据查询实战&#xff1a;10个高频错误解析与性能优化指南 当你面对Oracle EBS AR模块的海量数据时&#xff0c;是否经常遇到查询结果不符预期、性能低下甚至系统卡死的困境&#xff1f;作为从业15年的EBS技术顾问&#xff0c;我见过太多团队在AR数据查询上踩…...

编程新知 2026/4/4 3:17:31

小程序支付实名认证跳转：从安卓兼容到iOS限制的实战处理方案

1. 小程序支付实名认证跳转的痛点解析 最近在开发一个保险行业的小程序时&#xff0c;遇到了一个让人头疼的问题&#xff1a;支付环节需要跳转到微支保小程序进行实名认证。最初的做法很简单粗暴&#xff0c;直接在页面加载时就调用wx.navigateToMiniProgram跳转。测试时发现&a…...

编程新知 2026/4/4 2:59:24

工业质检新思路：当UNet遇上钢材缺陷，聊聊PyTorch实战中的那些‘坑’与优化技巧

工业质检实战&#xff1a;UNet在钢材缺陷检测中的高阶优化与避坑指南 第一次把UNet模型部署到钢厂产线时&#xff0c;我盯着监控屏幕上闪烁的误报提示&#xff0c;意识到学术论文里的漂亮指标和真实工业场景之间&#xff0c;隔着无数个深夜调试的神经网络。钢材表面那些细如发丝…...

编程新知 2026/4/4 2:51:23

从空调到电动车：拆解NTC和PTC热敏电阻在你身边电子产品里的‘隐藏任务’

从空调到电动车&#xff1a;拆解NTC和PTC热敏电阻在你身边电子产品里的‘隐藏任务’ 你有没有想过&#xff0c;为什么手机快充时充电头不会烫到冒烟&#xff1f;汽车座椅加热为什么不会越坐越烫&#xff1f;这些看似简单的日常体验背后&#xff0c;其实都藏着一对神奇的电子元件…...

编程新知 2026/4/4 2:41:20