当前位置： 首页 > news >正文

大数据项目实战之数据仓库：用户行为采集平台——第1章 数据仓库概念

news 2026/2/8 17:55:14

第1章 数据仓库概念

数据仓库（Data Warehouse），是为企业制定决策，提供数据支持的。可以帮助企业改进业务流程、提高产品质量等。

数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等

业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。

业务数据通常存储在 MySQL、Oracle 等数据库中。

Untitled

用户行为数据：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。比如页面浏览、点击、停留、评论、点赞、收藏等。用户行为数据通常存储在日志文件中。

Untitled

爬虫数据：通常事通过技术手段获取其他公司网站的数据。不建议同学们这样去做。

Untitled

数据仓库，并不是数据的最终目的地，而是数据最终的目的地做好准备。这些准备包括对数据的：备份、清洗、聚合、统计等

相关文章：

大数据项目实战之数据仓库：用户行为采集平台——第1章 数据仓库概念

第1章 数据仓库概念 数据仓库（Data Warehouse），是为企业制定决策，提供数据支持的。可以帮助企业改进业务流程、提高产品质量等。 数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等 业务数据&#xf…...

编程日记 2023/5/12 2:01:18

NTP对时服务器（NTP电子时钟）在生物制药业应用

NTP对时服务器（NTP电子时钟）在生物制药业应用 NTP对时服务器（NTP电子时钟）在生物制药业应用 8.1 系统概述 时钟系统为生物制药厂网络控制中心调度员、车场值班员及各部门工作人员提供统一的标准时间信息，也为本工程其它…...

编程日记 2023/5/12 2:01:15

JPA 之 QueryDSL-JPA 使用指南

Querydsl-JPA 框架（推荐） 官网：传送门 参考： JPA整合Querydsl入门篇SpringBoot环境下QueryDSL-JPA的入门及进阶 概述及依赖、插件、生成查询实体 1.Querydsl支持代码自动完成，因为是纯Java API编写查询&#xff0…...

编程日记 2023/5/12 2:01:13

如何找回回收站删除的视频？这三种方法可以试试

在使用电脑过程中，我们可能会误删重要的文件，特别是影音文件。在这样的情况下，我们可以从计算机的回收站中找回已经被删除的视频。但是有时候，我们可能会不小心清空回收站，这时候就需要一些技巧来恢复回收站删除的视频…...

编程日记 2023/5/12 2:01:10

FPGA_边沿监测理解

一、简易频率计设计中为什么一定要获取下降沿?gate_a:实际闸门信号gate_a_stand:将实际闸门信号打一拍之后的信号gate_a_fall_s:下降沿标志信号cnt_clk_stand: Y值，即在实际闸门信号下，标准时钟信号的周期个数cnt_clk_stand_reg:保存Y值的寄存器核心问题…...

编程日记 2023/5/12 2:01:08

41 42Ping-Pong操作

提高电路吞吐率的结构——Ping-Pong操作 1.Ping-Pong操作原理 作用：为了让两个不匹配的模块进行对接，并且在对接的过程中让这两个模块能够同时工作，提高数据处理的吞吐率（也称throughput效能） 常见的不匹配&#xff1…...

编程日记 2023/5/12 2:01:05

保护你的数据安全，了解网络安全法！

网络安全法是中国自2017年6月1日起实施的一项法律，旨在保障网络安全和信息安全，维护国家安全和社会稳定。网络安全法覆盖了众多方面，包括网络基础设施安全、网络运营安全、个人信息保护、网络安全监管等，具有重要的法律意义和社会…...

编程日记 2023/5/12 3:15:29

什么是CatGPT-使用效果如何-

个人使用效果，评分优，足以满足教学和填表。程序媛借助CatGPT（ChatGPT更佳），基本上可以秒杀不用此类工具的程序猿（男）！！！问：为什么使用AIGC能大幅度…...

编程日记 2023/5/12 3:15:11

【MySQL】第17章_触发器

第17章_触发器 在实际开发中，我们经常会遇到这样的情况：有 2 个或者多个相互关联的表，如商品信息和库存信息分别存放在 2 个不同的数据表中，我们在添加一条新商品记录的时候，为了保证数据的完整性，必须同时…...

编程日记 2023/5/12 3:15:06

【前端】一个更底层库-React基础知识点第2篇

目录属性状态PROPSPROP VALIDATIONSTATEFORMCONTROLLED COMPONENTSMIXINCOMPONENT APICOMPONENT LIFECYCLETOP API上一篇文章也是React基础知识点，了解到了React是什么？为什么要使用React？还知道了JSX概述，JSX嵌入变量&#xff0c…...

编程日记 2023/5/12 2:01:03

GIT基础常用命令-1

git基础常用命令-11.git简介及配置1.1 git简介1.2 git配置config1.2.1 查看配置git config1.2.2 配置设置1.2.3 获取帮助git help2 GIT基础常用命令2.1 获取镜像仓库2.1.1 git init2.1.2 git clone2.2 本地仓库常用命令2.2.1 git status2.2.2 git add2.2.3 git diff2.2.4 git c…...

编程日记 2023/5/12 3:15:04

02_qml_简介

qml介绍： QML是一种描述用户界面的声明式语言。它将用户界面分解成一些更小的元素，这些元素能够结合成一个组件。QML语言描述了用户界面元素的形状和行为。用户界面能够使用JavaScript来提供修饰，或者增加更加复杂的逻辑。从这个角度来看它遵循HTML-JavaScript模式，但QML是…...

编程日记 2023/5/12 3:14:48

小程序项目在hbuilder里面给它打包成app

小程序项目临时有些登录需求，需要把（小程序某些功能通过条件编译让它显示到app上）小程序打包成app的话就必须需要一个打包的证书，证书的话就要去重新生成，苹果电脑可以去自动生成证书，平时是用windows进行开…...

编程日记 2023/5/12 3:06:03

linux安装pycharm

linux安装pycharm1.下载相关软件包2. 安装步骤2.1 解压文件2.2 开启命令2.4 创建快捷方式官网链接 https://www.jetbrains.com/pycharm/download/#sectionlinux 1.下载相关软件包 找到自己下载的版本下载 2. 安装步骤 2.1 解压文件 进入压缩包路径 解压文件【我指定了解…...

编程日记 2023/5/12 3:05:59

seata1.5.2使用从零快速上手(提供代码与安装包)

1.软件准备： 1.1 seata1.5.2 官网下载：地址:http://seata.io/zh-cn/ server源码:https://github.com/seata/seata 百度云下载（建议）: 百度下载 链接：https://pan.baidu.com/s/1eilbSI0YdmupHYI7FroTsw 提取码&…...

编程日记 2023/5/12 3:05:56

我的机器学习之路

名字比较大，就好比大麻袋，啥都可以往里装。 如果说人生就像旅行，那么通往不同风景必定是要由不同的路抵达的。 风景无穷尽，人生却有涯。 15年的时候也写过类似的一篇文章，可以叫做大数据之大路和机器学习的岔路。现在…...

编程日记 2023/5/12 3:05:53

react-swipeable-views轮播图实现下方的切换点控制组件

本文是react通过react-swipeable-views创建公共轮播图组件的续文 上一文 我们创建了这样的一个轮播图组件 但我们已经看到的轮播图 下面都会有小点 展示当前所在的位置 但react-swipeable-views 并没有直接提供 我们需要自己去编写这个组件 我们在components下的 rotationCh…...

编程日记 2023/5/12 3:05:49

假如你知道这样的JVM

一. Java 类加载过程？ Java 类加载需要经历一下 7 个过程： 加载 加载是类加载的第一个过程，在这个阶段，将完成一下三件事情： • 通过一个类的全限定名获取该类的二进制流。 • 将该二进制流中的静态存储结构转化为方法…...

编程日记 2023/5/12 3:05:36

MyBatis框架快速入门 - 基本使用

文章目录MyBatisMyBatis基本介绍MyBaits快速入门Mapper代理开发MyBatis配置文件MyBatis MyBatis基本介绍 什么是MyBatis? MyBatis 是一款优秀的持久层框架，用于简化 JDBC 开发 MyBatis 本是 Apache 的一个开源项目iBatis, 2010年这个项目由apache software found…...

编程日记 2023/5/12 3:05:28

Linux命令---文件管理

Linux chattr命令Linux chattr命令用于改变文件属性。这项指令可改变存放在ext2文件系统上的文件或目录属性，这些属性共有以下8种模式：a：让文件或目录仅供附加用途。b：不更新文件或目录的最后存取时间。c：将文件或目录…...

编程日记 2023/5/12 3:05:10

后进先出（LIFO）详解

LIFO 是 Last In, First Out 的缩写，中文译为后进先出。这是一种数据结构的工作原则，类似于一摞盘子或一叠书本： 最后放进去的元素最先出来 -想象往筒状容器里放盘子： （1）你放进的最后一个盘子&#xff08…...

编程新知 2026/2/8 1:22:58

Redis相关知识总结（缓存雪崩，缓存穿透，缓存击穿，Redis实现分布式锁，如何保持数据库和缓存一致）

文章目录 1.什么是Redis？2.为什么要使用redis作为mysql的缓存？3.什么是缓存雪崩、缓存穿透、缓存击穿？3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

编程新知 2026/2/8 12:24:34

Opencv中的addweighted函数

一.addweighted函数作用 addweighted（）是OpenCV库中用于图像处理的函数，主要功能是将两个输入图像（尺寸和类型相同）按照指定的权重进行加权叠加（图像融合），并添加一个标量值&#x…...

编程新知 2026/2/1 1:50:03

鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院查看报告小程序

一、开发环境准备 ​​工具安装​​： 下载安装DevEco Studio 4.0（支持HarmonyOS 5）配置HarmonyOS SDK 5.0确保Node.js版本≥14 ​​项目初始化​​： ohpm init harmony/hospital-report-app 二、核心功能模块实现 1. 报告列表…...

编程新知 2026/2/1 4:17:33

sqlserver 根据指定字符 解析拼接字符串

DECLARE LotNo NVARCHAR(50)A,B,C DECLARE xml XML ( SELECT <x> REPLACE(LotNo, ,, </x><x>) </x> ) DECLARE ErrorCode NVARCHAR(50) -- 提取 XML 中的值 SELECT value x.value(., VARCHAR(MAX))…...

编程新知 2025/10/29 4:33:03

OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别

OpenPrompt 和直接对提示词的嵌入向量进行训练有什么区别 直接训练提示词嵌入向量的核心区别 您提到的代码： prompt_embedding = initial_embedding.clone().requires_grad_(True) optimizer = torch.optim.Adam([prompt_embedding...

编程新知 2025/7/4 0:50:01

全面解析各类VPN技术：GRE、IPsec、L2TP、SSL与MPLS VPN对比

目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec&#xff1f; IPsec VPN 5.1 IPsec传输模式&#xff08;Transport Mode&#xff09; 5.2 IPsec隧道模式&#xff08;Tunne…...

编程新知 2025/11/3 0:44:41

【7色560页】职场可视化逻辑图高级数据分析PPT模版

7种色调职场工作汇报PPT&#xff0c;橙蓝、黑红、红蓝、蓝橙灰、浅蓝、浅绿、深蓝七种色调模版 【7色560页】职场可视化逻辑图高级数据分析PPT模版&#xff1a;职场可视化逻辑图分析PPT模版https://pan.quark.cn/s/78aeabbd92d1...

编程新知 2026/1/23 12:22:14

如何更改默认 Crontab 编辑器 ？

在 Linux 领域中&#xff0c;crontab 是您可能经常遇到的一个术语。这个实用程序在类 unix 操作系统上可用&#xff0c;用于调度在预定义时间和间隔自动执行的任务。这对管理员和高级用户非常有益&#xff0c;允许他们自动执行各种系统任务。 编辑 Crontab 文件通常使用文本编…...

编程新知 2026/1/30 3:27:35

LLaMA-Factory 微调 Qwen2-VL 进行人脸情感识别（二）

在上一篇文章中，我们详细介绍了如何使用LLaMA-Factory框架对Qwen2-VL大模型进行微调，以实现人脸情感识别的功能。本篇文章将聚焦于微调完成后，如何调用这个模型进行人脸情感识别的具体代码实现，包括详细的步骤和注释。 模型调用步骤 环境准备：确保安装了必要的Python库。…...

编程新知 2025/11/4 0:47:29