当前位置：首页 > news >正文

大数据之路读书笔记 Day1

news 2025/11/10 17:26:51

大数据之路读书笔记 Day1

阿里巴巴大数据系统体系架构图

1. 数据采集层

传输：TimeTunnel（TT），支持实时流式计算和时间窗口批量计算
数据同步工具：DataX

2. 数据计算层

元数据模型整合，面向数据发现，数据管理，用于存储、计算和成本管理

3. 数据服务层

OneService

以数据仓库整合计算好的数据作为数据源，通过接口方式提供数据服务，提供简单复杂数据查询（用户画像，用户识别），实时数据推送等服务

4. 数据应用层

搜索、推荐、广告等等

附图：
在这里插入图片描述

点赞关注收藏，获取更多干货知识~

大数据之路读书笔记 Day1

大数据之路读书笔记 Day1 阿里巴巴大数据系统体系架构图 1. 数据采集层 #mermaid-svg-YqqD2w3qV6jc2aGP {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-YqqD2w3qV6jc2aGP .error-icon{fill:#552222;}#mermaid-sv…...

编程日记 2024/6/26 13:54:43

吴恩达揭秘：编程Agent如何革新软件开发行业

作为 AI 领域的杰出人物，吴恩达教授对编程 Agent 的兴起表示了极大的兴趣。他认为，编程 Agent 有潜力通过自动执行繁琐的任务、提高代码质量和加速开发周期来彻底改变软件开发行业。本文将深入探讨吴恩达对编程 Agent 的见解， 多代理系统质…...

编程日记 2024/6/26 13:53:41

Study--Oracle-04-SQL练习

一、SQL语句思维导图二、SQL练习 -- 以employee_id 为排序，列出前5个人 -- FETCH select employee_id,first_name from employees order by employee_id FETCH FIRST 5 rows only; -- 以employee_id 为排序，从第6个人开始到第10个人 -- offset …...

编程日记 2024/6/26 13:52:40

目前音质最好的麦克风是哪款，一文读懂无线麦克风推荐哪些品牌好

在自媒体时代，无线领夹麦克风成为自媒体人不可或缺的助手。它帮助我们在各种环境中保持清晰声音，提升创作效率与作品质量。然而，面对众多无线麦克风产品，挑选一款性价比高、性能卓越的款式却成为难题。今天，我将分享…...

编程日记 2024/6/26 13:51:39

Python笔记异常、模块与包

一、了解异常异常的概念什么是异常当检测到一个错误时，Python解释器就无法继续执行了，反而出现了一些错误的提示，这就是所谓的“异常”，也就是我们常说的BUG。二、异常的捕获 1.知道为什么要捕获异常世界上没有完美的程…...

编程日记 2024/6/26 13:50:37

spark查看日志

Logger 当 Spark 任务已经提交到集群运行后，可以通过以下几种方式查看LoggerFactory输出的日志： Web 界面：在 Spark 任务运行时，可以通过访问 Spark 的 Web UI 来查看日志。通常，可以在浏览器中输入http://<drive…...

编程日记 2024/6/26 13:49:36

【LeetCode】每日一题：LRU缓存

请你设计并实现一个满足 LRU (最近最少使用) 缓存约束的数据结构。实现 LRUCache 类： LRUCache(int capacity) 以正整数作为容量 capacity 初始化 LRU 缓存 int get(int key) 如果关键字 key 存在于缓存中，则返回关键字的值，否则返回 -1 …...

编程日记 2024/6/26 13:48:35

记录一个Xshell使用中Xmanager...X11转发的提示问题

希望文章能给到你启发和灵感～ 如果觉得有帮助的话，点赞关注收藏支持一下博主哦～ 阅读指南一、环境说明1.1 硬件环境1.2 软件环境二、问题和错误三、解决四、理解和延伸一下一、环境说明考虑环境因素，大家适当的对比自己的软硬…...

编程日记 2024/6/26 13:47:33

Mamba 模型

建议观看讲解视频：AI大讲堂：革了Transformer的小命？专业拆解【Mamba模型】_哔哩哔哩_bilibili 1. 论文基本信息 2. 创新点选择性 SSM，和扩展 Mamba 架构，是具有关键属性的完全循环模型，这使得它们适合作…...

编程日记 2024/6/26 13:45:31

30-33、SpringBoot项目部署\属性配置方式\多环境开发（一个文件）\多环境分组（多个文件）

1、打包插件：和springboot的版本保持一致根pom <build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><version>3.1.3</versi…...

编程日记 2024/6/26 13:44:29

【PyQt5】一文向您详细介绍 setContentsMargins() 的作用

【PyQt5】一文向您详细介绍 setContentsMargins() 的作用下滑即可查看博客内容 🌈 欢迎莅临我的个人主页 👈这里是我静心耕耘深度学习领域、真诚分享知识与智慧的小天地！🎇 🎓 博主简介：985高校的普通…...

编程日记 2024/6/26 13:43:28

分页查询前端对接

文章目录添加角色修改角色当点击修改按钮后,那么就会弹出对话框,所以要设置显示为true点击修改的时候就是要显示对话框制作用户管理页面开发后端接口用户查询前端整合新增接口功能实现修改添加角色首先添加添加表单的组件那么总结一下就是使用组件然后再使用变量接…...

编程日记 2024/6/26 13:42:26

从一万英尺外看libevent（源码刨析）

从一万英尺外看libevent 温馨提示：阅读时间大概二十分钟前言 Libevent是用于编写高速可移植非阻塞IO应用的库，其设计目标是： 可移植性：使用libevent编写的程序应该可以在libevent支持的所有平台上工作。即使没有好的方式进行非…...

编程日记 2024/6/26 13:40:24

Linux部署SVN

一.下载与安装 （1）yum安装 yum install subversion （2）源文件编译安装 ①下载svn源文件 subversion-xxx.tar.gz（subversion 源文件） subversion-deps-xxx.tar.gz（subversion依赖文件&…...

编程日记 2024/6/26 13:39:23

Linux高并发服务器开发（二）系统调用函数

文章目录 1 系统调用2 errno3 虚拟内存空间4 文件描述符5 常用文件IO函数6 阻塞和非阻塞7 lseek 偏移函数8 文件操作函数之stat函数9 文件描述符复制 dup10 fcnlt函数修改文件属性11 目录相关操作12 时间相关函数 1 系统调用根据系统调用，获取驱动信息、CPU的信息…...

编程日记 2024/6/26 13:38:21

rk3568 Android 11在系统怎样执行命令获取SN号

目录 1. 使用ADB（Android Debug Bridge）2. 使用Shell脚本或应用程序3. 使用系统API4. 直接在设备上使用Shell5. getprop使用方法常见属性示例注意事项在瑞芯微RK3568 Android 11系统中执行命令或获取SN号（序列号）通常可以通过几种…...

编程日记 2024/6/26 13:37:20

PostgreSQL 性能优化与调优（六）

1. 索引优化 1.1 创建索引索引可以显著提高查询性能。创建索引的基本语法如下： CREATE INDEX index_name ON table_name (column_name);例如，为 users 表的 username 列创建索引： CREATE INDEX idx_username ON users (username); 1.2 …...

编程日记 2024/6/26 13:35:17

win10 安装openssl并使用openssl创建自签名证书

win10创建自签名证书下载安装配置openssl 下载地址： https://slproweb.com/download/Win64OpenSSL-3_3_1.exe https://slproweb.com/products/Win32OpenSSL.html 完成后安装，一路next，到达选位置的之后选择安装的位置，我这里选…...

编程日记 2024/6/26 13:34:16

【OpenCV 图像处理 Python版】图像处理的基本操作

文章目录 1.图像的 IO 操作1.1 图像读取 imread1.2 图像显示1.2.1 opencv 方式1.2.2 matplotlib 方式 1.3 图像保存 imwrite 2.绘制几何图形1. 绘制直线2. 绘制矩形3. 绘制圆形4. 绘制多边形5. 添加文字 3.获取并修改图像中的像素点3.1 获取像素值3.2 修改像素值3.3 获取和修改…...

编程日记 2024/6/26 13:33:14

HarmonyOS应用开发学习经验

一、HarmonyOS学习官网开发者能力认证 HarmonyOS应用开发者基础认证6月之前的学习资源官网已经关闭过期，大家不要慌，官方更新了最新资源，但是，对于之前没有学习完的学员不友好，存在知识断片的现象，建议官…...

编程日记 2024/6/26 13:30:11

三维GIS开发cesium智慧地铁教程（5）Cesium相机控制

一、环境搭建 <script src"../cesium1.99/Build/Cesium/Cesium.js"></script> <link rel"stylesheet" href"../cesium1.99/Build/Cesium/Widgets/widgets.css"> 关键配置点： 路径验证：确保相对路径.…...

编程新知 2025/8/21 15:41:11

BCS 2025｜百度副总裁陈洋：智能体在安全领域的应用实践

6月5日，2025全球数字经济大会数字安全主论坛暨北京网络安全大会在国家会议中心隆重开幕。百度副总裁陈洋受邀出席，并作《智能体在安全领域的应用实践》主题演讲，分享了在智能体在安全领域的突破性实践。他指出，百度通过将安全能力…...

编程新知 2025/11/7 22:14:36

Axios请求超时重发机制

Axios 超时重新请求实现方案在 Axios 中实现超时重新请求可以通过以下几种方式： 1. 使用拦截器实现自动重试 import axios from axios;// 创建axios实例 const instance axios.create();// 设置超时时间 instance.defaults.timeout 5000;// 最大重试次数 cons…...

编程新知 2025/10/13 2:26:14

让AI看见世界：MCP协议与服务器的工作原理

让AI看见世界：MCP协议与服务器的工作原理 MCP（Model Context Protocol）是一种创新的通信协议，旨在让大型语言模型能够安全、高效地与外部资源进行交互。在AI技术快速发展的今天，MCP正成为连接AI与现实世界的重要桥梁。…...

编程新知 2025/11/8 9:59:27

c#开发AI模型对话

AI模型前面已经介绍了一般AI模型本地部署，直接调用现成的模型数据。这里主要讲述讲接口集成到我们自己的程序中使用方式。微软提供了ML.NET来开发和使用AI模型，但是目前国内可能使用不多，至少实践例子很少看见。开发训练模型就不介绍了&am…...

编程新知 2025/11/8 10:11:29

GC1808高性能24位立体声音频ADC芯片解析

1. 芯片概述 GC1808是一款24位立体声音频模数转换器（ADC），支持8kHz~96kHz采样率，集成Δ-Σ调制器、数字抗混叠滤波器和高通滤波器，适用于高保真音频采集场景。 2. 核心特性高精度：24位分辨率&#xff0c…...

编程新知 2025/11/7 20:00:23

七、数据库的完整性

七、数据库的完整性主要内容 7.1 数据库的完整性概述 7.2 实体完整性 7.3 参照完整性 7.4 用户定义的完整性 7.5 触发器 7.6 SQL Server中数据库完整性的实现 7.7 小结 7.1 数据库的完整性概述数据库完整性的含义正确性指数据的合法性有效性指数据是否属于所定…...

编程新知 2025/11/7 14:17:30

RabbitMQ入门4.1.0版本（基于java、SpringBoot操作）

RabbitMQ 一、RabbitMQ概述 RabbitMQ RabbitMQ最初由LShift和CohesiveFT于2007年开发，后来由Pivotal Software Inc.（现为VMware子公司）接管。RabbitMQ 是一个开源的消息代理和队列服务器，用 Erlang 语言编写。广泛应用于各种分布…...

编程新知 2025/11/8 6:45:40