当前位置： 首页 > article >正文

数据仓库 - 转转 - 一面凉经

article 2026/2/20 13:43:10

 

面试流程

自我介绍

Python 中，如何在数据清洗过程中应对内存不够的情况

如何避免，在使用Pandas处理大规模数据时，经常会遇到“SettingWithCopyWarning”警告

在Hive中，当您使用动态分区功能进行数据插入时，可能会遇到“too many dynamic partitions”错误，如何处理

在Apache Spark中，宽依赖（Wide Dependency）和窄依赖（Narrow Dependency）是两种不同类型的依赖关系，对性能分别有什么影响

在使用Kafka作为消息队列时，消费者出现重复消费的问题是比较常见的，分析原因，怎么处理

在使用Kafka拦截器（Interceptors）时，需要注意什么，以确保其正确性和效率

reduce 的阶段，长时间卡在99%，分析原因，如何排查

Spark 运行任务，出现小文件的问题，如何处理

数据治理过程中，需要下线重复指标，如何验证下游不会受到影响

Jenkins 如何避免多分支冲突

数仓设计中，如何设计 ODS 和 DWD 层的字段颗粒度

从 MySQL 导入数据至 Hive，使用 Scoop 如何解决数据不一致问题

DQC 告警如何判断

如何权衡小文件处理过程中的时间 、 空间 、 资源消耗

数据治理中，代码之外，哪些地方可以优化

看板口径整合，数据一致性如何保障

成果中的指标变化，数据计算方式和来源具体讲解

数据变化是如何评估的

思维题：设计一个高并发的日志采集和分析系统，要求使用 Flume、HDFS、Kafka，分析并详细讲解技术选型，在这个场景中，针对数据丢失的情况，如何做预防，设计一些方法思路

反问环节

相关文章：

数据仓库 - 转转 - 一面凉经

面试流程 自我介绍 Python 中，如何在数据清洗过程中应对内存不够的情况 如何避免，在使用Pandas处理大规模数据时，经常会遇到“SettingWithCopyWarning”警告 在Hive中，当您使用动态分区功能进行数据插入时，可能会遇…...

编程日记 2026/2/16 16:30:44

2025跳槽学习计划

（1）编程基础： 目录学习资料Chttps://www.bilibili.com/video/BV1z64y1U7hs?spm_id_from333.1387.favlist.content.clickLinuxPytorchhttps://www.bilibili.com/video/BV1if4y147hS?spm_id_from333.1387.favlist.content.clickopencv数据结…...

编程日记 2026/2/18 10:10:14

算法 ｜ 2024最新算法：鳑鲏鱼优化算法原理，公式，应用，算法改进研究综述，matlab代码

2024最新鳑鲏鱼优化算法（BFO）研究综述 鳑鲏鱼优化算法（Bitterling Fish Optimization, BFO）是2024年提出的一种新型群智能优化算法，受鳑鲏鱼独特的繁殖行为启发，通过模拟其交配、产卵和竞争机制进行全局优化。该算法在多个领域展现出优越性能，尤其在解决复杂非线性问题中…...

编程日记 2026/2/12 4:31:25

具身系列——Diffusion Policy算法实现CartPole游戏

代码原理分析 1. 核心思想 该代码实现了一个基于扩散模型（Diffusion Model）的强化学习策略网络。扩散模型通过逐步去噪过程生成动作，核心思想是： • 前向过程：通过T步逐渐将专家动作添加高斯噪声，最终变成…...

编程日记 2026/2/17 19:58:13

前端性能优化：深入解析哈希算法与TypeScript实践

/ 示例&#xff1a;开放寻址哈希表核心实现 class OpenAddressingHashTable<T> {private size: number;private keys: (string | null)[];private values: (T | null)[];private tombstone Symbol(Deleted);constructor(size: number 53) {this.size size;this.keys …...

编程日记 2025/4/4 19:16:42

知识就是力量——物联网应用技术

基础知识篇 一、常用电子元器件1——USB Type C 接口引脚详解特点接口定义作用主从设备关于6P引脚的简介 2——常用通信芯片CH343P概述特点引脚定义 CH340概述特点封装 3——蜂鸣器概述类型驱动电路原文链接 二、常用封装介绍贴片电阻电容封装介绍封装尺寸与功率关系&#xff1…...

编程日记 2026/2/20 0:22:34

（windows）conda虚拟环境下open-webui安装与启动

一、创建conda环境 重点强调下&#xff0c;如果用python pip安装&#xff0c;一定要选择python3.11系列版本&#xff0c;我选的3.11.9。 如果你的版本不是这个系列&#xff0c;将会出现一些未知的问题。 conda create -n open-webui python3.11 -y如下就创建好了 二、安装o…...

编程日记 2026/2/19 0:06:05

oracle密码过期 ORA-28001解决方案: the password has expired

** oracle密码过期 ORA-28001解决方案: the password has expired ** oracle 11g 默认密码过期时间为180天密码过期后&#xff0c;访问数据库会出现如下异常java.sql.SQLException: ORA-28001: the password has expired 查询密码过期设定 select * from dba profiles where…...

编程日记 2026/2/18 3:02:47

GStreamer —— 3.1、Qt+GStreamer制作多功能播放器，支持本地mp4文件、rtsp流、usb摄像头等（可跨平台，附源码）

🔔 GStreamer 相关音视频技术、疑难杂症文章合集（掌握后可自封大侠 ⓿_⓿）（记得收藏，持续更新中…） 运行效果...

编程日记 2026/2/18 7:28:41

六十天Linux从0到项目搭建（第十天）（系统调用 vs 库函数/进程管理的建模/为什么进程管理中需要PCB？/exec 函数/fork原理与行为详解）

1 系统调用 vs 库函数&#xff1a;本质区别与协作关系 核心区别 特性系统调用&#xff08;System Call&#xff09;库函数&#xff08;Library Function&#xff09;定义操作系统内核提供的 底层接口&#xff0c;直接操作硬件。封装系统调用的 高级函数&#xff0c;提供便捷功…...

编程日记 2026/2/13 17:09:53

资本运营：基于Python实现的资本运作模拟

基于Python实现的一个简单的资本运营框架&#xff1b; ​企业生命周期演示&#xff1a;观察初创→成长→上市→并购全流程 ​行业对比分析&#xff1a;不同行业的财务特征和估值差异 ​资本运作策略&#xff1a;体验IPO定价、投资决策、并购整合等操作 ​市场动态观察&#xff…...

编程日记 2026/2/19 0:50:31

当EFISH-SBC-RK3576遇上区块链：物联网安全与可信数据网络‌

在工业物联网场景中&#xff0c;设备身份伪造与数据篡改是核心安全隐患。‌EFISH-SBC-RK3576‌ 通过 ‌硬件安全模块 区块链链上验证‌&#xff0c;实现设备身份可信锚定与数据全生命周期加密&#xff0c;安全性能提升10倍以上。 1. 安全架构&#xff1a;从芯片到链的端到端防…...

编程日记 2026/2/16 18:30:18

关于spark在yarn上运行时候内存的介绍

在YARN上运行Spark时&#xff0c;内存管理是性能调优的核心环节。以下是 Driver Memory、Executor Memory、堆内存&#xff08;Heap Memory&#xff09; 和 堆外内存&#xff08;Off-Heap Memory&#xff09; 的区别与配置方法&#xff0c;以及实际场景中的最佳实践&#xff1a…...

编程日记 2026/2/18 13:44:54

分布式系统面试总结：3、分布式锁（和本地锁的区别、特点、常见实现方案）

仅供自学回顾使用&#xff0c;请支持javaGuide原版书籍。 本篇文章涉及到的分布式锁&#xff0c;在本人其他文章中也有涉及。 《JUC&#xff1a;三、两阶段终止模式、死锁的jconsole检测、乐观锁&#xff08;版本号机制CAS实现&#xff09;悲观锁》&#xff1a;https://blog.…...

编程日记 2026/2/19 1:07:49

【VSCode的安装与配置】

目录&#xff1a; 一&#xff1a;下载 VSCode二&#xff1a;安装 VSCode三&#xff1a;配置 VSCode 一&#xff1a;下载 VSCode 下载地址&#xff1a;https://code.visualstudio.com/download 下载完成之后&#xff0c;在对应的下载目录中可以看到安装程序。 二&#xff1a;安装…...

编程日记 2026/2/19 0:49:48

ElasticSearch常用优化点

关闭交换分区&#xff1a;因为Linux采用了三级页表虚存管理&#xff0c;关闭交换分区可以减少系统IO&#xff0c;页面换入唤出时所耗费的总线时间以及减少系统中断次数&#xff1b;swap的使用会显著增加延迟和降低吞吐量。文件描述符配置&#xff1a;任何网络应用都需要增加文件…...

编程日记 2026/2/12 4:57:02

脱围机制-react18废除forwardRef-＞react19直接使用ref的理解

采用ref&#xff0c;可以在父组件调用到子组件的功能 第一步&#xff1a;在父组件声明ref并传递ref interface SideOptsHandle {refreshData: () > Promise<void> }const sideOptsRef useRef<SideOptsHandle>(null) // 创建 ref<SideOpts ref{sideOptsRef…...

编程日记 2026/2/18 4:50:42

Spark2 之 Expression/Functions

ExpressionConverter src/main/scala/org/apache/gluten/expression/ExpressionConverter.scala TopNTransformer src/main/scala/org/apache/gluten/execution/TopNTransformer.scala...

编程日记 2026/2/13 17:11:57

Windows中安装git工具

下载好git安装包 点击next 选择安装目录 根据需要去勾选 点击next 点击next PATH环境选择第二个【Git...software】即可&#xff0c;再点击【Next】。 第一种配置是“仅从Git Bash使用Git”。这是最安全的选择&#xff0c;因为您的PATH根本不会被修改。您只能使用 Git Bash 的…...

编程日记 2026/2/15 9:01:32

【CSS】CSS 使用全教程

CSS 使用全教程 介绍 CSS&#xff08;层叠样式表&#xff0c;Cascading Style Sheets&#xff09;是一种样式表语言&#xff0c;用于描述 HTML 或 XML 文档的布局和外观&#xff0c;它允许开发者将文档的内容结构与样式表现分离&#xff0c;通过定义一系列的样式规则来控制网页…...

编程日记 2026/2/19 9:59:13

《HarmonyOS Next自定义TabBar页签凸起和凹陷案例与代码》

引言 自定义TabBar在HarmonyOS Next应用中很常见&#xff0c;本文将介绍如何实现页签的凸起和凹陷效果&#xff0c;并通过代码示例展示实现过程。 实现思路 基于已有的自定义TabBar思路&#xff0c;通过调整布局和样式实现凸起和凹陷效果。凸起效果可以通过在选中的页签下方…...

编程日记 2026/1/14 1:28:24

全分辨率免ROOT懒人精灵-自动化编程思维-设计思路-实战训练

全分辨率免ROOT懒人精灵-自动化编程思维-设计思路-实战训练 1.2025新版懒人精灵-实战红果搜索关键词刷视频&#xff1a;https://www.bilibili.com/video/BV1eK9kY7EWV 2.懒人精灵-全分辨率节点识别&#xff08;红果看广告领金币小实战&#xff09;&#xff1a;https://www.bili…...

编程日记 2026/2/15 1:36:41

如何在IDEA中借助深度思考模型 QwQ 提高编码效率？

通义灵码上新模型选择功能&#xff0c;不仅引入了 DeepSeek 满血版 V3 和 R1 这两大 “新星”&#xff0c;Qwen2.5-Max 和 QWQ 也强势登场&#xff0c;正式加入通义灵码的 “豪华阵容”。开发者只需在通义灵码智能问答窗口的输入框中&#xff0c;单击模型选择的下拉菜单&#x…...

编程日记 2026/2/20 5:37:22

C++11QT复习 （四）

Day6-1 输入输出流运算符重载&#xff08;2025.03.25&#xff09; 1. 拷贝构造函数的调用时机 2. 友元2.1 友元函数 3. 输入输出流运算符重载3.1 关键知识点3.2 代码3.3 关键问题3.4 完整代码 4. 下标访问运算符 operator[]4.1 关键知识点4.2 代码 5. 函数调用运算符 operator…...

编程日记 2025/12/18 14:03:15

LVS的 NAT 模式实验

文章目录 目录 文章目录 概要 IP规划与题目分析 实验步骤 一、nginx配置&#xff08;rs1、rs2、rs3&#xff09; 二、LVS配置 三、客户端配置 四、防火墙和selinux配置 实验结果 痛点解答 概要 LVS/NAT lvs/nat网络地址转换模式&#xff0c;进站/出站的数据流量经过分发器(IP负…...

编程日记 2026/2/19 18:37:51

【MacOS】2025年硬核方法清理MacOS中的可清除空间（Purgeable space）

背景 MacOS使用一段时间之后&#xff0c;硬盘空间会越来越少&#xff0c;但自己的文件没有存储那么多&#xff0c;在储存空间中可以发现可用空间明明还剩很多&#xff0c;但磁盘工具却显示已满&#xff0c;见下图。 尝试解决 df -h 命令却发现磁盘已经被快被占满。使用du命…...

编程日记 2026/2/18 5:45:53

ue材质学习感想总结笔记

2025 - 3 - 27 1.1 加法 对TexCoord上的每一个像素加上一个值&#xff0c;如果加上0.1&#xff0c;0.1&#xff0c; 那么左上角原来0,0的位置变成了0.1,0.1 右上角就变成了1.1,1.1&#xff0c;那么原来0,0的位置就去到了左上角左上边&#xff0c;所以图像往左上偏移。 总而言…...

编程日记 2026/2/19 6:42:27

Go 语言 sync 包使用教程

Go 语言 sync 包使用教程 Go 语言的 sync 包提供了基本的同步原语&#xff0c;用于在并发编程中协调 goroutine 之间的操作。 1. 互斥锁 (Mutex) 互斥锁用于保护共享资源&#xff0c;确保同一时间只有一个 goroutine 可以访问。 特点&#xff1a; 最基本的同步原语&#x…...

编程日记 2026/1/14 6:13:10

约束文件SDC常用命令

约束文件SDC常用命令 定义时钟create_clock -name CLK-period 2 [get_ports_clk]告诉工具主时钟周期是2ns(频率500MHz)，从clk端口输入 输入信号延迟set_input_delay 0.5 -clock CLK [get_ports data_in]数据进芯片前，外部电路已消耗0.5ns，综合要预留这段“堵车时间”。 输出…...

编程日记 2026/1/9 23:20:10

信而泰PFC/ECN流量测试方案：打造智能无损网络的关键利器

导语&#xff1a; AI算力爆发的背后&#xff0c;如何保障网络“零丢包”&#xff1f; 在当今数据中心网络中&#xff0c;随着AI、高性能计算&#xff08;HPC&#xff09;和分布式存储等应用的飞速发展&#xff0c;网络的无损传输能力变得至关重要。PFC&#xff08;基于优先级的…...

编程日记 2026/2/18 5:58:39