采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）
目录
一、采用海豚调度器+Doris开发平替CDH Hdfs + Yarn + Hive + Oozie的理由。
1. 架构复杂性
2. 数据处理性能
3. 数据同步与更新
4. 资源利用率与成本
6. 生态系统与兼容性
7. 符合信创或国产化要求
二、ODS层接入数据
接入kafka实时数据
踩坑的问题细节
三、海豚调度器调度Doris进行报表开发
创建带分区的表
在doris进行开发调试
开发海豚调度器脚本
解决shell脚本使用 MySQL 命令行给 SQL 文件传参遇到的坑
综合案例
一、采用海豚调度器+Doris开发平替CDH Hdfs + Yarn + Hive + Oozie的理由。
海豚调度器+Doris离线数仓方案与CDH Hive在多个方面存在显著差异，以下是对这两种方案的对比分析：
1. 架构复杂性
- CDH Hive：基于Hadoop生态，组件众多，配置和维护复杂，需要管理HDFS、YARN、Hive等多个服务。
- 海豚调度器+Doris：架构简化，易于部署和维护。Doris本身是一个高性能的分布式OLAP数据库，支持在线模式变更，减少了额外的组件和复杂性。
相关文章：
采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）
目录 一、采用海豚调度器+Doris开发平替CDH Hdfs + Yarn + Hive + Oozie的理由。 1. 架构复杂性 2. 数据处理性能 3. 数据同步与更新 4. 资源利用率与成本 6. 生态系统与兼容性 7. 符合信创或国产化要求 二、ODS层接入数据 接入kafka实时数据 踩坑的问题细节 三、海…...
通过将模型权重的矩阵表示为低秩矩阵，可以减少需要调整的参数数量，通俗易懂的解释，不懂你爬网线打我
通过将模型权重矩阵表示为低秩矩阵，可以减少需要调整的参数数量，原因在于低秩矩阵的结构本身就比高秩矩阵更“紧凑”，即它们需要的独立参数更少。具体来说，低秩矩阵的结构可以通过减少模型的自由度（独立参数的数量&…...
Java并发编程——线程池(基础，使用，拒绝策略，命名，提交方式，状态)
我是一个计算机专业研0的学生卡蒙Camel🐫🐫🐫（刚保研） 记录每天学习过程（主要学习Java、python、人工智能），总结知识点（内容来自：自我总结网上借鉴࿰…...
DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition 中的空洞自注意力机制
空洞自注意力机制 文章目录 摘要1. 模型解释1.1. 滑动窗口扩张注意力1.2. 多尺度扩张注意力 2. 代码3. 流程图3.1. MultiDilatelocalAttention3.2. DilateAttention3.3. MLP 摘要 本文针对DilateFormer中的空洞自注意力机制原理和代码进行详细介绍，最后通过流程图梳…...
二十三种设计模式-适配器模式
适配器模式（Adapter Pattern）是一种结构型设计模式，它允许将不兼容的接口转换成客户端期望的接口，从而使原本因接口不匹配而不能一起工作的类可以协同工作。以下是关于适配器模式的详细介绍： 一、定义及作用 定义&am…...
复用类（2）：代理、结合使用组合和继承
1 代理 第三种关系称为代理，这是继承与组合之间的中庸之道，因为我们将一个成员对象置于所要构造的类中（就像组合），但与此同时我们在新类中暴露了该成员对象的所有方法（就像继承）。例如ÿ…...
浅谈云计算07 | 云安全机制
云计算安全机制 一、引言二、加密技术：数据的隐形护盾三、散列机制：数据完整性的忠诚卫士四、数字签名：数据来源与真伪的鉴定专家五、公钥基础设施（PKI）：信任的基石六、身份与访问管理（IAM&…...
【机器学习】零售行业的智慧升级：机器学习驱动的精准营销与库存管理
我的个人主页 我的领域：人工智能篇，希望能帮助到大家！！！👍点赞 收藏❤ 在当今数字化浪潮汹涌澎湃的时代，零售行业正站在转型升级的十字路口。市场竞争的白热化使得企业必须另辟蹊径࿰…...
深入理解 Entity、VO、QO、DTO 的区别及其在 MVC 架构中的应用
文章背景 在现代软件开发中，我们经常会接触到各种数据结构的概念，比如 Entity、VO（Value Object）、QO（Query Object）、DTO（Data Transfer Object）等。这些概念尽管看似相似ÿ…...
vue集成高德地图API实现坐标拾取功能
安装与配置： 组件 | vue-amapDescriptionhttps://elemefe.github.io/vue-amap/#/zh-cn/introduction/install简介 | vuemap/vue-amap简介https://vue-amap.guyixi.cn/zh-cn/introduction/introduction.html 我的应用 | 高德控制台高德开放平台官网控…...
Spring Boot Actuator 详细介绍
Spring Boot Actuator 详细介绍 1. 简介 Spring Boot Actuator 是 Spring Boot 提供的一个用于监控和管理应用程序的强大功能模块。它可以帮助我们了解应用程序的运行状况、指标收集、环境信息、日志级别管理等。 2. 添加依赖 2.1 在 pom.xml 中添加以下依赖： …...
联通用户管理系统（一）
#联通用户管理系统（一） 1.新建项目 如果你是windows的话，界面应该是如下的： 2.创建app python manage.py startapp app01一般情况下：我们是在pycharm的终端中运行上述指令，但是pychrm中为我们提供了工具…...
go chan底层分析
go chan底层分析 底层源码hchanmakechan 方法 环形队列阻塞机制向管道写数据流程图源码 从管道读数据流程图源码 关闭通道 底层源码 hchan type hchan struct {qcount uint // 当前队列中剩余元素个数dataqsiz uint // 环形队列长度，即可以…...
idea上git log面板的使用
文章目录 各种颜色含义具体的文件的颜色标签颜色🏷️ 节点和路线 各种颜色含义 具体的文件的颜色 红色：表示还没有 git add 提交到暂存区绿色：表示已经 git add 过，但是从来没有 commit 过蓝色：表示文件有过改动 标…...
WOA-Transformer鲸鱼算法优化编码器时间序列预测（Matlab实现）
WOA-Transformer鲸鱼算法优化编码器时间序列预测（Matlab实现） 目录 WOA-Transformer鲸鱼算法优化编码器时间序列预测（Matlab实现）预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.Matlab实现WOA-Transformer鲸鱼算法优化编…...
dock 制作 python环境
报错 ：Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) 解决方法 配置加速地址 vim /etc/docker/daemon.json 添加以下内容 { "registry-mirror…...
2025第3周 | json-server的基本使用
目录 1. json-server是什么？2. json-server怎么用？2.1 安装2.2 创建db.json2.3 启动服务2.4 查看效果 3. 前端进行模拟交互3.1 创建demo.html3.2 创建demo.js 2025，做想做的事，读想读的书，持续学习，自律生活…...
Autodl转发端口，在本地机器上运行Autodl服务器中的ipynb文件
通过 SSH 隧道将远程端口转发到本地机器 输入服务器示例的SSH指令和密码，将远程的6006端口代理到本地 在服务器终端，激活conda虚拟环境 conda activate posecnnexport PYOPENGL_PLATFORMegljupyter notebook --no-browser --port6006 --allow-root从…...
flutter Get GetMiddleware 中间件不起作用问题
当使用 get: ^5.0.0-release-candidate-9.2.1最新版本时，中间件GetMiddleware各种教程都是让我们在redirect中实现，比如： overrideRouteSettings? redirect(String? route) {return RouteSettings(name: "/companyAuthIndexPage"…...
RabbitMQ(三)
RabbitMQ中的各模式及其用法 工作队列模式一、生产者代码1、封装工具类2、编写代码3、发送消息效果 二、消费者代码1、编写代码2、运行效果 发布订阅模式一、生产者代码二、消费者代码1、消费者1号2、消费者2号 三、运行效果四、小结 路由模式一、生产者代码二、消费者代码1、消…...
相场法模拟二元合金中考虑溶质偏析的comsol枝晶生长研究
comsol枝晶生长相场法模拟 二元合金 考虑溶质偏析枝晶生长这玩意儿在材料模拟里算是经典难题了。咱们用相场法搞COMSOL模拟的时候，最刺激的就是看那些枝晶分叉怎么从混乱中长出来。这次搞的是二元合金体系，重点得盯着溶质偏析这个捣蛋鬼——它能让晶体长…...
Wan2.2-I2V-A14B效果对比：LSTM时序预测辅助下的动态剧情生成
Wan2.2-I2V-A14B效果对比：LSTM时序预测辅助下的动态剧情生成 1. 引言 想象一下，当你输入一段文字描述，AI不仅能生成对应的视频，还能像专业导演一样把控剧情节奏和情感起伏。这正是Wan2.2-I2V-A14B结合LSTM时序预测技术带来的突破…...
别再自己造轮子了！用Qt的QModbusTcpClient库5分钟搞定Modbus TCP通讯
别再重复造轮子！用Qt的QModbusTcpClient库5分钟实现工业级Modbus TCP通信 在工业自动化领域，Modbus TCP协议因其简单可靠的特点，已成为PLC与上位机通信的事实标准。许多Qt开发者面对Modbus通信需求时，第一反应往往是手动封装协议栈…...
XposedRimetHelper：如何优雅解决远程办公的定位打卡难题？[特殊字符]
XposedRimetHelper：如何优雅解决远程办公的定位打卡难题？🚀 【免费下载链接】XposedRimetHelper Xposed 钉钉辅助模块，暂时实现模拟位置。 项目地址: https://gitcode.com/gh_mirrors/xp/XposedRimetHelper 面对企业日益严…...
Electron + Vue 3 + Vite 桌面应用开发：从零到打包的实战指南
1. 为什么选择Electron Vue 3 Vite组合 如果你正在寻找一种既能快速开发又能保证性能的桌面应用解决方案，Electron Vue 3 Vite的组合绝对值得考虑。这个组合最大的优势在于开发体验的提升，特别是对于那些已经熟悉Vue生态的开发者来说。 Vite带来的开…...
避坑指南：微信支付V3 SDK自动更新证书失败的5种常见原因及修复方法
微信支付V3证书自动更新失败排查手册：从原理到实战修复 微信支付的V3版本SDK以其自动证书更新机制著称，但不少开发者在集成过程中都遭遇过AutoUpdateCertificatesVerifier的失败问题。证书更新失败不仅会导致支付功能中断，还可能引发验签错误…...
Qwerty Learner字体优化：提升阅读体验的细节处理
Qwerty Learner字体优化：提升阅读体验的细节处理 【免费下载链接】qwerty-learner 为键盘工作者设计的单词记忆与英语肌肉记忆锻炼软件 / Words learning and English muscle memory training software designed for keyboard workers 项目地址: https://gitcode.…...
告别软件盗版烦恼：用YT88加密狗5分钟搞定C#/Java/Python源代码加密（附完整开发包下载）
5分钟实现多语言源代码加密：YT88加密狗实战指南 独立开发者最头疼的问题之一，就是辛苦编写的代码被轻易反编译或盗用。上周我的一个朋友就遇到了这种情况——他花了三个月开发的Python数据分析工具，刚上线两周就被破解并免费传播。这种经历在…...
警惕！新型U盘蠕虫伪装文档传播：实测火绒5.0查杀+防御全攻略
深度解析U盘蠕虫病毒：从防御到查杀的全面安全指南 1. 新型U盘蠕虫病毒的运作机制剖析 U盘蠕虫病毒近年来呈现出越来越复杂的传播方式和技术手段。这类病毒通常利用Windows系统的自动播放功能（AutoRun.inf）或注册表劫持技术进行传播࿰…...
告别复杂配置！Wan2.2-I2V-A14B私有镜像开箱即用，小白也能做视频
告别复杂配置！Wan2.2-I2V-A14B私有镜像开箱即用，小白也能做视频 1. 为什么选择这个私有镜像？ 如果你曾经尝试过部署AI视频生成模型，一定经历过这些痛苦：环境配置冲突、依赖版本不匹配、显存不足报错、模型权重下载缓…...