一百六十八、Kettle——用海豚调度器定时调度从Kafka到HDFS的任务脚本（持续更新追踪、持续完善）
一、目的
在实际项目中，从Kafka到HDFS的数据是每天自动生成一个文件，按日期区分。而且Kafka在不断生产数据，因此看看kettle是不是需要时刻运行？能不能按照每日自动生成数据文件？
为了测试实际项目中的海豚定时调度从Kafka到HDFS的kettle任务情况，特地提前跑一下海豚定时调度这个任务，看看到底什么情况。
二、海豚调度任务配置
（一）SHELL脚本配置
#!/bin/bash
source /etc/profile
/opt/install/kettle9.2/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/kafka_to_hdfs/ -trans=04_Kafka_to_HDFS_turnratio level=Basic >>/home/log/kettle/04_Kafka_to_HDFS_turnratio_`date +%Y%m%d`.log
（二）定时任务设置
定时任务设置为每天的零点，零点一到开始执行任务
（三）最后工作流情况
三、启动后追踪每天HDFS文件的情况
（一）启动工作流
工作流启动，成功！工作流一直在跑
相应的任务实例也在跑！
（二）每天HDFS情况
1、第一天为2023/8/30日
由于第一天开始执行任务，因此自动生成2023/08/30的HDFS文件
2、第二天为2023/8/31日
第二天的海豚任务自动调度，自动生成2023/08/31的HDFS文件
但问题是，除了再跑31日的任务外，30日的任务还在跑，可能是定时配置有问题，需要优化
而且这样搞容易把kettle搞出问题！
相关文章：
一百六十八、Kettle——用海豚调度器定时调度从Kafka到HDFS的任务脚本（持续更新追踪、持续完善）
一、目的 在实际项目中，从Kafka到HDFS的数据是每天自动生成一个文件，按日期区分。而且Kafka在不断生产数据，因此看看kettle是不是需要时刻运行？能不能按照每日自动生成数据文件？ 为了测试实际项目中的海豚定时调度从…...
Linux centos7 bash编程（小练习）
一、打印九九乘法口诀 这一个for循环嵌套的小练习，难度不大。提供一种写法，供参考： #!/bin/bash # 文件名：99table.sh # 打印输出九九乘法口诀表 for i in {1..9} do for ((j1;j<$i;j)) do …...
【SpringBoot】Web server failed to start. Port 8080 was already in use.
问题描述 SpringBoot启动Web服务器失败。 *************************** APPLICATION FAILED TO START ***************************Description:Web server failed to start. Port 8080 was already in use.Action:Identify and stop the process thats listening on port 80…...
day-36 代码随想录算法训练营（19）part05
435.无重叠区间 思路：首先对数组排序，只需要关注重叠区间就行，有重叠时计数1，然后更新当前右边界为重叠区间中的最小右边界。 763.划分字母区间 思路：记录每一个字母的最远位置，然后从头开始遍历…...
Vue3 实现JS动态改变CSS样式
以颜色为例子 定义颜色变量 import { reactive } from vue; // 可变的主题颜色 let chooseColor reactive({--color: #be2a27 }) CSS中使用 var() 函数引用颜色变量(这里是用elementPlus为例, 也可以改) :deep(.is-active) {color: var(--color);border-bottom: 2px solid…...
最新社区团购电商小程序源码 无bug完美运营版+详细搭建部署教程
分享一个开源社区团购电商小程序源码，无bug完美运营版，含完整前后端详细搭建部署教程。 系统运营模式：整合线下社区资源，由各快递代收点、社区便利店、社区物业、业主等发起的社区微信群，推送商品信息，消费…...
恒运资本：三大指数震荡走低，地产股大幅回撤，光刻胶概念逆市上涨
周四（8月31日），到上午收盘，A股三大指数震动走低。其间，上证指数跌0.53%，报3120.39点；深证成指和创业板指别离跌0.55%、0.54%；沪深两市算计成交额5290.51亿元，总体来看&am…...
DP读书：不知道干什么就和我一起读书吧——以《鲲鹏处理器 架构与编程》中鲲鹏软件的构成为例
DP读书：不知道干什么就和我一起读书吧 为啥写博客：好处一：记录自己的学习过程优点二：让自己在各大社群里不那么尴尬推荐三：坚持下去，找到一个能支持自己的伙伴模版：鲲鹏软件构成硬件特定软件1. …...
现货黄金走势图中的止盈点
对平仓时机的把握能力，是衡量现货黄金投资者水平的重要标志，止盈点设置得是否合理，在行情兑现的时候能否及时地离场，是事关投资者账户浮盈最终能否落袋为安的“头等大事”，要在现货黄金走势图中把握止盈点，…...
MyBatisPlus实现多租户功能
前言：多租户是一种软件架构技术，在多用户的环境下，共有同一套系统，并且要注意数据之间的隔离性。 一、SaaS多租户简介 1.1、SaaS多租户 SaaS，是Software-as-a-Service的缩写名称，意思为软件即服务&#x…...
JAVA-斐波那契数列
输入一个整数 n ，求斐波那契数列的第 n 项。 假定从 0 开始，第 0 项为 0 。 数据范围 0≤n≤39 样例 输入整数 n5 返回 5class Solution {public int Fibonacci(int n) {int[] dpnew int[250];dp[0]0;dp[1]1;for(int i2;i<n;i){dp[i]dp[i-1]dp[i-2];}…...
keepalived+lvs（DR）
目录 一，作用 二，调度器配置 1，安装keepalived 2， 安装ipvsadm 3， 配置keepalived 4. 查看lvs节点状态 5， web节点配置 1.1 调整ARP参数 1.2 配置虚拟IP地址 1.3添加回环路由 1.4安装nginx并写…...
基于Matlab实现频谱分析（附上源码+数据集）
Matlab是一个功能强大的数值计算和科学计算软件，可以用于频谱分析。频谱分析是一种信号处理技术，用于将时域信号转换为频域信号，以便更好地理解信号的频率特性。本文将介绍使用Matlab实现频谱分析的方法。 文章目录 部分源码完整源码数据集下…...
【Java】多线程(进阶)
多线程进阶 常见的所策略乐观锁和悲观锁重量级锁和轻量级锁自旋锁和挂起等待锁自旋锁挂起等待锁 读写锁和互斥锁读写锁互斥锁 公平锁和非公平锁公平锁非公平锁 可重入锁和不可重入锁可重入锁不可重入锁 CASCAS应用实现原子类实现自旋锁 CAS的ABA问题 synchronized原理基本特点加…...
BMP图片读写实践:rgb转bgr
本实理论上支持24位图和32位图，实际上只测试了24位。原理很简单，就是RGB中的蓝色字节和红色字节交换。 测试代码1： #include <stdio.h> #include <unistd.h> #include <sys/stat.h> #include <stdlib.h> #include &l…...
交通科技与管理杂志社交通科技与管理编辑部2023年第9期目录
专家论坛 黑龙江省经济高质量发展与生态环境保护耦合协调发展研究 刘降斌;祃玉帅; 1-5142 我国省际数字经济高质量发展水平综合评价研究 耿娟;毕晨曦; 6-8 振兴龙江《交通科技与管理》投稿邮箱：cn7kantougao163.com(注明投稿“《交通科技与管理》”) 数…...
根据源码，模拟实现 RabbitMQ - 网络通讯设计，实现客户端Connection、Channel（完结）
目录 一、客户端代码实现 1.1、需求分析 1.2、具体实现 1）实现 ConnectionFactory 2）实现 Connection 3）实现 Channel 二、编写 Demo 2.1、实例 2.1、实例演示 一、客户端代码实现 1.1、需求分析 RabbitMQ 的客户端设定ÿ…...
The Cube++ Illumination Estimation Dataset 文章总结
The Cube++ Illumination Estimation Dataset 颜色恒常性数据集Cube++ Type: Academic Journal Author: Ershov Link: https://ieeexplore.ieee.org/document/9296220 Select: ⭐️⭐️⭐️⭐️ Status: Done 备注: Cube++数据集 Journal: ACCESS Year: 2020 code: https://g…...
“烧钱”的大模型，如何迈过存储这道坎？
几乎每一个行业都在讨论大模型，每一个行业巨头都在训练大模型，人工智能已然进入了大模型主导的时代。 想要占领大模型应用的高地，数据和算力可以说是不可或缺的基石。和算力相关的讨论已经有很多，以至于英伟达的市值在2023年翻了…...
UNIX网络编程卷一 学习笔记 第二十九章 数据链路访问
目前大多操作系统都为程序提供访问数据链路层的功能，此功能可提供以下能力： 1.能监视由数据链路层接收的分组，使得tcpdump之类的程序能运行，而无需专门的硬件设备来监视分组。如果结合使用网络接口进入混杂模式（promis…...
wordpress后台更新后 前端没变化的解决方法
使用siteground主机的wordpress网站，会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后，网站没有变化的情况。 不熟悉siteground主机的新手，遇到这个问题，就很抓狂，明明是哪都没操作错误&#x…...
（十）学生端搭建
本次旨在将之前的已完成的部分功能进行拼装到学生端，同时完善学生端的构建。本次工作主要包括： 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑 一、学生端 在主界面可以选择自己的用户角色 选择学生则进入学生登录界面…...
DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增：通道注意力模块（SE模块） class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...
Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility
Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility 1. 实验室环境1.1 实验室环境1.2 小测试 2. The Endor System2.1 部署应用2.2 检查现有策略 3. Cilium 策略实体3.1 创建 allow-all 网络策略3.2 在 Hubble CLI 中验证网络策略源3.3 …...
【ROS】Nav2源码之nav2_behavior_tree-行为树节点列表
1、行为树节点分类 在 Nav2（Navigation2）的行为树框架中，行为树节点插件按照功能分为 Action（动作节点）、Condition（条件节点）、Control（控制节点） 和 Decorator（装饰节点） 四类。 1.1 动作节点 Action 执行具体的机器人操作或任务，直接与硬件、传感器或外部系统…...
P3 QT项目----记事本（3.8）
3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...
linux 下常用变更-8
1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行，YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID： YW3…...
Hive 存储格式深度解析：从 TextFile 到 ORC，如何选对数据存储方案？
在大数据处理领域，Hive 作为 Hadoop 生态中重要的数据仓库工具，其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式，很多开发者常常陷入选择困境。本文将从底…...
Redis：现代应用开发的高效内存数据存储利器
一、Redis的起源与发展 Redis最初由意大利程序员Salvatore Sanfilippo在2009年开发，其初衷是为了满足他自己的一个项目需求，即需要一个高性能的键值存储系统来解决传统数据库在高并发场景下的性能瓶颈。随着项目的开源，Redis凭借其简单易用、…...
【 java 虚拟机知识 第一篇 】
目录 1.内存模型 1.1.JVM内存模型的介绍 1.2.堆和栈的区别 1.3.栈的存储细节 1.4.堆的部分 1.5.程序计数器的作用 1.6.方法区的内容 1.7.字符串池 1.8.引用类型 1.9.内存泄漏与内存溢出 1.10.会出现内存溢出的结构 1.内存模型 1.1.JVM内存模型的介绍 内存模型主要分…...