当前位置: 首页 > news >正文

使用jenkins将airflow-dbt部署到服务器上

系列文章目录


文章目录

  • 系列文章目录
  • 课程地址YT
  • 一、jenkins服务器的初始化配置
    • 1.1 运行第一个jenkins pipeline
  • 二、编写本地dbt项目
    • 2.1 克隆git上的初始文件到本地
    • 2.2 本地创建虚拟环境
    • 2.3 创建airflow的Dockerfile
    • 2.4 安装dbt
    • 2.5 创建dbt所需要的snowflake数据库
    • 2.6 配置docker-compose.yml文件
      • 2.6.1 docker image的配置
      • 2.6.2 volumes的配置
    • 2.7 本地运行docker
      • 2.7.1 开启airflow的web服务
      • 2.7.2 编写第一个dag测试dbt
      • 2.7.2 运行dag,测试成功
  • 三、配置jenkins
    • 3.1 将jenkins里的git改为私有仓库


课程地址YT

Complete CICD DevOps project | Git, Dockerhub, Dockerhost,Jenkins|Deploying container on web-server

一、jenkins服务器的初始化配置

1.1 运行第一个jenkins pipeline

  1. 在github里创建一个public的项目,并且复制地址
  2. 在jenkins里创建新的pipeline
  3. 编写pipeline的scripts
node{stage('github checkout'){git branch: 'main', url: 'https://github.com/CXTV/jenkins_dbt.git'       }
}
  1. 运行Pipeline,成功

在这里插入图片描述
5. 验证是否真的成功,根据Pipeline的名称,进入到服务器里的jenkins的文件夹里,查看是否有该项目

cd /var/lib/jenkins/workspace/dbt_airflow

二、编写本地dbt项目

2.1 克隆git上的初始文件到本地

  1. 克隆到本地
git clone https://github.com/CXTV/jenkins_dbt.git
  1. 创建并切换一个新的分支
git checkout -b dbtSetup
  1. 第一次提交分支
git add .
git commit -m 'initialize branch dbtsetup'
git push --set-upstream origin dbtSetup

2.2 本地创建虚拟环境

  1. 创建python 3.10的虚拟环境
pipenv --python 3.10
  1. 运行虚拟环境
pipenv shell 

2.3 创建airflow的Dockerfile

指定airflow的运行环境

  • Dockerfile
FR

相关文章:

使用jenkins将airflow-dbt部署到服务器上

系列文章目录 文章目录 系列文章目录课程地址YT一、jenkins服务器的初始化配置1.1 运行第一个jenkins pipeline二、编写本地dbt项目2.1 克隆git上的初始文件到本地2.2 本地创建虚拟环境2.3 创建airflow的Dockerfile2.4 安装dbt2.5 创建dbt所需要的snowflake数据库2.6 配置docke…...

初学java练习题【1】

import java.util.Scanner;public class HelloWorld{public static void main(String[] args){Scanner scannernew Scanner(System.in);//输入工资System.out.println("请输入您的工资:");double d1scanner.nextDouble();System.out.println("请输入…...

大模型应用探讨,免费AI写作、一键PPT、免费PDF百种应用、与AI对话

大模型应用平台知识普及, 应用可见评论区 我们生活在一个充满无限可能的数字时代,人工智能技术正在推动着各种创新的边界。大模型应用平台一般包含以下功能。 ## 1. 一键生成论文 写作是学生、研究人员和职场人士都无法避免的任务。大模型应用平台拥有强大的文本生…...

计算机视觉之OpenCV vs YOLO

好多开发者希望搞明白OpenCV 和YOLO区别,实际上,二者在计算机视觉领域都有广泛应用,但它们有很大的不同。 一、OpenCV 概述 OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉和机器学习软件库。它…...

【深度学习基础模型】胶囊网络(Capsule Networks, CapsNet)详细理解并附实现代码。

【深度学习基础模型】胶囊网络(Capsule Networks, CapsNet)详细理解并附实现代码。 【深度学习基础模型】胶囊网络(Capsule Networks, CapsNet)详细理解并附实现代码。 文章目录 【深度学习基础模型】胶囊网络(Capsul…...

科普向 -- 什么是RPC

科普向 – 什么是RPC RPC,全称为远程过程调用(Remote Procedure Call),是一种计算机通信协议,允许程序在不同的地址空间(通常是不同的计算机)上执行代码。RPC使得程序可以像调用本地函数一样调…...

SpringBoot教程(二十四) | SpringBoot实现分布式定时任务之Quartz(基础)

SpringBoot教程(二十四) | SpringBoot实现分布式定时任务之Quartz(基础) 简介适用场景Quartz核心概念Quartz 存储方式Quartz 版本类型引入相关依赖开始集成方式一:内存方式(MEMORY)存储实现定时任务1. 定义任务类2. 定…...

【现代控制理论】第2-5章课后题刷题笔记

文章目录 第二章:线性控制系统的状态空间描述第三章:控制系统状态空间描述的特性3.1 计算状态转移矩阵(矩阵指数函数)3.2 计算系统的时间响应(状态方程的解)3.3 判断系统的能控性和能观性,以及能…...

(四)Proteus仿真STM32单片机使用定时器控制LED

(四)Protues仿真STM32单片机使用定时器控制LED – ARMFUN 定时器在单片机中具有重要的作用,它可以提供精确的时间控制和事件触发功能。相比之下,使用延时函数(delay function)来实现时间控制存在以下一些坏…...

Python快速编程小案例——打印蚂蚁森林植树证书

提示:(个人学习),案例来自工业和信息化“十三五”人才培养规划教材,《Python快速编程入门》第2版,黑马程序员◎编著 蚂蚁森林是支付宝客户端发起“碳账户”的一款公益活动:用户通过步行地铁出行、在线消费等…...

Cherno游戏引擎笔记(61~72)

---------------一些维护和更改------------- 》》》》 Made Win-GenProjects.bat work from every directory 代码更改: echo off->pushd ..\->pushd %~dp0\..\call vendor\bin\premake\premake5.exe vs2019popdPAUSE 为什么要做这样的更改? …...

FWA(固定无线接入),CPE(客户终端设备)简介

文章目录 FWA(Fixed Wireless Access),固定无线接入CPE(Customer Premise Equipment),用户驻地设备 FWA(Fixed Wireless Access),固定无线接入 固定无线接入&#xff08…...

使用IDEA启动项目build时,解决Java编译时内存溢出问题:OutOfMemoryError深入解析

文章目录 简介问题描述解决方案常见解决方案示例代码示例1:增加JVM堆内存代码示例2:检查并修复内存泄漏代码示例3:分批编译代码示例4:使用编译器参数减少内存使用代码示例5:升级编译器和库 结论进一步的资源 简介 在J…...

Kafka如何实现高可用

Kafka实现高可用性主要依赖于其副本机制和Leader选举。以下是Kafka实现高可用的关键点: 多副本机制:Kafka中的每个分区(Partition)都有多个副本(Replica),这些副本分布在不同的Broker上。其中一…...

高级java每日一道面试题-2024年10月1日-服务器篇[Redis篇]-Redis数据结构压缩列表和跳跃表的区别?

如果有遗漏,评论区告诉我进行补充 面试官: Redis数据结构压缩列表和跳跃表的区别? 我回答: 关于Redis数据结构的理解是一个重要的考察点,特别是压缩列表(ziplist)和跳跃表(skiplist)这两种数据结构&…...

使用 ElLoading 组件来实现加载(loading)功能

在 Element Plus 中,你可以使用 ElLoading 组件来实现加载(loading)功能。ElLoading 通常用于在数据加载或某些异步操作进行时,向用户展示一个覆盖整个页面的加载提示。 以下是如何在你的 Vite Vue 3 JavaScript 项目中使用 El…...

Win10 IDEA连接虚拟机中的Hadoop(HDFS)

获取虚拟机的ip 虚拟机终端输入 ip a关闭虚拟机防火墙 sudo ufw disable修改Hadoop的core-site.xml文件 将localhost修改为虚拟机局域网IP # 位置可能不一样,和Hadoop安装位置有关 cd /usr/local/hadoop/etc/hadoop vim core-site.xmlIDEA 连接 创建Maven项目…...

tp8自带的文件缓存如何配置

TP8自带的缓存是文件缓存。‌ ThinkPHP6默认的缓存驱动是文件缓存,它将缓存数据存储在应用的runtime目录下的cache目录中。文件缓存适用于单机环境下的应用,对于数据量较小且读写频率较低的应用场景,是一种简单有效的缓存方案‌。 ThinkPHP8…...

【环境搭建】MAC M1安装ElasticSearch

STEP1 官网下载ES Download Elasticsearch | Elastic,下载mac m1对应版本的es STEP2 进入bin文件夹,执行./elasticSearch 浏览器输入 127.0.0.1:9200 STEP 3 下载对应Kibana版本,Download Kibana Free | Get Started Now | Elastic 出现报错…...

[linux 驱动]网络设备驱动详解

目录 1 描述 2 结构体 2.1 net_device 2.2 sk_buff 2.3 net_device_ops 2.4 ethtool_ops 3 相关函数 3.1 网络协议接口层 3.1.1 dev_queue_xmit 3.1.2 netif_rx 3.1.3 alloc_skb 3.1.4 kfree_skb 3.1.5 skb_put 3.1.6 skb_push 3.1.7 skb_reserve 3.2 网络设备驱…...

rknn优化教程(二)

文章目录 1. 前述2. 三方库的封装2.1 xrepo中的库2.2 xrepo之外的库2.2.1 opencv2.2.2 rknnrt2.2.3 spdlog 3. rknn_engine库 1. 前述 OK,开始写第二篇的内容了。这篇博客主要能写一下: 如何给一些三方库按照xmake方式进行封装,供调用如何按…...

8k长序列建模,蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂

蛋白质结合剂(如抗体、抑制肽)在疾病诊断、成像分析及靶向药物递送等关键场景中发挥着不可替代的作用。传统上,高特异性蛋白质结合剂的开发高度依赖噬菌体展示、定向进化等实验技术,但这类方法普遍面临资源消耗巨大、研发周期冗长…...

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...

Psychopy音频的使用

Psychopy音频的使用 本文主要解决以下问题&#xff1a; 指定音频引擎与设备&#xff1b;播放音频文件 本文所使用的环境&#xff1a; Python3.10 numpy2.2.6 psychopy2025.1.1 psychtoolbox3.0.19.14 一、音频配置 Psychopy文档链接为Sound - for audio playback — Psy…...

Web中间件--tomcat学习

Web中间件–tomcat Java虚拟机详解 什么是JAVA虚拟机 Java虚拟机是一个抽象的计算机&#xff0c;它可以执行Java字节码。Java虚拟机是Java平台的一部分&#xff0c;Java平台由Java语言、Java API和Java虚拟机组成。Java虚拟机的主要作用是将Java字节码转换为机器代码&#x…...

uniapp 字符包含的相关方法

在uniapp中&#xff0c;如果你想检查一个字符串是否包含另一个子字符串&#xff0c;你可以使用JavaScript中的includes()方法或者indexOf()方法。这两种方法都可以达到目的&#xff0c;但它们在处理方式和返回值上有所不同。 使用includes()方法 includes()方法用于判断一个字…...

代码规范和架构【立芯理论一】(2025.06.08)

1、代码规范的目标 代码简洁精炼、美观&#xff0c;可持续性好高效率高复用&#xff0c;可移植性好高内聚&#xff0c;低耦合没有冗余规范性&#xff0c;代码有规可循&#xff0c;可以看出自己当时的思考过程特殊排版&#xff0c;特殊语法&#xff0c;特殊指令&#xff0c;必须…...

关于uniapp展示PDF的解决方案

在 UniApp 的 H5 环境中使用 pdf-vue3 组件可以实现完整的 PDF 预览功能。以下是详细实现步骤和注意事项&#xff1a; 一、安装依赖 安装 pdf-vue3 和 PDF.js 核心库&#xff1a; npm install pdf-vue3 pdfjs-dist二、基本使用示例 <template><view class"con…...

【UE5 C++】通过文件对话框获取选择文件的路径

目录 效果 步骤 源码 效果 步骤 1. 在“xxx.Build.cs”中添加需要使用的模块 &#xff0c;这里主要使用“DesktopPlatform”模块 2. 添加后闭UE编辑器&#xff0c;右键点击 .uproject 文件&#xff0c;选择 "Generate Visual Studio project files"&#xff0c;重…...

Python常用模块:time、os、shutil与flask初探

一、Flask初探 & PyCharm终端配置 目的: 快速搭建小型Web服务器以提供数据。 工具: 第三方Web框架 Flask (需 pip install flask 安装)。 安装 Flask: 建议: 使用 PyCharm 内置的 Terminal (模拟命令行) 进行安装,避免频繁切换。 PyCharm Terminal 配置建议: 打开 Py…...