数据处理生产环境_获取当前日期的前一天日期
需求描述:
我现在有一个dataframe,名为dfin,样例数据如下
| a1_id_lxh | a2_PH | time |
|---|---|---|
| 比亚迪_汉 | 123 | 2023-11-15 12:12:23 |
| 比亚迪_汉 | 125 | 2023-11-15 13:14:51 |
| 比亚迪_汉 | 123 | 2023-11-15 12:13:23 |
| 比亚迪_汉 | 126 | 2023-11-16 14:12:34 |
| 比亚迪_秦 | 231 | 2023-11-15 14:12:28 |
| 比亚迪_秦 | 234 | 2023-11-16 16:12:51 |
| 比亚迪_秦 | 231 | 2023-11-15 12:13:51 |
| 比亚迪_秦 | 231 | 2023-11-15 12:14:51 |
现在我每天接入实时数据,保存在库里,时间为最近时间的两天数据,比如今天是20号,数据库里存的数据就是19号,20号的数据,现在我要进行跑批任务,将数据库里的19号的数据离线跑批进行部分逻辑处理后,增加的存入
代码
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import java.text.SimpleDateFormat
import java.util.Dateval spark = SparkSession.builder.appName("DateSubtraction").getOrCreate()import spark.implicits._
//测试data,实际生产中我们接前序dataframe
//20231121_lxh
//https://blog.csdn.net/qq_52128187?type=blog
val data = Seq(("比亚迪_汉", 123, "2023-11-15 12:12:23"),("比亚迪_汉", 125, "2023-11-15 13:14:51"),("比亚迪_汉", 123, "2023-11-15 12:13:23"),("比亚迪_汉", 126, "2023-11-16 14:12:34"),("比亚迪_秦", 231, "2023-11-15 14:12:28"),("比亚迪_秦", 234, "2023-11-16 16:12:51"),("比亚迪_秦", 231, "2023-11-15 12:13:51"),("比亚迪_秦", 231, "2023-11-15 12:14:51")
)
//以此为例
val df = data.toDF("a1", "a2", "time")val dateFormat = new SimpleDateFormat("yyyy-MM-dd")
val currentDate = dateFormat.format(new Date())val dfinWithNewColumn = df.withColumn("date_subtracted", date_sub(to_date($"time"), 1))dfinWithNewColumn.show()
//后面在处理的话直接转为创建临时表或者再进行后续操作即可
//https://blog.csdn.net/qq_52128187?type=blog
输出结果
| a1 | a2 | time | date_subtracted |
|---|---|---|---|
| 比亚迪_汉 | 123 | 2023-11-15 12:12:23 | 2023-11-14 12:12:23 |
| 比亚迪_汉 | 125 | 2023-11-15 13:14:51 | 2023-11-14 13:14:51 |
| 比亚迪_汉 | 123 | 2023-11-15 12:13:23 | 2023-11-14 12:13:23 |
| 比亚迪_汉 | 126 | 2023-11-16 14:12:34 | 2023-11-15 14:12:34 |
| 比亚迪_秦 | 231 | 2023-11-15 14:12:28 | 2023-11-14 14:12:28 |
| 比亚迪_秦 | 234 | 2023-11-16 16:12:51 | 2023-11-15 16:12:51 |
| 比亚迪_秦 | 231 | 2023-11-15 12:13:51 | 2023-11-14 12:13:51 |
| 比亚迪_秦 | 231 | 2023-11-15 12:14:51 | 2023-11-14 12:14:5 |
相关文章:
数据处理生产环境_获取当前日期的前一天日期
需求描述: 我现在有一个dataframe,名为dfin,样例数据如下 a1_id_lxha2_PHtime比亚迪_汉1232023-11-15 12:12:23比亚迪_汉1252023-11-15 13:14:51比亚迪_汉1232023-11-15 12:13:23比亚迪_汉1262023-11-16 14:12:34比亚迪_秦2312023-11-15 14:12:28比亚迪_秦2342023…...
5.过滤敏感词 + 发布帖子 + 帖子详情
目录 1.过滤敏感词 1.1 定义前缀树 1.2 根据敏感词,初始化前缀树 1.3 编写过滤敏感词方法...
大数据基础设施搭建 - Flume
文章目录 一、上传压缩包二、解压压缩包三、监控本地文件(file to kafka)3.1 编写配置文件3.2 自定义拦截器3.2.1 开发拦截器jar包(1)创建maven项目(2)开发拦截器类(3)开发pom文件&a…...
华为OD机试 - 找朋友(Java 2023 B卷 100分)
目录 专栏导读一、题目描述二、输入描述三、输出描述大白话解释一下就是:1、输入:2、输出:3、说明 四、解题思路五、Java算法源码六、效果展示1、输入2、输出3、说明 华为OD机试 2023B卷题库疯狂收录中,刷题点这里 专栏导读 本专…...
ESP32 MicroPython 颜色及二维码识别⑫
ESP32 MicroPython 颜色及二维码识别⑫ 1、颜色识别2、二维码识别 1、颜色识别 使用AI颜色识别功能,可以实现颜色辨别、颜色追踪等应用。颜色识别模型内置有9种常见的颜色识别和一种颜色学习识别模式。他们分别是: ai.COLOR_RED 表示识别红色 ai.COLOR…...
数据结构与算法编程题15
设计一个算法,通过遍历一趟,将链表中所有结点的链接方向逆转,仍利用原表的存储空间。 #include <iostream> using namespace std;typedef int Elemtype; #define ERROR 0; #define OK 1;typedef struct LNode {Elemtype data; …...
基于Mapmost Alpha工具快速搭建3D场景可视化大屏
🤵♂️ 个人主页:艾派森的个人主页 ✍🏻作者简介:Python学习者 🐋 希望大家多多支持,我们一起进步!😄 如果文章对你有帮助的话, 欢迎评论 💬点赞Ǵ…...
OpenAI再次与Sam Altman谈判;ChatGPT Voice正式上线
11月22日,金融时报消息,OpenAI迫于超过700名员工联名信的压力,再次启动了与Sam Altman的谈判,希望他回归董事会。 在Sam确定加入微软后,OpenAI超700名员工签署了一封联名信,要求Sam和Greg Brockman&#x…...
技术是增长关键驱动!传音控股新专利亮相,看未来手机趋势
近日,有媒体报道从国家知识产权局发现传音控股取得多项突破性的技术专利,包括图像处理技术、准共址关系指示、panel状态处理等。当下的智能手机行业,已进入高度成熟阶段,技术是产业新一轮增长点已成为业内共识。 传音控股认为&am…...
C# - Opencv应用(2) 之矩阵Mat使用[矩阵创建、图像显示、像素读取与赋值]
C# - Opencv应用(2) 之矩阵Mat使用[矩阵创建、图像显示、像素读取与赋值] 矩阵创建图像显示与保存像素读取与赋值新建sample02项目,配置opencv4相关包,新建.cs进行测试 1.矩阵创建 //创建空白矩阵 var dst new Mat()//创建并赋…...
执行npm的时候报权限问题的解决方案
我们在执行npm操作的过程中,会出现以下权限问题,解决方案: 管理员身份 运行cmd 切换目录到要执行命令的文件下 再进行npm操作即可...
【实用】PPT没几页内存很大怎么解决
PPT页数很少但导出内存很大解决方法 1.打开ppt点击左上角 “文件”—“选项” 2.对话框选择 “常规与保存” (1)如果想要文件特别小时可 取消勾选 “将字体嵌入文件” (2)文件大小适中 可选择第一个选项 “仅最入文档中所用的字…...
【Docker】从零开始:8.Docker命令:Commit提交命令
【Docker】从零开始:8.Docker命令:Commit命令 基本概念镜像镜像分层什么是镜像分层为什么 Docker 镜像要采用这种分层结构 本章要点commit 命令命令格式docker commit 操作参数实例演示1.下载一个新的ubuntu镜像2.运行容器3.查看并安装vim4.退出容器5提交自己的镜像…...
【深度学习】神经网络术语:Epoch、Batch Size和迭代
batchsize:中文翻译为批大小(批尺寸)。 简单点说,批量大小将决定我们一次训练的样本数目。 batch_size将影响到模型的优化程度和速度。 为什么需要有 Batch_Size : batchsize 的正确选择是为了在内存效率和内存容量之间寻找最…...
谈谈你对mvc和mvvm的理解
MVC和MVVM是软件开发中两种常见的架构模式,各自有不同的优缺点。 MVC(Model-View-Controller)是一种经典的架构模式,将应用程序分为三个部分:模型(Model)、视图(View)和…...
C语言每日一题(35)有效的括号
力扣网 20 有效的括号 题目描述 给定一个只包括 (,),{,},[,] 的字符串 s ,判断字符串是否有效。 有效字符串需满足: 左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。每个右…...
【DevOps】Git 图文详解(七):标签管理
Git 图文详解(七):标签管理 标签(Tags)指的是某个分支某个特定时间点的状态,是对某一个提交记录的 固定 “指针” 引用。一经创建,不可移动,存储在工作区根目录下 .git\refs\tags。可…...
BootStrap【表格二、基础表单、被支持的控件、表单状态】(二)-全面详解(学习总结---从入门到深化)
目录 表格二 表单_基础表单 表单_被支持的控件 表单_表单状态 表格二 紧缩表格 通过添加 .table-condensed 类可以让表格更加紧凑,单元格中的内补(padding)均会减半 <table class"table table-condensed table-bordered"…...
亿赛通电子文档安全管理系统UploadFileFromClientServiceForClient接口存在任意文件上传漏洞 附POC
@[toc] 免责声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失,均由使用者本人负责,所产生的一切不良后果与文章作者无关。该文章仅供学习用途使用。 1. 亿赛通电子文档安全管理系统接口简介 微信…...
SPSS系统聚类
前言: 本专栏参考教材为《SPSS22.0从入门到精通》,由于软件版本原因,部分内容有所改变,为适应软件版本的变化,特此创作此专栏便于大家学习。本专栏使用软件为:SPSS25.0 本专栏所有的数据文件请点击此链接下…...
.NET 9容器化部署必须关闭的4个默认开关,否则CPU飙升300%且无法通过CNCF合规认证
更多请点击: https://intelliparadigm.com 第一章:.NET 9容器化部署的CNCF合规性危机与性能黑洞 .NET 9 的原生容器支持虽宣称“云原生就绪”,但在 CNCF Landscape 中未通过 Kubernetes Operator Lifecycle Manager(OLMÿ…...
2025届必备的六大AI辅助论文网站推荐
Ai论文网站排名(开题报告、文献综述、降aigc率、降重综合对比) TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 现在的学术环境里头,AI生成内容的检测变得越发严格起来。面对降AI率的需求&#…...
如何永久备份微信聊天记录?WeChatMsg让你的珍贵对话永不丢失
如何永久备份微信聊天记录?WeChatMsg让你的珍贵对话永不丢失 【免费下载链接】WeChatMsg 提取微信聊天记录,将其导出成HTML、Word、CSV文档永久保存,对聊天记录进行分析生成年度聊天报告 项目地址: https://gitcode.com/GitHub_Trending/we…...
AzurLaneAutoScript:解放双手的碧蓝航线智能管家
AzurLaneAutoScript:解放双手的碧蓝航线智能管家 【免费下载链接】AzurLaneAutoScript Azur Lane bot (CN/EN/JP/TW) 碧蓝航线脚本 | 无缝委托科研,全自动大世界 项目地址: https://gitcode.com/gh_mirrors/az/AzurLaneAutoScript 还在为碧蓝航线…...
为什么你的AI Sandbox永远“半隔离”?——深度拆解Linux命名空间缺陷、GPU共享陷阱与3种绕过检测的隐蔽行为
更多请点击: https://intelliparadigm.com 第一章:为什么你的AI Sandbox永远“半隔离”?——深度拆解Linux命名空间缺陷、GPU共享陷阱与3种绕过检测的隐蔽行为 Linux 命名空间(namespaces)常被误认为是强隔离基石&…...
美团校招 C++ 考试题到底怎么考?它不是独立 C++ 卷,更像业务系统题
在美团,一道反转链表很少会单独结束。 你写完之后,后面很可能立刻接: 区间反转 环形链表 缓存 MQ 订单高峰 这才是美团最容易让人准备偏的地方。 题当然也考。 但真正的压力,经常来自它后面那层业务系统语境。 因为美团真正有辨识度的地方,从来不只是题本身。 而…...
Tessy单元测试避坑指南:指针赋值详解(含函数指针、void*及Target Passing设置)
Tessy单元测试指针操作实战:从类型处理到内存管理 在嵌入式C开发领域,单元测试是确保代码质量的关键环节。Tessy作为专业的单元测试工具,其指针处理机制一直是开发者面临的难点。本文将深入剖析Tessy中各类指针的测试方法,结合实战…...
专为视障人士设计的免费辅助工具
软件介绍 NVDA是一款免费的屏幕阅读器,专门为视障人士设计。它通过语音合成和盲文显示两种方式,帮助视障人士实现对电脑的无障碍操作,缩小数字鸿沟。 轻量化与基础操作 软件是绿色版,无需安装,双击"nvda.exe&qu…...
扩散模型文本条件生成机制与调制引导技术解析
1. 扩散模型中的文本条件生成机制解析扩散模型(Diffusion Models)作为当前生成式AI的核心架构,其文本条件生成能力直接影响着图像/视频生成的质量与可控性。传统实现路径主要依赖两大机制:1.1 注意力机制的核心作用跨注意力层&…...
新概念英语第二册60_The future
Lesson 60: The futureKey words and expressions fair n. 集市 adj. 公平的,合理的fortune-teller 算命人Madam Bellinsky 别林斯基夫人crystal ball (占卜用的)水晶球relation 亲属intend 打算…...
