当前位置: 首页 > news >正文

使用Shell传参解决DataPhin中PySpark不支持中文的问题

使用Shell传参解决DataPhin中PySpark不支持中文的问题

背景

笔者开发PySpark任务时【别问为神马不用Java和Scala打Jar包的方式,PySpark不需要打包所以开发效率极高,早点搞完早点下班】,遇到一个令所有SQL Boy都很头疼的问题,那就是一旦Python脚本中出现中文,该PySpark任务就报错且无法运行。所以人才们当然是异常机智,先搞个中间表把中文改成拼音,PySpark跑完了再搞个Hive On Tez任务把拼音改回中文,这种笨办法只适合于中文值的种类屈指可数的场景。

由于PySpark任务不能像Hive On Tez任务那样由DataPhin自动解析血缘和依赖,还不支持中文,所以SQL Boy们也是一度灰常嚣张,总觉得Hive On Tez任务就是最好的任务。只有遇到Tez极其严重的性能问题,才会想起来Spark的好处。

作为曾经的平台开发攻城狮,自然是不能让这股风气蔓延,不然大家都变成SQL Boy了,还和Oracle数据库开发攻城狮有啥区别。。。势必解决这个问题。

解决方式

既然Py文件中不能写中文,而我又要用中文,那么借鉴Java开发中常见的前后端Json传参的方式,我也可以Shell给Py文件动态传参,这样Py文件中就完美的规避了中文的明文,自然Py不会报错,而参数值又可以让Python调用系统方法拿到。所以可以这么尝试:

echo "START"
cat > zhiyong.py <<E0F 
# -*- coding: UTF-8-*import sys 
reload(sys)
sys.setdefaultencoding('utf-8')from pyspark.sql import SparkSession 
spark = SparkSession \.builder	\.appName("project_week_his_incre_daily_prod")	\.config("hive.exec.dynamic.partition","true")	\.config("hive.exec.dynamic.partition.mode","nonstrict")	\.getOrCreate()str_bizdate=sys.argv[1]str_param1=sys.argv[4].strip()
str_param2=sys.argv[5].strip()
str_param3=sys.argv[6].strip()sq11="""select '""" + str_param3 + """' as str_param3"""
spark.sql(sql1).show()EOFhive_db1="hive_db_name1"
hive_db2="hive_db_name2"
STR1="中文1"
STR2="中文2"
STR3="中文3"spark-submit --master yarn --deploy-modeclient --driver-memory 4G --executor-memory 4G --executor-cores 1 --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.minExecutors=10 --conf spark.dynamicAllocation.maxExecutors=50 --confspark.memory.fraction=0.95 --confspark.shuffle.service.enabled=true --conf spark.ui.port=4180 --conf spark.port.maxRetries=128--conf spark.rpc.timeout=600s --conf spark.debug.maxToStringFields=4096 --conf spark.sql.crossJoin.enabled=true --conf spark.sgl.broadcastTimeout=600s --conf spark.sql.autoBroadcastJoinThreshold=-1 zhiyong.py ${bizdate} hive_db1 hive_db2 $STR1 $STR2 $STR3

经过验证,果然可以show出传入的中文参数!!!

原理

这个cat重定向的py文件不支持直接写中文,大概率是Encoder的问题。但是Shell本身可以正常写中文参数,说明Linux Node的中文语言包和character set正常,那么只需要在外层的Shell预先构建变量,再通过spark-submit提交这个py文件时传入这些内容为中文的String参数,即可在Python脚本中动态获取到变量的值,再去拼接SQL字符串给Spark的算子使用。Python文件中依旧不能有明文的中文。

SQL和拼接的其它中文字符串的注释可以用#注释掉,写在Shell的头上。

进一步排查

这么做,给SQL Boy们使用已经足够了,毕竟他们之前只搞过Oracle数据库开发当然也就只会SQL,除此之外没啥会的东西了。

但是从平台开发的视角,其实还是可以做进一步的分析。笔者的PyCharm一般是用Python3.7,这么搞PySpark任务即便有中文也跑的很欢快。出现这种情况,首先发现租来的阿里云DataPhin还是老掉牙的Python2.6,那么:

echo "START"
cat > zhiyong.py <<E0F 
# -*- coding: UTF-8-*

给Py文件的头上+个这玩意儿,期望当然是可以识别中文。

但是本地、扔服务器都可以跑有中文参数/SQL的PySpark任务,就是扔DataPhin跑不起来。。。

于是手动cat生成的py文件,发现了惊天大秘密:DataPhin解析有问题,把#的这一行当Linux的注释给filter了。。。

属实无语的操作。。。

所以更改脚本的解析方式,或者把基础环境的python升级到3.7都是个比shell传参更好的主意。平台的事情,就不是SQL Boy能解决的了。

转载请注明出处:https://lizhiyong.blog.csdn.net/article/details/129699142

在这里插入图片描述

相关文章:

使用Shell传参解决DataPhin中PySpark不支持中文的问题

使用Shell传参解决DataPhin中PySpark不支持中文的问题 背景 笔者开发PySpark任务时【别问为神马不用Java和Scala打Jar包的方式&#xff0c;PySpark不需要打包所以开发效率极高&#xff0c;早点搞完早点下班】&#xff0c;遇到一个令所有SQL Boy都很头疼的问题&#xff0c;那就…...

【CDH】cloudera manger 如何开启Debug 日志调试模式

前言 在安装 Cloudera Manger 时&#xff0c;遇到报错&#xff0c;需要开启Debug 日志级别来排查下问题原因。这里记录下 CM 如何开启 Debug 级别。 方法一&#xff1a;为整个服务启动DEBUG 如果 CM 无法启动&#xff0c;则可以为整个服务器启用 DEBUG 或 TRACE。 警告&…...

SQL Server 用户授权与回收

创建xxbbbb账号&#xff0c;账号可以在Company_report20221019.dbo.qfacccmprf表中进行select、 insert,update,delete --创建登录账号 create login xxbbbb with password12345#---创建用户 use Company_report20221019 create user xxbbbb for login xxbbbb---将qfacccmprf表…...

电脑出现乱码的原因以及解决方法

在日常使用电脑的过程中&#xff0c;经常会遇到电脑出现乱码&#xff0c;那么为什么会出现乱码呢&#xff1f;出现乱码又该怎么解决呢&#xff1f;下面我们一起来了解一下。 出现乱码的原因 系统乱码&#xff1a;主要是Windows中显示乱码&#xff0c;比如菜单、桌面、启动界面…...

网络工程师笔记

第一天&#xff1a; 编码就是转化为数字信号&#xff1b;调制就是转化为模拟信号&#xff1b; 调制&#xff1a; 1、基带调制&#xff08;不改变频率&#xff0c;只改变波形&#xff09; 2、带通调制&#xff08;迁移到较高的频段进行传输&#xff09; &#xff08;1&…...

linux用户添加用户组与目录切换用户组的操作记录

linux用户添加到多个组 usermod -G groupname username (这种会把用户从其他组中去掉&#xff0c;只属于该组) 如&#xff1a;usermod -G git git (git只属于git组) usermod -a -G groupname username (把用户添加到这个组&#xff0c;之前所属组不影响) 如&#xff1a;usermod…...

在CentOS 7上使用二进制文件安装单节点Kubernetes的详细步骤:

确保您的系统已经安装了Docker和etcd。如果没有&#xff0c;请按照以下命令安装它们&#xff1a; yum install docker etcd 启动Docker服务并将其设置为开机自启&#xff1a; systemctl start docker systemctl enable docker 下载所需的Kubernetes二进制文件。您可以从以下网…...

iCollections for mac 8.0.6.80608 保持Mac桌面的整洁

应用介绍 iCollections允许您在桌面上创建区域&#xff0c;以便您可以排序和排列图标。这可以帮助您将相关项目保持在一起&#xff0c;以便文件&#xff08;图片&#xff0c;文档&#xff0c;屏幕截图&#xff0c;应用程序等&#xff09;井井有条且易于查找。 小麦测试可以按照…...

学习HM微博项目第8天

步骤&#xff1a;发微博01-导航栏内容 -> 发微博02-自定义TextView -> 发微博03-完善TextView和发送微博按钮 -> 发微博04-显示工具条 -> 发微博05-封装工具条和相册 -> 发微博06-发送微博 发微博01-导航栏内容 APP的演示操作&#xff1a; 从APP的演示操作中可…...

十五、存储过程与函数

一、存储过程概述 1、简介 含义&#xff1a;存储过程的英文是 Stored Procedure 。它的思想很简单&#xff0c;就是一组经过 预先编译 的 SQL 语句的封装 执行过程&#xff1a;存储过程预先存储在 MySQL 服务器上&#xff0c;需要执行的时候&#xff0c;客户端只需要向服务器…...

php实现助记词转TRX,ETH 私钥和钱包地址

TRX助记词转地址网上都是Java&#xff0c;js或其他语言开发的示例&#xff0c;一个简单的功能需要依赖其他环境来实现表示不能忍&#xff0c;毕竟php是世界上最好的语言。【狗头】 一、知识准备 要实现助记词转TRX私钥和地址&#xff0c;先需要知道助记词和私钥钱包地址之间的…...

浅析可观测系统中sdk的不同引入方式的利与弊

文章前提是不考虑sw的方式引入&#xff0c;同时不考虑在nginx等自动注入js脚本的方式&#xff0c;那么基本就是两种大的形式&#xff1a;cdn引入和本地引入其中cdn引入有两种&#xff1a;cdn同步cdn异步本地引入有两种&#xff1a;npm本地js文件参考知识提前先补充一张图片正文…...

Google Earth导入经纬高(txt文件)

目录 一、提取GNSS数据生成txt文本文件 二、Google Earth导入txt文件 1、启动Google Earth 2、打开vig_result.txt...

Unity客户端开发工程师的进阶之路

UWA技能成长系统是UWA根据学员的职业发展目标&#xff0c;提供技能学习的推荐路径&#xff0c;再将所需学习内容按难易等多维度&#xff0c;设计分成多个学习阶段&#xff0c;可以循序渐进地进行学习。 进入技能成长体系&#xff0c;目标选择高级客户端开发工程师&#xff08;U…...

2023年全国最新高校辅导员精选真题及答案34

百分百题库提供高校辅导员考试试题、辅导员考试预测题、高校辅导员考试真题、辅导员证考试题库等&#xff0c;提供在线做题刷题&#xff0c;在线模拟考试&#xff0c;助你考试轻松过关。 72.心理发展的特点是&#xff08;&#xff09;。 A.方向性与不可逆性 B.连续性与阶段性…...

chatGPT身份指令

充当 Linux 终端 我想让你充当 Linux 终端。我将输入命令&#xff0c;您将回复终端应显示的内容。我希望您只在一个唯一的代码块内回复终端输出&#xff0c;而不是其他任何内容。不要写解释。除非我指示您这样做&#xff0c;否则不要键入命令。当我需要用英语告诉你一些事情时&…...

基于springboot实现私人健身与教练预约管理系统【源码+论文】分享

基于springboot实现私人健身与教练预约管理系统演示开发语言&#xff1a;Java 框架&#xff1a;springboot JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7 数据库工具&#xff1a;Navicat11 开发软件&#xff1a;eclipse/myeclipse/idea M…...

网络技术领域术语大全,含中英文及缩写,强烈建议收藏!

你好&#xff0c;这里是网络技术联盟站。 今天给大家分享的是网络技术领域相关的术语大全&#xff0c;在文末&#xff0c;我已经将本文整理成一个pdf文档了&#xff0c;大家可以下载到本地以便查阅。 自主访问控(DAC:Discretionary Access Control) 自主访问控制(DAC)是一个…...

C++源码剖析——vector和array

前言&#xff1a;之前看过侯老师的《STL源码剖析》但是那已经是多年以前的&#xff0c;现在工作中有时候查问题和崩溃都需要了解实际工作中使用到的STL的实现。因此计划把STL的源码再过一遍。   摘要&#xff1a;本文描述了llvm中libcxx的std::vector的实现。   关键字&…...

学习linux编程(一)

本文导航一. Linux基础知识杂记0. terminal操作快捷键等1. 为什么vfork的子进程里用return&#xff0c;整个程序会挂掉&#xff0c;而且exit不会(zz)2. 进程内存管理详解3. 关于堆和自由存储区概念的区别4. cache和buffer的区别5. C实现线程池6. 静态函数和虚函数的区别7. C里是…...

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站&#xff0c;会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后&#xff0c;网站没有变化的情况。 不熟悉siteground主机的新手&#xff0c;遇到这个问题&#xff0c;就很抓狂&#xff0c;明明是哪都没操作错误&#x…...

在鸿蒙HarmonyOS 5中实现抖音风格的点赞功能

下面我将详细介绍如何使用HarmonyOS SDK在HarmonyOS 5中实现类似抖音的点赞功能&#xff0c;包括动画效果、数据同步和交互优化。 1. 基础点赞功能实现 1.1 创建数据模型 // VideoModel.ets export class VideoModel {id: string "";title: string ""…...

边缘计算医疗风险自查APP开发方案

核心目标:在便携设备(智能手表/家用检测仪)部署轻量化疾病预测模型,实现低延迟、隐私安全的实时健康风险评估。 一、技术架构设计 #mermaid-svg-iuNaeeLK2YoFKfao {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg…...

Day131 | 灵神 | 回溯算法 | 子集型 子集

Day131 | 灵神 | 回溯算法 | 子集型 子集 78.子集 78. 子集 - 力扣&#xff08;LeetCode&#xff09; 思路&#xff1a; 笔者写过很多次这道题了&#xff0c;不想写题解了&#xff0c;大家看灵神讲解吧 回溯算法套路①子集型回溯【基础算法精讲 14】_哔哩哔哩_bilibili 完…...

Swift 协议扩展精进之路:解决 CoreData 托管实体子类的类型不匹配问题(下)

概述 在 Swift 开发语言中&#xff0c;各位秃头小码农们可以充分利用语法本身所带来的便利去劈荆斩棘。我们还可以恣意利用泛型、协议关联类型和协议扩展来进一步简化和优化我们复杂的代码需求。 不过&#xff0c;在涉及到多个子类派生于基类进行多态模拟的场景下&#xff0c;…...

UDP(Echoserver)

网络命令 Ping 命令 检测网络是否连通 使用方法: ping -c 次数 网址ping -c 3 www.baidu.comnetstat 命令 netstat 是一个用来查看网络状态的重要工具. 语法&#xff1a;netstat [选项] 功能&#xff1a;查看网络状态 常用选项&#xff1a; n 拒绝显示别名&#…...

大数据零基础学习day1之环境准备和大数据初步理解

学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 &#xff08;1&#xff09;设置网关 打开VMware虚拟机&#xff0c;点击编辑…...

vue3 字体颜色设置的多种方式

在Vue 3中设置字体颜色可以通过多种方式实现&#xff0c;这取决于你是想在组件内部直接设置&#xff0c;还是在CSS/SCSS/LESS等样式文件中定义。以下是几种常见的方法&#xff1a; 1. 内联样式 你可以直接在模板中使用style绑定来设置字体颜色。 <template><div :s…...

OkHttp 中实现断点续传 demo

在 OkHttp 中实现断点续传主要通过以下步骤完成&#xff0c;核心是利用 HTTP 协议的 Range 请求头指定下载范围&#xff1a; 实现原理 Range 请求头&#xff1a;向服务器请求文件的特定字节范围&#xff08;如 Range: bytes1024-&#xff09; 本地文件记录&#xff1a;保存已…...

自然语言处理——Transformer

自然语言处理——Transformer 自注意力机制多头注意力机制Transformer 虽然循环神经网络可以对具有序列特性的数据非常有效&#xff0c;它能挖掘数据中的时序信息以及语义信息&#xff0c;但是它有一个很大的缺陷——很难并行化。 我们可以考虑用CNN来替代RNN&#xff0c;但是…...