【hive 运维】hive注释/数据支持中文
文章目录
- 一. 设置mysql中的hive库
- 二. hive-site.xml 设置
- 三. 测试
hive支持中文需要关注两个方面:
- 设置hive 元数据库中的一些表
- 设置hive-site.xml.
一. 设置mysql中的hive库
use hivedb;
alter table TBLS modify column TBL_NAME varchar(1000) character set utf8;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
二. hive-site.xml 设置
由于Hive元数据(表的属性、字段定义等)都是存储在Mysql中,所以在mysql连接中设置支持中文
characterEncoding=UTF-8
具体的在hive-site.xml中:
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://ip:3306/hivedb?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>hive.metastore.readonly.ConnectionURL</name><value>jdbc:mysql://ip:3306/hivedb?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false</value></property>
三. 测试
重启hive-server
jps
kill -9 hive_server_pid
nohup ./hive --service hiveserver2 >> /tmp/hiveserver2.log 2>&1
建表
create table if not exists studentno
(stuno string comment '学号', stuname1 string comment '姓名') comment '学生信息表'; hive> show create table studentno;
OK
CREATE TABLE `studentno`(`stuno` string COMMENT '学号',`stuname1` string COMMENT '姓名')
COMMENT '学生信息表'
。。。
Time taken: 0.059 seconds, Fetched: 15 row(s)
插入数据
insert into studentno values('一号','gao1'); hive> select * from studentno;
OK
一号 gao1
注:含有中文列的表(报错)
create table student(`学号` string comment '学号',
`姓名` string comment '姓名') comment '学生信息表';FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:Add request failed : INSERT INTO `COLUMNS_V2` (`CD_ID`,`COMMENT`,`COLUMN_NAME`,`TYPE_NAME`,`INTEGER_IDX`) VALUES (?,?,?,?,?) )
相关文章:
【hive 运维】hive注释/数据支持中文
文章目录 一. 设置mysql中的hive库二. hive-site.xml 设置三. 测试 hive支持中文需要关注两个方面: 设置hive 元数据库中的一些表设置hive-site.xml. 一. 设置mysql中的hive库 use hivedb; alter table TBLS modify column TBL_NAME varchar(1000) character se…...
架构,性能和游戏 《游戏编程模式》学习笔记
开新坑,准备把《游戏编程模式》这本书啃完。这是一本讲设计模式的书,针对游戏开发而作,写得很好。 以下是读书笔记,文末有原文链接 每个程序都有一定的软件架构,哪怕是全塞到main里也是一种架构好的架构可以把代码写成…...
Spring Bean的生命周期
文章目录 Spring Bean的生命周期加载Bean对象创建Bean对象构造对象填充属性初始化实例注册销毁 销毁 Spring Bean的生命周期 Spring Bean的生命周期就是指Bean对象从创建到销毁的过程,大体可以分为:实例化、属性赋值、初始化、使用、销毁。 加载Bean对象…...
基于量子同态的安全多方量子求和加密
摘要安全多方计算在经典密码学中一直扮演着重要的角色。量子同态加密(QHE)可以在不解密的情况下对加密数据进行计算。目前,大多数协议使用半诚实的第三方(TP)来保护参与者的秘密。我们使用量子同态加密方案代替TP来保护各方的隐私。在量子同态加密的基础上ÿ…...
前端自动化测试:确保质量和稳定性的关键步骤
文章目录 测试金字塔与前端测试层级1. 单元测试(Unit Testing)2. 组件测试(Component Testing)3. 集成测试(Integration Testing)4. 端到端测试(End-to-End Testing) 单元测试、集成…...
《Ansible自动化工具篇:Centos操作系统基于ansible工具一键远程离线部署之K8S1.24.12二进制版集群》
一、部署背景 由于业务系统的特殊性,我们需要针对不同的客户环境部署二进制版K8S集群,由于大都数用户都是专网环境,无法使用外网,为了更便捷,高效的部署,针对业务系统的特性,我这边编写了 基于a…...
Java实现十大经典排序算法之快速排序
0 算法简介 快速排序是一种高效率排序算法,它是对冒泡排序的一种改进,它也是一种不稳定排序算法。快速排序的核心是比较、交换和递归。 在待排序数组中指定一个基准元素pivot(一般选取数组首元素),使得数组排序之后基…...
【0803作业】创建两个线程:其中一个线程拷贝图片的前半部分,另一个线程拷贝后半部分(4种方法)
方法一:使用pthread_create、pthread_exit、pthread_join函数【两个线程不共用同一份资源】 先在主函数创建并清空拷贝的目标文件,再创建两个线程,在两个线程内部同时打开要读取的文件以及要拷贝的目标文件(两个线程不共用同一份资…...
php运算符的短路特性
php运算符的短路特性 1、逻辑运算符:逻辑与(&&)和逻辑或(||),存在着短路特性 PHP中有以下两个运算符具有短路的特性,他们是逻辑运算符的逻辑与(&&)和逻辑或(||&am…...
C语言假期作业 DAY 13
一、选择题 1、如果 x2014 ,下面函数的返回值是( ) int fun(unsigned int x) { int n 0; while(x 1) { n; x x | (x 1); } return n; } A: 20 B: 21 C: 23 D 25 答案解析 正确答案:C 这个作用是对整型中0的个数进行统计&…...
以产品经理的角度去讲解原型图---会议OA项目
目录 一.前言 二.原型图 2.1 原型图是什么 3.1 原型图的作用 三.演示讲解 3.1 项目背景 3.2 项目介绍 3.2.1 会议管理(会议的发起,通知) 3.2.2 投票管理(会议的流程重大决策记录) 3.2.3 会议室管理 3.2.4 系统管…...
C++ 外部变量和外部函数
1.外部变量 如果一个变量除了在定义它的源文件中可以使用外,还能被其他文件使用,那么就称这个变量为外部变量。命名空间作用域中定义的变量,默认情况下都是外部变量,但在其他文件中如果需要使用这一变量,需要用extern…...
C# Onnx Paddle模型 OCR识别服务
效果 项目 可运行程序exe下载 Demo(完整源码)下载...
MCUXpresso for VS Code -- 基于VSCode开发RT1176
MCUXpresso for VS Code 是nxp推出插件,旗下MCX LPC, Kinetis和i.MX rt等MCU,都能在VS Code平台进行嵌入式开发。功能框图如下: 前期准备: 软件环境: windows(实际可以跨系统,linux和mac没有测试) VS Code ninja CMa…...
MySQL的使用——【初识MySQL】第二节
MySQL的使用——【初识MySQL】第二节 文章目录 MySQL环境变量的配置(如使用Navicat可忽略)使用命令行连接MySQL(如使用Navicat可忽略)步骤注意 NavicatNavicat的下载Navicat的使用连接MySQL新建表 总结总结 MySQL环境变量的配置&a…...
MySQL最终弹-并发(脏读,不可重复读,幻读及区别),JDBC的使用和安装,最全万字
一、💛并发基本概念 并发的基本意思: 什么是并发呢?简单的理解就是同一时间执行 服务器同一时刻,给多个客户端提供服务~~,这两个客户端都可以给服务器提交事务。 如果提交两个事务,改…...
⌈C++⌋从无到有了解并掌握C++面向对象三大特性——封装、继承、多态
前置知识:类和对象 参考书籍:《C Primer 第五版》 目录 什么是面向过程?什么是面向对象? 一、封装 1、封装的含义以及如何实现封装 1.1 访问限定符(访问说明符) 1.2 什么是封装? 2、封装的优点…...
Element的el-select下拉框多选添加全选功能
先看效果图 全选: 没有选中时: 选中部分: 作者项目使用的是vue3写法,如果是vue2的自己转换一下 html代码: js代码: 拓展 另一种方法,如果不想使用勾选框,可以试试下面的方…...
python调用pytorch的clip模型时报错
使用python调用pytorch中的clip模型时报错:AttributeError: partially initialized module ‘clip’ has no attribute ‘load’ (most likely due to a circular import) 目录 现象解决方案一、查看项目中是否有为clip名的文件二、查看clip是否安装成功 现象 clip…...
MySQL 数据库 binLog 日志的使用
一、概念与作用 binlog(二进制日志)是MySQL数据库中的一种日志类型。它记录了数据库中的所有更改操作,例如插入、更新、删除操作。binlog以二进制形式存储,因此可以更高效地进行读取和解析。 binlog通常用于以下几个方面&#x…...
SDMatte开发环境搭建:Windows系统下Python与CUDA的配置详解
SDMatte开发环境搭建:Windows系统下Python与CUDA的配置详解 1. 准备工作:了解你的硬件和软件需求 在开始搭建SDMatte开发环境之前,我们需要先确认几个关键点。首先检查你的Windows电脑是否配备了NVIDIA显卡,这是使用CUDA加速的必…...
别再混用了!PyTorch实战:CrossEntropyLoss和BCEWithLogitsLoss到底怎么选?(附MNIST与多标签分类代码)
PyTorch损失函数实战指南:CrossEntropyLoss与BCEWithLogitsLoss的精准选择 当你面对一个分类问题时,选择正确的损失函数往往决定了模型的成败。PyTorch提供了多种损失函数,但CrossEntropyLoss和BCEWithLogitsLoss是最容易混淆的两个。本文将带…...
为什么你的INT4模型崩了?:SITS2026实测17个开源大模型量化表现,独家发布「量化鲁棒性评分卡」(含Qwen2、Phi-3、DeepSeek-V2全量数据)
第一章:SITS2026分享:大模型量化压缩技术 2026奇点智能技术大会(https://ml-summit.org) 大模型量化压缩已成为部署百亿参数级语言模型至边缘设备与推理服务集群的关键路径。在SITS2026现场,多家研究团队展示了基于混合精度、通道感知与校准…...
**发散创新:基于Python的卫星通信链路模拟与数据传输优化实践**在现代空间信
发散创新:基于Python的卫星通信链路模拟与数据传输优化实践 在现代空间信息网络中,卫星通信系统已成为实现全球覆盖、高可靠性和低延迟数据传输的关键基础设施。随着物联网(IoT)、遥感监测和应急通信等场景对实时性要求的提升&…...
Coding Agent底层架构全解(极其详细),吃透6大核心组件,收藏这篇就够了!
为什么同样的模型,在 Chat 界面和 Coding Agent 里表现完全不同? 最近读到 Sebastian Raschka 的一篇深度文章,拆解了 Coding Agent(代码智能体)的核心架构。Sebastian 是《Build a Large Language Model (From Scratc…...
STM32裸机4-bit驱动HD44780字符LCD库
1. 项目概述CharLcd4bit是一款专为 STM32F103RB 微控制器(如 NUCLEO-F103RB 开发板)设计的轻量级字符型液晶显示驱动库,面向标准 HD44780 兼容的 162 字符 LCD 模块(典型型号:JHD162A、LM016L、PC1602 等)&…...
SparkFun AVR ISP编程库:嵌入式量产级AVR烧录实现
1. SparkFun AVR ISP 编程库深度解析:面向嵌入式量产的底层ISP烧录实现1.1 库定位与工程价值SparkFun AVR ISP Programming Library 是一个轻量级、零依赖的纯C底层编程库,专为在嵌入式主控(如Arduino兼容板)上实现对AVR微控制器&…...
MySQL 查询优化器执行逻辑分析
MySQL查询优化器作为数据库核心组件,其执行逻辑直接影响SQL性能。本文将深入分析其工作原理,帮助开发者理解查询背后的智能决策机制,为高效数据库设计提供理论支撑。查询解析与重写阶段优化器首先对SQL进行词法语法解析,生成语法树…...
Linux I/O 演进史:从管道到零拷贝,一篇串起个服务端核心原语劣
前言 在使用 kubectl get $KIND -o yaml 查看 k8s 资源时,输出结果中包含大量由集群自动生成的元数据(如 managedFields、resourceVersion、uid 等)。这些信息在实际复用 yaml 清单时需要手动清理,增加了额外的工作量。 使用 kube…...
收藏!2026程序员必看:AI浪潮下如何逆袭高薪新机会?大模型时代生存指南
2026年AI岗位需求激增,大厂春招AI相关岗位占比创新高,薪资可达13.7万。初级程序员面临被AI取代的风险,但AI行业复合型人才稀缺,程序员角色从编码者升级为AI指挥者。文章提供针对不同经验程序员的AI技能学习路线图,建议…...
