[Hive] 常见函数
文章目录
- 字符串函数
- 数值函数
- 随机函数
- 日期和时间函数
- 字符串转时间
- 聚合函数
- 数组函数
- 结构体函数
- 数组函数
- 映射函数 map
- 正则
- 处理JSON
字符串函数
CONCAT(string1, string2, …):将多个字符串连接成一个字符串。
LENGTH(string):返回字符串的长度。
LOWER(string):将字符串转换为小写。
UPPER(string):将字符串转换为大写。
TRIM(string):去除字符串两端的空格。
SUBSTR(string, start, length):从字符串中提取子字符串,从指定的起始位置开始,指定长度。
REPLACE(string, search, replace):替换字符串中的指定子字符串。
REGEXP_REPLACE(string, pattern, replace):使用正则表达式替换字符串中的匹配项。
SPLIT(string, delimiter):将字符串按指定分隔符拆分为数组。
INSTR(string, substring):返回子字符串在字符串中第一次出现的位置。
LIKE(string, pattern):判断字符串是否与指定模式匹配(支持通配符)。
RTRIM(string):去除字符串末尾的空格。
LTRIM(string):去除字符串开头的空格。
CONCAT_WS(separator, string1, string2, …):将多个字符串使用指定的分隔符连接成一个字符串。
INITCAP(string):将字符串的首字母大写。
数值函数
ABS(x):返回数值的绝对值。
ROUND(x, d):将数值四舍五入到指定的小数位数。
CEIL(x):向上取整。
FLOOR(x):向下取整。
随机函数
rand():生成一个 0 到 1 之间的随机浮点数。
随机取出一张表的10条数据
select * from t1 order by rand() limit 10
randn():生成一个符合标准正态分布(均值为 0,标准差为 1)的随机浮点数。
rand_seed(n):使用给定的种子值 n 来初始化随机数生成器,从而产生可重复的随机数序列。
rand_integer(n):生成一个 0 到 n-1 之间的随机整数。
rand_array(n, expr):生成一个包含 n 个元素的数组,每个元素的值由表达式 expr 决定。
日期和时间函数
CURRENT_DATE():返回当前日期。
CURRENT_TIMESTAMP():返回当前时间戳。
YEAR(date):返回日期中的年份。
MONTH(date):返回日期中的月份。
DAY(date):返回日期中的天数。
DATEDIFF(enddate, startdate):返回两个日期之间的天数差异。
DATE_ADD(startdate, num_days):将指定数量的天数添加到给定日期中。
DATE_SUB(startdate, num_days):从给定日期中减去指定数量的天数。
文章目录
- 字符串函数
- 数值函数
- 随机函数
- 日期和时间函数
- 字符串转时间
- 聚合函数
- 数组函数
- 结构体函数
- 数组函数
- 映射函数 map
- 正则
- 处理JSON
字符串转时间
TO_DATE(string, format):将字符串转换为日期类型。format 参数指定字符串的日期格式。
TO_TIMESTAMP(string):将字符串转换为时间戳类型。
UNIX_TIMESTAMP(string, format):将字符串转换为 Unix 时间戳。format 参数指定字符串的日期格式。
FROM_UNIXTIME(unix_time, format):将 Unix 时间戳转换为指定格式的时间字符串。
日期格式的模式包括以下常用的符号:
- yyyy:四位数的年份。
- MM:两位数的月份(01-12)。
- dd:两位数的日期(01-31)。
- HH:24 小时制的小时数(00-23)。
- mm:分钟数(00-59)。
- ss:秒数(00-59)。
以下是一些示例
‘2023-10-25’ 的格式为 ‘yyyy-MM-dd’。
‘10/25/23’ 的格式为 ‘MM/dd/yy’。
‘2023-10-25 15:30:45’ 的格式为 ‘yyyy-MM-dd HH:mm:ss’。
‘25-Oct-23’ 的格式为 ‘dd-MMM-yy’。
聚合函数
SUM(column):计算列的总和。
AVG(column):计算列的平均值。
MAX(column):返回列的最大值。
MIN(column):返回列的最小值。
COUNT(column):计算非空行的数量。
进阶聚合函数
GROUP_CONCAT(expr[, sep]):将分组内的多个值连接成一个字符串,并可以指定分隔符。
COLLECT_LIST(expr):返回分组内的所有值作为一个数组。
COLLECT_SET(expr):返回分组内的所有唯一值作为一个集合。
FIRST(expr):返回分组内的第一个非空值。
LAST(expr):返回分组内的最后一个非空值。
PERCENTILE(expr, p):计算分组内的某个百分位数。
STDDEV(expr):计算分组内值的标准差。
VARIANCE(expr):计算分组内值的方差。
数组函数
SIZE(array):返回数组的大小。
ARRAY_CONTAINS(array, value):检查数组是否包含指定的值。
EXPLODE(array):将数组展开为多行。
array_intersect(arr1, arr2) 函数来判断两个数组是否存在交集。该函数将返回两个数组中共有的元素组成的一个新数组。
结构体函数
STRUCT(col1, col2, …):创建一个结构体。
col_name.field_name:访问结构体中的字段。
数组函数
ARRAY(col1, col2, …):创建一个数组。
SIZE(array):返回数组的大小。
ELEMENT_AT(array, index):返回数组中指定索引位置的元素。
EXPLODE(array):将数组展开为多行。
ARRAY_CONTAINS(array, value):检查数组是否包含指定的值。
映射函数 map
MAP(key1, value1, key2, value2, …):创建一个映射。
MAP_KEYS(map):返回映射中的所有键。
MAP_VALUES(map):返回映射中的所有值。
GET_JSON_OBJECT(json_string, path):从 JSON 字符串中提取指定路径的值。
复杂数据类型转换函数:
STRUCT_TO_MAP(struct):将结构体转换为映射。
MAP_TO_STRUCT(map):将映射转换为结构体。
文章目录
- 字符串函数
- 数值函数
- 随机函数
- 日期和时间函数
- 字符串转时间
- 聚合函数
- 数组函数
- 结构体函数
- 数组函数
- 映射函数 map
- 正则
- 处理JSON
正则
Hive 的正则表达式函数使用的是 Java 的正则表达式语法。
REGEXP_EXTRACT(string, pattern, index):从字符串中使用正则表达式模式提取匹配的子字符串。index 参数用于指定提取的子字符串索引。
regexp_extract_all(str, regexp[, index]) 函数来返回所有匹配的元素的一个数组
REGEXP_REPLACE(string, pattern, replacement):使用正则表达式模式替换字符串中的匹配项为指定的替换字符串。
REGEXP_SPLIT(string, pattern):根据正则表达式模式将字符串拆分为数组。
RLIKE(string, pattern):检查字符串是否与正则表达式模式匹配,返回布尔值。
处理JSON
GET_JSON_OBJECT(json_string, path):从 JSON 字符串中提取指定路径的值。
JSON_TUPLE(json_string, col1, col2, …):将 JSON 字符串解析为指定的列。
JSON_ARRAY(json_string, col1, col2, …):将 JSON 数组字符串解析为指定的列。
JSON_OBJECT(key1, value1, key2, value2, …):创建一个 JSON 对象。
JSON_SIZE(json_string):返回 JSON 字符串中顶层元素的数量。
JSON_EXTTRACT(json_string, json_path):从 JSON 字符串中提取满足 JSONPath 表达式的值。
相关文章:
[Hive] 常见函数
文章目录 字符串函数数值函数随机函数日期和时间函数字符串转时间 聚合函数数组函数结构体函数数组函数映射函数 map正则处理JSON 字符串函数 CONCAT(string1, string2, …):将多个字符串连接成一个字符串。 LENGTH(string):返回字符串的长度。 LOWER…...
Mac用NTFS文件夹读写NTFS硬盘 NTFS能复制多大的文件
Mac作为一款备受欢迎的计算机操作系统,具备了许多令人惊叹的功能和特性。然而,对于一些Mac用户来说,使用NTFS格式的硬盘可能存在一些疑问。他们可能想知道Mac是否能够读写NTFS格式的硬盘,以及NTFS格式的硬盘是否有文件大小的限制。…...
【unity3D】Scroll Rect组件—制作下滑列表
💗 未来的游戏开发程序媛,现在的努力学习菜鸡 💦本专栏是我关于游戏开发的学习笔记 🈶本篇是unity的Scroll Rect组件 Scroll Rect组件 基础知识详细说明案例演示——制作一个简单的下滑框扩展 介绍:Scroll Rect组件是用…...
网络扫描与网络监听
前言:前文给大家介绍了网络安全相关方面的基础知识体系,以及什么是黑客,本篇文章笔者就给大家带来“黑客攻击五部曲”中的网络扫描和网络监听 目录 黑客攻击五部曲 网络扫描 按扫描策略分类 按照扫描方式分类 被动式策略 系统用户扫描 …...
Codeforces Round 904 (Div. 2) C
C. Medium Design 思路:我们设最大值所在的下标为 x x x,最小值所在的下标为 y y y,那么我们考虑一段区间对于答案的贡献: 若一段区间覆盖了 x x x,但没有覆盖 y y y,那么这段区间需要选择 若一段区间覆盖了 y y y,但没有覆盖 x…...
DBeaver连接数据库报错:Public Key Retrieval is not allowed 的解决方案
写在前面: DBeaver是一款免费的数据库管理工具,安装也是傻瓜式一键安装,比较推荐。 DBeaver官网(加载有点慢,耐心等待):DBeaver Community | Free Universal Database Tool 报错详情ÿ…...
DeepFace【部署 04】轻量级人脸识别和面部属性分析框架deepface使用Docker部署CPU+GPU两个版本及cuDNN安装
使用Docker部署CPUGPU 1.CPU2.GPU3.cuDNN安装3.1 Prerequisites3.2 下载Linux版本cuDNN3.3 安装 1.CPU 本说明基于DeepFace的Docker镜像文件deepface_image.tar进行说明。 # 1.导入镜像 docker load -i deepface_image.tar# 2.创建模型文件夹【并将下载好的模型文件上传】 mk…...
程序生活 - 减肥小记
文章目录 缘起健康就好了吗?关于外在和物质生活难与易 我的减肥生活一些细节轻断食戒糖、油炸、重口味睡眠改变社交方式用运动化解压力不喝牛奶 缘起 2017年的一次腿受伤,让我从一个怎么都吃不胖的人,变成了一个实实在在的胖子。 如果你从来…...
深度学习_4_实战_直线最优解
梯度 实战 代码: # %matplotlib inline import random import torch import matplotlib.pyplot as plt # from d21 import torch as d21def synthetic_data(w, b, num_examples):"""生成 Y XW b 噪声。"""X torch.normal(0,…...
《视觉SLAM十四讲》公式推导(三)
文章目录 CH3-8 证明旋转后的四元数虚部为零,实部为罗德里格斯公式结果 CH4 李群与李代数CH4-1 SO(3) 上的指数映射CH4-2 SE(3) 上的指数映射CH4-3 李代数求导对极几何:本质矩阵奇异值分解矩阵内积和迹 CH3-8 证明旋转后的四元数虚部为零,实部…...
pnpm、npm、yarn的区别
pnpm、npm、yarn是三种不同的包管理器,它们之间有一些区别。 安装速度:pnpm的安装速度比npm和yarn快,因为它使用了只下载必需的模块,而不是下载整个依赖树。此外,pnpm还可以并行下载模块,从而进一步提高下…...
搞定蓝牙——第四章(GATT协议)
搞定蓝牙——第四章(GATT协议) 原理介绍层次结构server和client端Attribute ESP32代码 文章下面用的英文表示: server和client:服务端和客户端 char.:characteristic缩写,特征 Attribute:属性 ATT:Attribut…...
Go语言入门心法(十四): Go操作Redis实战
Go语言入门心法(一): 基础语法 Go语言入门心法(二): 结构体 Go语言入门心法(三): 接口 Go语言入门心法(四): 异常体系 Go语言入门心法(五): 函数 Go语言入门心法(六): HTTP面向客户端|服务端编程 Go语言入门心法(七): 并发与通道 Go语言入门心法(八): mysql驱动安装报错o…...
Java学习笔记(三)
前言 这个主要就是想记录一个点,就是二维数组保存的元素就是一维数组的地址,这个概念大家都知道了,那么接下来就是我最近写程序发生的一个事情了。 随机打乱一个一维数组 这个程序我相信大家都是会写的,通过randomArr来随机打乱…...
Flutter笔记:GetX模块中不使用 Get.put 怎么办
Flutter笔记 GetX模块中不使用 Get.put 怎么办 作者:李俊才 (jcLee95):https://blog.csdn.net/qq_28550263 邮箱 :291148484163.com 本文地址:https://blog.csdn.net/qq_28550263/article/details/13400672…...
2023前端面试整理
1. 介绍一下最近参与的项目,负责那些业务,在开发过程中遇到过问题吗?最后是咋样处理的? 之前负责过大小十几个项目,负责过浙里办的整套上架流程,负责过数据大屏统计,后台管理系统文书生成表单生成等,浙政钉…...
文化融合:TikTok如何弥合跨文化差异
随着全球化的加速和数字媒体的崛起,社交媒体平台已经成为连接世界各地人们的纽带。其中,TikTok作为一个引领者,正在以惊人的速度消除跨文化差异,促进文化融合,使人们更加了解和尊重不同背景和传统。 本文将深入探讨Ti…...
asp.net core获取config和env
配置文件的读取和使用 //读取配置文件直接使用 var configModel configuration.GetSection("DataBaseConfig").Get<DataBaseConfigModel>(); //读取配置文件注入到IOC中 services.Configure<AssemblyConfig>(configuration.GetSection("AssemblyC…...
Git不常用命令(持续更新)
今日鸡汤:当你最满足的时候,通常也最孤独;当你最愤慨的时候,通常也最可怜。 此博文会列出一些平时不常用,但是能提高效率的git命令,后续会出IDEA对应的操作步骤 快看看你是不是都用过... 分支(…...
PostPreSql 数据库的一些用法
1、varchar 类型转换成数字 select sum(CAST(order_num AS NUMERIC)) from ads_port_cli_cons_freq_rpt where yr2023 and mon 08...
<6>-MySQL表的增删查改
目录 一,create(创建表) 二,retrieve(查询表) 1,select列 2,where条件 三,update(更新表) 四,delete(删除表…...
Appium+python自动化(十六)- ADB命令
简介 Android 调试桥(adb)是多种用途的工具,该工具可以帮助你你管理设备或模拟器 的状态。 adb ( Android Debug Bridge)是一个通用命令行工具,其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利,如安装和调试…...
VTK如何让部分单位不可见
最近遇到一个需求,需要让一个vtkDataSet中的部分单元不可见,查阅了一些资料大概有以下几种方式 1.通过颜色映射表来进行,是最正规的做法 vtkNew<vtkLookupTable> lut; //值为0不显示,主要是最后一个参数,透明度…...
Mysql中select查询语句的执行过程
目录 1、介绍 1.1、组件介绍 1.2、Sql执行顺序 2、执行流程 2.1. 连接与认证 2.2. 查询缓存 2.3. 语法解析(Parser) 2.4、执行sql 1. 预处理(Preprocessor) 2. 查询优化器(Optimizer) 3. 执行器…...
springboot整合VUE之在线教育管理系统简介
可以学习到的技能 学会常用技术栈的使用 独立开发项目 学会前端的开发流程 学会后端的开发流程 学会数据库的设计 学会前后端接口调用方式 学会多模块之间的关联 学会数据的处理 适用人群 在校学生,小白用户,想学习知识的 有点基础,想要通过项…...
排序算法总结(C++)
目录 一、稳定性二、排序算法选择、冒泡、插入排序归并排序随机快速排序堆排序基数排序计数排序 三、总结 一、稳定性 排序算法的稳定性是指:同样大小的样本 **(同样大小的数据)**在排序之后不会改变原始的相对次序。 稳定性对基础类型对象…...
给网站添加live2d看板娘
给网站添加live2d看板娘 参考文献: stevenjoezhang/live2d-widget: 把萌萌哒的看板娘抱回家 (ノ≧∇≦)ノ | Live2D widget for web platformEikanya/Live2d-model: Live2d model collectionzenghongtu/live2d-model-assets 前言 网站环境如下,文章也主…...
Python实现简单音频数据压缩与解压算法
Python实现简单音频数据压缩与解压算法 引言 在音频数据处理中,压缩算法是降低存储成本和传输效率的关键技术。Python作为一门灵活且功能强大的编程语言,提供了丰富的库和工具来实现音频数据的压缩与解压。本文将通过一个简单的音频数据压缩与解压算法…...
【iOS】 Block再学习
iOS Block再学习 文章目录 iOS Block再学习前言Block的三种类型__ NSGlobalBlock____ NSMallocBlock____ NSStackBlock__小结 Block底层分析Block的结构捕获自由变量捕获全局(静态)变量捕获静态变量__block修饰符forwarding指针 Block的copy时机block作为函数返回值将block赋给…...
python基础语法Ⅰ
python基础语法Ⅰ 常量和表达式变量是什么变量的语法1.定义变量使用变量 变量的类型1.整数2.浮点数(小数)3.字符串4.布尔5.其他 动态类型特征注释注释是什么注释的语法1.行注释2.文档字符串 注释的规范 常量和表达式 我们可以把python当作一个计算器,来进行一些算术…...
