当前位置：首页 > news >正文

hive所有窗口函数详情总结

news 2026/2/9 17:00:32

hive窗口函数详情总结

解释
语法
hive开窗函数
- 排序开窗函数
- - 样例数据
  - RANK()
  - DENSE_RANK()
  - ROW_NUMBER()
- 分析开窗函数
- - 样例数据：
  - last_value
  - first_value
  - lag
  - lead
- 其他窗口函数
- - cume_dist
  - percent_rank

解释

开窗函数用于为行定义一个窗口（指运算将要操作的行的集合），它对一组值进行操作，不需要使用 Group By 子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。

语法

函数() over(partition by 列名1 order by 列名2 rows between [[unbounded|num] preceding | current row]and [[unbounded|num] following | current row]) rows between：作用为划分表中窗口边界
 unbounded preceding：表示表中窗口无上边界
 num preceding：表示表中窗口上界到距离当前行向上num行
 current row：表示当前行
 num following：表示表中窗口下界到距离当前行向下num行
 unbounded following：表示表中窗口无下边界
 rows between unbounded preceding and unbounded following：

hive开窗函数

排序开窗函数

样例数据

select * from test ；
>name score  subjectA     90     语文A 	   90     数学A     98     英语B     93     语文B     90     数学B     94     英语

RANK()

在计算排序时，若存在相同位次，会跳过之后的位次。有3条排在第1位时，排序为：1，1，1，4······
示例：

#按姓名分组，排序每个人的分数从低到高
select name , score , subject ,rank()over(partition by name order by score ) rk from test;
>name score   subject  rk 
> A     90     语文     1
> A 	90     数学     1
> A     98     英语     3
> B     90     数学     1
> B     93     语文     2
> B     94     英语     3

DENSE_RANK()

在计算排序时，若存在相同位次，不会跳过之后的位次。有3条排在第1位时，排序为：1，1，1，2······
示例：

#按姓名分组，排序每个人的分数从低到高
select name , score , subject ,rank()over(partition by name order by score ) rk from test;
>name score   subject  rk 
> A     90     语文     1
> A 	90     数学     1
> A     98     英语     2
> B     90     数学     1
> B     93     语文     2
> B     94     英语     3

ROW_NUMBER()

这个函数赋予唯一的连续位次。例如，有3条排在第1位时，排序为：1，2，3，4······
示例：

#按姓名分组，排序每个人的分数从低到高
select name , score , subject ,rank()over(partition by name order by score ) rk from test;
>name score   subject  rk 
> A     90     语文     1
> A 	90     数学     2
> A     98     英语     3
> B     90     数学     1
> B     93     语文     2
> B     94     英语     3

分析开窗函数

样例数据：

select * from test;RN      ADDRESS     ARRIVAL_TIME         USERID    ------  ----------  -------------------  --------- 1       A1          2012-7-9 下午12:03:21  1                  (null)  A2          2012-7-9 下午12:04:21  2                  (null)  A3          2012-7-9 下午12:05:21  3                 2       A1          2012-7-9 下午12:08:21  4                   (null)  A2          2012-7-9 下午12:09:21  5                   (null)  A3          2012-7-9 下午12:10:21  6                  3       A1          2012-7-9 下午12:13:21  7                   (null)  A3          2012-7-9 下午12:15:21  8                   4       A1          2012-7-9 下午12:18:23  9                   5       A1          2012-7-9 下午12:19:21  10                  (null)  A2          2012-7-9 下午12:20:21  11                 (null)  A3          2012-7-9 下午12:21:21  12                 6       A1          2012-7-9 下午12:23:23  13                  (null)  A2          2012-7-9 下午12:24:21  14

last_value

取开窗最后一个值
第一个参数是列名，第二个参数可选布尔值,默认值为FALSE，true可以忽略null值

select rn,address,arrival_time,userid,last_value(rn,true) over(order by userid) group_t from test查询结果如下：RN      ADDRESS     ARRIVAL_TIME         USERID     GROUP_T    ------  ----------  -------------------  ---------  ---------- 1       A1          2012-7-9 下午12:03:21  1          1          (null)  A2          2012-7-9 下午12:04:21  2          1          (null)  A3          2012-7-9 下午12:05:21  3          1          2       A1          2012-7-9 下午12:08:21  4          2          (null)  A2          2012-7-9 下午12:09:21  5          2          (null)  A3          2012-7-9 下午12:10:21  6          2          3       A1          2012-7-9 下午12:13:21  7          3          (null)  A3          2012-7-9 下午12:15:21  8          3          4       A1          2012-7-9 下午12:18:23  9          4          5       A1          2012-7-9 下午12:19:21  10         5          (null)  A2          2012-7-9 下午12:20:21  11         5          (null)  A3          2012-7-9 下午12:21:21  12         5          6       A1          2012-7-9 下午12:23:23  13         6          (null)  A2          2012-7-9 下午12:24:21  14         6

first_value

取开窗第一个值
第一个参数是列名，第二个参数可选布尔值,默认值为FALSE，true可以忽略null值

select rn,address,arrival_time,userid,first_value(rn,true) over(order by userid) group_t from test查询结果如下：RN      ADDRESS     ARRIVAL_TIME         USERID     GROUP_T    ------  ----------  -------------------  ---------  ---------- 1       A1          2012-7-9 下午12:03:21  1          1          (null)  A2          2012-7-9 下午12:04:21  2          1          (null)  A3          2012-7-9 下午12:05:21  3          1          2       A1          2012-7-9 下午12:08:21  4          1          (null)  A2          2012-7-9 下午12:09:21  5          1          (null)  A3          2012-7-9 下午12:10:21  6          1          3       A1          2012-7-9 下午12:13:21  7          1          (null)  A3          2012-7-9 下午12:15:21  8          1          4       A1          2012-7-9 下午12:18:23  9          1          5       A1          2012-7-9 下午12:19:21  10         1          (null)  A2          2012-7-9 下午12:20:21  11         1          (null)  A3          2012-7-9 下午12:21:21  12         1          6       A1          2012-7-9 下午12:23:23  13         1          (null)  A2          2012-7-9 下午12:24:21  14         1

lag

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 ,第三个参数指的是往上n个weinull的默认值，不是指开窗那列的值为null的默认值，示例：

select  rn,address,arrival_time,userid,lag(rn,2,0) over(order by userid) group_t from test查询结果如下：RN      ADDRESS     ARRIVAL_TIME         USERID     GROUP_T    ------  ----------  -------------------  ---------  ---------- 1       A1          2012-7-9 下午12:03:21  1          0         (null)  A2          2012-7-9 下午12:04:21  2          0          (null)  A3          2012-7-9 下午12:05:21  3          1        2       A1          2012-7-9 下午12:08:21  4          null          (null)  A2          2012-7-9 下午12:09:21  5          null         (null)  A3          2012-7-9 下午12:10:21  6          2          3       A1          2012-7-9 下午12:13:21  7          null         (null)  A3          2012-7-9 下午12:15:21  8          null                   4       A1          2012-7-9 下午12:18:23  9          3  5       A1          2012-7-9 下午12:19:21  10         null          (null)  A2          2012-7-9 下午12:20:21  11         4(null)  A3          2012-7-9 下午12:21:21  12         5               6       A1          2012-7-9 下午12:23:23  13         null         (null)  A2          2012-7-9 下午12:24:21  14         null

lead

LEAD(col,n,DEFAULT)用于统计窗口内往下第n行值

select  rn,address,arrival_time,userid,lead(rn,2,0) over(order by userid) group_t from test
查询结果如下：RN      ADDRESS     ARRIVAL_TIME         USERID     GROUP_T    ------  ----------  -------------------  ---------  ---------- 1       A1          2012-7-9 下午12:03:21  1          null        (null)  A2          2012-7-9 下午12:04:21  2          2          (null)  A3          2012-7-9 下午12:05:21  3          null        2       A1          2012-7-9 下午12:08:21  4          null          (null)  A2          2012-7-9 下午12:09:21  5          3(null)  A3          2012-7-9 下午12:10:21  6          null          3       A1          2012-7-9 下午12:13:21  7          4(null)  A3          2012-7-9 下午12:15:21  8          54       A1          2012-7-9 下午12:18:23  9          null  5       A1          2012-7-9 下午12:19:21  10         null          (null)  A2          2012-7-9 下午12:20:21  11         6(null)  A3          2012-7-9 下午12:21:21  12         null               6       A1          2012-7-9 下午12:23:23  13         0(null)  A2          2012-7-9 下午12:24:21  14         0

其他窗口函数

cume_dist

这个函数不太常用，小于等于当前值的行数/分组内总行数

select r, a ,cume_dist() over( order by a  ) col from (
select 'cc' r, 1  a union all select 'aa',2 union all select 'bb', 3
) tr  a       col
>c	1	0.3333333333333333  #1/3
>aa	2	0.6666666666666666  #2/3
>b	3	1                   #3/3

percent_rank

percent_rank ：窗口内当前行的RANK值-1/窗口内总行数-1(这里的rank值就是指的是rank 函数的的返回值)

select r, a ,percent_rank() over( order by a  ) col from (
select 'cc' r, 1  a union all select 'aa',2 union all select 'bb', 3
) tr  a       col
>c	1		 0   #1-1/3-1
>aa	2	     5   #2-1/3-1
>b	3	     1   #3-3/3-1

hive所有窗口函数详情总结

hive窗口函数详情总结解释语法hive开窗函数排序开窗函数样例数据RANK()DENSE_RANK()ROW_NUMBER() 分析开窗函数样例数据：last_valuefirst_valuelaglead 其他窗口函数cume_distpercent_rank 解释开窗函数用于为行定义一个窗口（指运算将要操作的行的集合…...

编程日记 2023/8/3 18:12:17

Talk | 新加坡国立大学博士生施宇钧：DragDiffusion-基于扩散模型的关键点拖拽图片编辑

本期为TechBeat人工智能社区第518期线上Talk！ 北京时间8月2日(周三)20:00， 新加坡国立大学博士生—施宇钧的Talk已准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “DragDiffusion-基于扩散模型的关键点拖拽图片编辑”，他…...

编程日记 2023/8/3 18:11:15

22 | 贝叶斯分类算法

文章目录介绍什么是贝叶斯分类算法？贝叶斯分类算法的应用场景贝叶斯定理贝叶斯定理的基本原理贝叶斯定理的公式推导贝叶斯定理的应用举例代码介绍什么是贝叶斯分类算法？贝叶斯分类算法是一类基于贝叶斯定理的分类技术。在统计分类任务中，这些算法使用特定的假设来建立特…...

编程日记 2023/8/3 18:10:11

java.sql.SQLSyntaxErrorException: ORA-00909: 参数个数无效

问题： 在Select里采用Contact(%,#name,%)报错参数个数无效原因： 回想以前用Mysql的时候就是这样用的，没有问题，在这里就出问题了，所以确定问题在oracle数据库上，经过查询得知，oracle和mysql…...

编程日记 2023/8/3 18:09:10

数据结构8-哈希表动态分配内存方式： #include <stdio.h> #include <stdlib.h>#define SIZE 20struct DataItem {int data; int key; };struct DataItem* hashArray[SIZE]; struct DataItem* dummyItem; struct DataItem* item;//获取键值 int has…...

编程日记 2023/8/3 18:08:09

vue3引用Font-Awesome字体图标库

环境：vue3tsviteelement plus 介绍：这里安装引用的是Font-Awesome 6.x 版本，有专业版（付费），这里只介绍免费版字体使用方法一、安装 1.使用npm安装，终端打开项目目录或者命令行cd到目录文件夹…...

编程日记 2023/8/3 18:07:08

Python: Django 服务部署可能遇到的一些问题

502 bad gateway 不要用 python3 manage.py runserver 启动服务， 而要用： daphne -b 0.0.0.0 -p <端口> <工程名>.asgi:application此外，在 setting.py 中，修改： import osSECRET_KEY os.environ.get(D…...

编程日记 2023/8/3 18:06:07

Python爬虫时遇到连接超时解决方案

在进行Python爬虫任务时，经常会遇到连接超时（TimeoutError）错误。连接超时意味着爬虫无法在规定的时间内建立与目标服务器的连接，导致请求失败。为了帮助您解决这个常见的问题，本文将提供一些解决办法，并提…...

编程日记 2023/8/3 18:05:06

这所国字头双一流，根本招不满，学硕都没人报！

一、学校及专业介绍中国民航大学，位于天津市，是民航局、天津市、教育部共建高校，是天津市“双一流”建设高校和高水平特色大学建设高校。 1.1 招生情况 2023年中国民航大学电子信息与自动化学院，初试考806信号与系统的一共有两…...

编程日记 2023/8/3 18:04:03

macos 查询端口占用命令

在 macOS 上查询端口占用的命令是通过使用lsof（list open files）工具来实现的。 lsof可以显示当前系统中打开的文件（包括网络连接和端口）的相关信息。打开终端应用程序（Terminal），然后输入以下…...

编程日记 2023/8/3 18:03:02

无代码开发:打破传统开发模式,引领数字化转型新方向

随着数字化转型的加速，企业对于高效、便捷的软件开发需求愈发旺盛。无代码开发作为一种新兴的软件开发模式，以其可视化、模块化的开发方式，为数字化转型提供了新的方向。本文将从无代码开发的优势、应用场景、如何实现等方面进行详细解读&…...

编程日记 2023/8/3 18:02:01

go-zero超强工具goctl的常用命令api，rpc，model及其构建的服务解析

goctl api 详情移步： go-zero的路由机制解析基于go-zero的api服务刨析并对比与gin的区别 goctl rpc goctl支持多种rpc，较为流行的是google开源的grpc，这里主要介绍goctl rpc protoc的代码生成与使用。 protoc是grpc的命令，作用…...

编程日记 2023/8/3 18:01:00

手机python编程软件怎么用,手机python编程软件下载

大家好，小编来为大家解答以下问题，手机python编程软件保存的代码在哪里，手机python编程软件怎么运行，现在让我们一起来看看吧！ 原标题：盘点几个在手机上可以用来学习编程的软件前天在悟空问答的时候&#…...

编程日记 2023/8/3 17:59:58

【使用 DSP 滤波器加速速度和位移】使用信号处理算法过滤加速度数据并将其转换为速度和位移研究（Matlab代码实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…...

编程日记 2023/8/3 17:58:57

家居行业解决方案 | 君子签电子签约助力家居企业减负增效

过去，家居行业因供需两端碎片化、服务链条较长等因素，导致线上发展较为缓慢，近年来，互联网的发展推动直播电商、兴趣电商兴起，促使家居行业数字化建设需求越来越为迫切。合同管理作为家居行业企业经营的一项重要管理…...

编程日记 2023/8/3 17:57:56

Nodejs 第五章（Npm run 原理）

npm run xxx 发生了什么按照下面的例子npm run dev 举例过程中发生了什么读取package json 的scripts 对应的脚本命令(dev:vite),vite是个可执行脚本，他的查找规则是： 先从当前项目的node_modules/.bin去查找可执行命令vite如果没找到就去全局的node…...

编程日记 2023/8/3 17:56:55

150. 逆波兰表达式求值

给你一个字符串数组 tokens ，表示一个根据逆波兰表示法表示的算术表达式。请你计算该表达式。返回一个表示表达式值的整数。注意： 有效的算符为、-、* 和 / 。每个操作数（运算对象）都可以是一个整数或者另一个表达式。两个…...

编程日记 2023/8/3 17:55:53

js中的设计模式

设计模式代码整体的结构会更加清楚，管理起来会更加方便，更好地维护设计模式是一种思想发布订阅模块化开发导入很多模块容器即数组存储未来要执行的方法，同addEventListener 数组塌陷问题* 由于删除了元素，导致从删除元素的位…...

编程日记 2023/8/3 17:54:52

PostgreSQL:string_agg 多列值聚合成一列

PostgreSQL:string_agg 多列值聚合成一列 string_agg是PostgreSQL中的一个聚合函数，用于将一组值连接为一个字符串。它接受两个参数：要连接的值和连接符。语法如下： string_agg(expression, delimiter)其中，expression是要连接…...

编程日记 2023/8/3 17:53:49

通向架构师的道路之apache_tomcat_https应用

一、总结前一天的学习通过上一章我们知道、了解并掌握了Web Server结合App Server是怎么样的一种架构，并且亲手通过Apache的Http Server与Tomcat6进行了整合的实验。这样的架构的好处在于： 减轻App Server端的压力，用Web Server来分压…...

编程日记 2023/8/3 17:52:46

iOS 26 携众系统重磅更新，但“苹果智能”仍与国行无缘

美国西海岸的夏天，再次被苹果点燃。一年一度的全球开发者大会 WWDC25 如期而至，这不仅是开发者的盛宴，更是全球数亿苹果用户翘首以盼的科技春晚。今年，苹果依旧为我们带来了全家桶式的系统更新，包括 iOS 26、iPadOS 26…...

编程新知 2026/2/8 20:41:56

DockerHub与私有镜像仓库在容器化中的应用与管理

哈喽，大家好，我是左手python！ Docker Hub的应用与管理 Docker Hub的基本概念与使用方法 Docker Hub是Docker官方提供的一个公共镜像仓库，用户可以在其中找到各种操作系统、软件和应用的镜像。开发者可以通过Docker Hub轻松获取所…...

编程新知 2025/10/8 10:56:25

visual studio 2022更改主题为深色

visual studio 2022更改主题为深色点击visual studio 上方的工具-> 选项在选项窗口中，选择环境 -> 常规 ，将其中的颜色主题改成深色点击确定，更改完成...

编程新知 2026/1/25 11:13:37

2.Vue编写一个app

1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template>  </template>…...

编程新知 2026/1/31 6:04:01

MySQL 8.0 OCP 英文题库解析（十三）

Oracle 为庆祝 MySQL 30 周年，截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。从今天开始，将英文题库免费公布出来，并进行解析，帮助大家在一个月之内轻松通过OCP认证。本期公布试题111~120 试题1…...

编程新知 2026/1/31 7:25:57

学校时钟系统，标准考场时钟系统，AI亮相2025高考，赛思时钟系统为教育公平筑起“精准防线”

2025年#高考将在近日拉开帷幕，#AI 监考一度冲上热搜。当AI深度融入高考，#时间同步不再是辅助功能，而是决定AI监考系统成败的“生命线”。 AI亮相2025高考，40种异常行为0.5秒精准识别 2025年高考即将拉开帷幕，江西、…...

编程新知 2026/2/8 22:07:52

Linux离线（zip方式）安装docker

目录基础信息操作系统信息docker信息安装实例安装步骤示例遇到的问题问题1：修改默认工作路径启动失败问题2 找不到对应组基础信息操作系统信息 OS版本：CentOS 7 64位内核版本：3.10.0 相关命令： uname -rcat /etc/os-rele…...

编程新知 2025/11/23 23:50:53

C++.OpenGL （14/64）多光源（Multiple Lights）

多光源（Multiple Lights）多光源渲染技术概览 #mermaid-svg-3L5e5gGn76TNh7Lq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-3L5e5gGn76TNh7Lq .error-icon{fill:#552222;}#mermaid-svg-3L5e5gGn76TNh7Lq .erro…...

编程新知 2025/6/11 3:15:20

Python Einops库：深度学习中的张量操作革命

Einops（爱因斯坦操作库）就像给张量操作戴上了一副"语义眼镜"——让你用人类能理解的方式告诉计算机如何操作多维数组。这个基于爱因斯坦求和约定的库，用类似自然语言的表达式替代了晦涩的API调用，彻底改变了深度学习工程…...

编程新知 2025/10/16 12:04:52

比较数据迁移后MySQL数据库和OceanBase数据仓库中的表

设计一个MySQL数据库和OceanBase数据仓库的表数据比较的详细程序流程，两张表是相同的结构，都有整型主键id字段，需要每次从数据库分批取得2000条数据，用于比较，比较操作的同时可以再取2000条数据，等上一次比较完成之后，开始比较，直到比较完所有的数据。比较操作需要比较…...

编程新知 2025/9/14 5:35:46