记录一次hiveserver2卡死(假死)问题
问题描述
给开发人员开通了个账号，连接hive进行查询，后来发现，hive服务有时候会卡死，查询不了，连不上（所有账号/客户端都连不上hive），但在chd里面看监控，服务器资源状态正常，查看hive日志也没发现明显异常。
重启hiveServer2服务后，hive能恢复正常；或等待较长一段时间后也能自己恢复；
但hive恢复后出异常的时间不规律；
后又发现，在hive卡死期间，服务器后台查看到hive服务的cpu使用率很高
问题原因和解决
后来和开发沟通过程中，发现其构造的hive-sql中有些sql中用的 in子句里面有数万/十多万个值，导致拼接的sql非常长，经过验证，发现执行这种sql时，就会导致hive处于卡死状态；
优化相关sql后，问题解决
相关文章：
记录一次hiveserver2卡死(假死)问题
问题描述 给开发人员开通了个账号，连接hive进行查询，后来发现，hive服务有时候会卡死，查询不了，连不上（所有账号/客户端都连不上hive），但在chd里面看监控，服务器资源状态…...
【ios】在 SwiftUI 中实现可随时调用的加载框
在 SwiftUI 项目中实现一个自定义的加载框（loading）功能，可以在任意位置调用，以便显示加载动画或者进度条。下面的教程将详细讲解如何创建一个可复用的 Loading 组件，并通过通知机制控制其显示和隐藏。 先上效果&…...
字符、解释型语言、编程语言的互操作、输出
字符 同样是1，有人看到的是数字，有人看到的是字符，还有人看到的是一个小目标。 不同语言的字符 正则表达式把字符分成普通字符和元字符，元字符为了搭配匹配。比如.代表任意非换行字符，这对于通配很简便，用\…...
基于Python的自然语言处理系列（39）：Huggingface中的解码策略
在自然语言生成任务中，如何选择下一步的单词或者词语对生成的文本质量影响巨大。Huggingface 提供了多种解码策略，可以在不同的场景下平衡流畅度、创造力以及生成效率。在这篇文章中，我们将逐步介绍 Huggingface 中的几种常见解码策略&#x…...
如何将视频格式转为mp4？好好看看下面这几个方法
如何将视频格式转为mp4？在数字化时代，视频已成为信息传播与娱乐消遣的重要载体。无论是学习、工作还是日常生活，我们几乎每天都会接触到各式各样的视频内容。然而，不同设备、平台或软件生成的视频文件往往采用不同的编码格式&…...
景区智慧公厕系统，监测公厕异味，自动清洁除臭
随着旅游业的快速发展，景区的公共厕所管理成为提升游客体验的重要环节。传统的公厕管理方式存在诸多不足，如卫生条件差、异味严重等问题。为了改善这些问题，许多景区开始采用智慧公厕系统。这种系统能够实时监测公厕内的异味，并自…...
GitLab CVE-2024-6389、CVE-2024-4472 漏洞解决方案
极狐GitLab 近日发布安全补丁版本17.3.2, 17.2.5, 17.1.7，修复了17个安全漏洞，本分分享其中两个漏洞 CVE-2024-6389、CVE-2024-4472 两个漏洞详情及解决方案。 极狐GitLab 正式推出面向 GitLab 老旧版本免费用户的专业升级服务，为 GitLab 老…...
hashCode的底层原理
HashCode是计算机科学中一个广泛使用的概念，特别是在Java等编程语言中，它扮演着重要的角色。为了详细解释hashCode的底层原理，以下从几个方面进行阐述： 一、hashCode的基本概念 HashCode，即哈希码，是一个将…...
hadoop_hdfs详解
HDFS秒懂 HDFS定义HDFS优缺点优点缺点 HDFS组成架构NameNodeDataNodeSecondary NameNodeClient NameNode工作机制元数据的存储启动流程工作流程 Secondary NameNode工作机制checkpoint工作流程 DataNode工作机制工作流程数据完整性 文件块大小块太小的缺点块太大的缺点 文件写入…...
【Linux】Linux命令行与环境变量
1.命令行 前⾯写C语⾔时，很少关注过 main 函数的参数，也没有考虑过 main 为什么会有参 数。 实际上在C语⾔中， main 函数⼀共有三个参数，在命令⾏部分先关注前两个参数： 1. argc：表示 main 函数接收到参…...
改变函数调用上下文：apply与call方法详解及实例
目录 改变函数调用上下文：apply与call方法详解及实例 一、什么是 apply 方法？ 1、apply 语法 2、apply 示例 二、什么是 call 方法？ 1、call 语法 2、call 示例 三、apply 和 call 的共同与差异 1、apply 和 call 的共同点 2、apply…...
k8s中的微服务
一、什么是微服务 用控制器来完成集群的工作负载，那么应用如何暴漏出去？需要通过微服务暴漏出去后才能被访问 Service是一组提供相同服务的Pod对外开放的接口。 借助Service，应用可以实现服务发现和负载均衡。 service默认只支持4层负载均…...
树莓派--AI视觉小车智能机器人--1.树莓派系统烧入及WiFi设置并进入jupyterlab
一、Raspberry Pi 系统烧入 使用树莓派，我们是需要有操作系统的。默认情况下，树莓派会在插入的SD卡上查找操作系统。这需要一台电脑将存储设备映像为引导设备，并将存储设备插入该电脑。大多数树莓派用户选择microSD卡作为引导设备。 1.1 下载…...
MacOS安装BurpSuite
文章目录 一、下载地址二、下载注册机三、安装教程四、启动burpsuit五、免责声明 一、下载地址 https://portswigger-cdn.net/burp/releases/download?productpro&version2024.7.1&typeMacOsx二、下载注册机 https://github.com/NepoloHebo/BurpSuite-BurpLoaderKey…...
【AI工具大全】《史上最全的AI工具合集》
一.AI编程类工具 1.CodeArts Snap CodeArts Snap是华为云研发的智能开发助手，覆盖软件开发全生命周期，提供代码生成、研发知识问答、智能协同等功能。通过自然语言编程，它能自动生成代码、解释代码逻辑、提供调试与检查，提升开发效率和软件质量。 2.ModelArts ModelArt…...
qt继承结构
一、 继承结构 所有的窗口类均继承自QWidget类，因此QWidget类本身包含窗口的特性。QWidget对象本身既可以作为独立窗口，又可以作为组件（子窗口）。 通过构造函数可以创建以上两种形态的QWidget： // 参数1：使…...
【HCIA复习作业】综合拓扑实验（已施工完）
一、实验要求 1.学校内部的HTTP客户端可以正常通过域名www.baidu.com访问到百度网络中的HTTP服务器 2.学校网络内部网段基于192.168.1.0/24划分，PC1可以正常访问3.3.3.0/24网段，但是Pc2不允许 3.学校内部路由使用静态路由，R1和R2之间两条链路…...
网络基础知识：交换机关键知识解析
了解交换机的关键知识对网络工程师至关重要。 以下是交换机的基础知识解析，包括其基本概念、工作原理和关键技术点： 01-交换机的基本概念 交换机是一种网络设备，用于在局域网（LAN）中连接多个设备，如计算机…...
基于System.js的微前端实现（插件化）
目录 写在前面 一、微前端相关知识 （一）概念 （二） 优势 （三） 缺点 （四）应用场景 （五）现有框架 1. qiankun 2. single-spa 3. SystemJ…...
MedSAM2调试安装与使用记录
目录 前言一、环境准备多版本cuda切换切换cuda版本二 安装CUDNN2.1 检查cudnn 二、使用步骤1.安装虚拟环境2.测试Gradio3.推理 总结 前言 我们在解读完MedSAM之后，迫不及待想尝尝这个技术带来的福音，因此验证下是否真的那么6。这不，新鲜的使…...
挑战杯推荐项目
“人工智能”创意赛 - 智能艺术创作助手：借助大模型技术，开发能根据用户输入的主题、风格等要求，生成绘画、音乐、文学作品等多种形式艺术创作灵感或初稿的应用，帮助艺术家和创意爱好者激发创意、提高创作效率。 - 个性化梦境…...
聊聊 Pulsar：Producer 源码解析
一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台，以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中，Producer（生产者） 是连接客户端应用与消息队列的第一步。生产者…...
测试markdown--肇兴
day1： 1、去程：7:04 --11:32高铁 高铁右转上售票大厅2楼，穿过候车厅下一楼，上大巴车 ￥10/人 **2、到达：**12点多到达寨子，买门票，美团/抖音：￥78人 3、中饭&a…...
生成 Git SSH 证书
🔑 1. 生成 SSH 密钥对 在终端（Windows 使用 Git Bash，Mac/Linux 使用 Terminal）执行命令： ssh-keygen -t rsa -b 4096 -C "your_emailexample.com" 参数说明： -t rsa&#x…...
根据万维钢·精英日课6的内容，使用AI（2025）可以参考以下方法：
根据万维钢精英日课6的内容，使用AI（2025）可以参考以下方法： 四个洞见 模型已经比人聪明：以ChatGPT o3为代表的AI非常强大，能运用高级理论解释道理、引用最新学术论文，生成对顶尖科学家都有用的…...
MySQL用户和授权
开放MySQL白名单 可以通过iptables-save命令确认对应客户端ip是否可以访问MySQL服务： test: # iptables-save | grep 3306 -A mp_srv_whitelist -s 172.16.14.102/32 -p tcp -m tcp --dport 3306 -j ACCEPT -A mp_srv_whitelist -s 172.16.4.16/32 -p tcp -m tcp -…...
ABAP设计模式之---“简单设计原则(Simple Design)”
“Simple Design”（简单设计）是软件开发中的一个重要理念，倡导以最简单的方式实现软件功能，以确保代码清晰易懂、易维护，并在项目需求变化时能够快速适应。 其核心目标是避免复杂和过度设计，遵循“让事情保…...
AI，如何重构理解、匹配与决策？
AI 时代，我们如何理解消费？ 作者｜王彬 封面｜Unplash 人们通过信息理解世界。 曾几何时，PC 与移动互联网重塑了人们的购物路径：信息变得唾手可得，商品决策变得高度依赖内容。 但 AI 时代的来…...
Hive 存储格式深度解析：从 TextFile 到 ORC，如何选对数据存储方案？
在大数据处理领域，Hive 作为 Hadoop 生态中重要的数据仓库工具，其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式，很多开发者常常陷入选择困境。本文将从底…...
LeetCode - 199. 二叉树的右视图
题目 199. 二叉树的右视图 - 力扣（LeetCode） 思路 右视图是指从树的右侧看，对于每一层，只能看到该层最右边的节点。实现思路是： 使用深度优先搜索(DFS)按照"根-右-左"的顺序遍历树记录每个节点的深度对于…...