当前位置： 首页 > news >正文

spark获取hadoop服务token

news 2026/4/6 18:43:50

spark 作业一直卡在accepted

  • 问题现象
  • 问题排查
    • 1.查看yarn app日志
    • 2.问题分析与原因

问题现象

通过yarn-cluster模式提交spark作业，客户端日志一直卡在submit app，没有运行

问题排查

1.查看yarn app日志

appid已生成，通过yarn查看app状态为等待am运行。具体查看am日志发现其一直在尝试访问hbase，尝试了36次后失败(集群hbase服务已正常停止)
在这里插入图片描述

问题：作业逻辑中不含hbase的相关内容，为什么会去访问hbase？

2.问题分析与原因

分析：
通过上面截图的堆栈信息查看从obtainDeletionTokens方法到HBaseDelegationTokenProvider的obtainDeletionTokens方法，说明这里是去尝试获取hbase的安全令牌。
(hbase的token获取的用户需要具有hbase:meta表的exec权限)

原因：
spark 官方文档

  • 在官网的文档描述：kerberos环境中，spark app在认证的时候，可能会获取hdfs、hive、hbase等服务的安全令牌。
  • 获取hbase的条件：hbase位于集群classpath，同时集群hbase开启了kerberos认证。
  • 所以 我们想跳过这个过程，需要提交作业时传入spark.yarn.security.credentials.hbase.enabled=false

相关文章：

spark获取hadoop服务token

spark 作业一直卡在accepted 问题现象问题排查1.查看yarn app日志2.问题分析与原因 问题现象 通过yarn-cluster模式提交spark作业，客户端日志一直卡在submit app，没有运行 问题排查 1.查看yarn app日志 appid已生成，通过yarn查看app状态为…...

编程日记 2023/10/25 1:01:33

Simulink 最基础教程（一）

1.1基本概念 一个典型的Simulink模型大致如上图这样： 1）模块 block：图中画圈的那些，每个模块可以完成一些特定的任务，类似MATLAB中函数的概念。软件提供了很多模块，当然也可以自定义新的模块 2&#xff0…...

编程日记 2023/10/25 1:00:32

微信小程序：单行输入和多行输入组件

微信小程序提供了两种输入类型的输入框组件&#xff0c;分别是单行输入框 <input> 和多行输入框 <textarea>。 1. 单行输入组件&#xff08;input&#xff09; 单行输入框 <input> <input> 是一个用于收集用户输入的组件&#xff0c;主要用于收集单行…...

编程日记 2023/10/25 0:59:32

1024程序员

听说今天可以拿勋章&#xff0c;嘿嘿...

编程日记 2023/10/25 0:58:31

【Segment Anything Model】八：修改SAM源码做分类任务

🍉 博主微信 cvxiayixiao 🍓 【Segment Anything Model】计算机视觉检测分割任务专栏。 链接 🍑 【公开数据集预处理】特别是医疗公开数据集的接受和预处理，提供代码讲解。链接 🍈 【opencv+图像处理】opencv代码库讲解，结合图像处理知识，不仅仅是调库。链接 文章目…...

编程日记 2023/10/25 0:57:29

Java后端开发——实现登录验证程序

一、实现一个简单登录验证程序 实现一个简单的用户登录验证程序&#xff0c;如果用户名是 abc &#xff0c;密码是 123&#xff0c;则显示欢迎用户的信息&#xff0c;否则显示“用户名或密码不正确”。 【分析】 该案例采用 JSP 页面只完成提交信息和验证结果的显示&#xff…...

编程日记 2023/10/25 0:56:28

CSS高频面试题

1.行内元素有哪些?块级元素有哪些?空元素有哪些&#xff1f;CSS的盒模型? 块级元素&#xff1a;div, p, h1-h6,form, ul ,li行内元素&#xff1a;a, b, br, span, i, input, select行内块级元素&#xff1a;img , input空元素&#xff1a;即没有内容的HTML元素&#xff0c;…...

编程日记 2023/10/25 0:55:27

解决matlab报错“输入参数的数目不足”

报错语句&#xff1a;tanh((peakNums-parameter)/2) 报错提示&#xff1a;输入参数的数目不足 运行环境&#xff1a;matlab2021b 分析原因&#xff1a; 当执行peakNums - parameter时&#xff0c;如果peakNums和parameter都是向量&#xff0c;那么这并不一定意味着会得到对应…...

编程日记 2023/10/25 0:54:25

使用python_opencv比较图像差异/使用python_opencv找出两张图像的差异范围

目录 1 创建conda环境 2 安装python库 2.1 报错 ModuleNotFoundError: No module named numpy 3 image_diff.py...

编程日记 2023/10/25 0:53:25

NOIP2023模拟1联测22 爆炸

NOIP2023模拟1联测22 爆炸 题目大意 ​ 自己看 思路 当一个炸弹被引爆后&#xff0c;它的方向是固定的。如果被竖着引爆&#xff0c;那么应该选择横着引爆&#xff0c;否则选择竖着引爆&#xff0c;这是显然 的。 考虑对于每个炸弹 ( i , j ) (i , j) (i,j) 将第 i i i 行…...

编程日记 2023/10/25 0:51:23

http post协议实现简单的rpc协议，WireShark抓包分析

文章目录 1.http 客户端-RPC客户端1.http 服务端-RPC服务端3.WireShark抓包分析3.1客户端到服务端的HTTP/JSON报文3.2服务端到客户端的HTTP/JSON报文 1.http 客户端-RPC客户端 import json import requests# 定义 RPC 客户端类 class RPCClient:def __init__(self, server_url…...

编程日记 2023/10/25 0:50:22

1024程序员节

一年一年真快啊&#xff0c;...

编程日记 2023/10/25 0:49:21

嵌入式---＞怎样选择编译语言，C C++或是Rust?

C 老牌语言&#xff0c;不可替代&#xff0c;速度和资源占用都是嵌入式领域着重考虑的 Rust 作为新生语言&#xff0c;已经成长到可以和C进行竞争的地步&#xff0c;不论是速度还是资源占用看&#xff0c;还是安全性 C 嵌入式开发使用C的思想&#xff0c;可以极大地简化代码&am…...

编程日记 2023/10/25 0:48:20

一起学数据结构(12)——归并排序的实现

1. 归并排序原理&#xff1a; 归并排序的大概原理如下图所示&#xff1a; 从图中可以看出&#xff0c;归并排序的整体思路就是把已给数组不断分成左右两个区间&#xff0c;当这个区间中的数据数量到达一定数值时&#xff0c;便返回去进行排序&#xff0c;整体的结构类似二叉树…...

编程日记 2023/10/25 0:47:18

读书笔记之《敏捷测试从零开始》(一)

大家好&#xff0c;我是rainbowzhou。 子曰&#xff1a;学而时习之&#xff0c;不亦说乎&#xff1f;今天我想和大家分享一本测试书籍——《敏捷测试从零开始》。以下为我的读书笔记&#xff1a; 精彩片段摘录&#xff1a; 焦虑往往来自于对比&#xff0c;当你在自己的圈子里面…...

编程日记 2023/10/25 0:46:18

视频亮度太低了，如何调高

充足、均匀、稳定的光亮对于视频制作是至关重要的&#xff0c;在现实生活中&#xff0c;不可预见的天气变化和拍摄地方的阴暗常常给我们留下暗淡无光的视频片段。 如果你的视频太暗想知道如何使它变亮&#xff0c;且又不知道使用哪个工具&#xff0c;那你无需担心&#xff0c;因…...

编程日记 2023/10/25 0:45:17

Xubuntu16.04系统中安装create_ap创建无线AP

1.背景说明 在Xubuntu16.04系统的设备上安装无线WIFI模块后&#xff0c;想通过设备自身的无线AP&#xff0c;进行和外部设备的连接&#xff0c;需要安装create_ap软件&#xff0c;并设置无线AP的名称和密码&#xff0c;并设置为开机自启动。 create_ap是一个用于在Linux系统上创…...

编程日记 2023/10/25 0:44:14

WPF 设置全局静态参数

可以使用system官方库来设置参数 引入system xmlns:system"clr-namespace:System;assemblymscorlib"设置参数资源 <Window.Resources><system:Double x:Key"ButtonWidth">90</system:Double></Window.Resources>使用参数资源 &l…...

编程日记 2023/10/25 0:43:14

Leetcode链表问题汇总

目录 [2. 两数相加](https://leetcode.cn/problems/add-two-numbers/)[206. 反转链表](https://leetcode.cn/problems/reverse-linked-list/)[206. 反转链表 II](https://leetcode.cn/problems/reverse-linked-list-ii/)[19. 删除链表的倒数第 N 个结点](https://leetcode.cn/p…...

编程日记 2023/10/25 0:42:12

基于卷的磁盘扫描算法设计

1、设计目的 常规情况下&#xff0c;当我们扫描计算机的硬盘时&#xff0c; 通常会使用诸如FindFirstFile/FindNextFile(Windows)&#xff0c;或者opendir/readdir(Linux)遍历扫描的目录。 一般情形下&#xff0c;由于文件数量相对较少&#xff0c;文件夹层次低&#xff0c;扫…...

编程日记 2023/10/25 0:41:11

Topit：5倍提升多任务效率的macOS窗口置顶神器

Topit&#xff1a;5倍提升多任务效率的macOS窗口置顶神器 【免费下载链接】Topit Pin any window to the top of your screen / 在Mac上将你的任何窗口强制置顶 项目地址: https://gitcode.com/gh_mirrors/to/Topit Topit是一款专为macOS用户设计的开源窗口管理工具&…...

编程新知 2026/4/6 17:51:35

Vue多文件学习项目综合案例——面经基础版，黑马vue教程

文章目录一、项目截图二、主要知识点三、main.js四、App.vue五、viewsArticle.vueArticleDetail.vueCollect.vueLayout.vueLike.vueUser.vuerouterindex.js一、项目截图 二、主要知识点 路由跳转路由传参缓存组件&#xff1a;keep-alive 三、main.js import Vue from vue im…...

编程新知 2026/4/6 17:29:29

ColorControl：为什么你的显示器色彩总是不对劲？深度解析开源显示控制工具

ColorControl&#xff1a;为什么你的显示器色彩总是不对劲&#xff1f;深度解析开源显示控制工具 【免费下载链接】ColorControl Easily change NVIDIA display settings and/or control LG TVs 项目地址: https://gitcode.com/gh_mirrors/co/ColorControl 你是否曾为不…...

编程新知 2026/4/6 17:15:27

开源成就管理神器：SteamAchievementManager的全方位问题解决方案

开源成就管理神器&#xff1a;SteamAchievementManager的全方位问题解决方案 【免费下载链接】SteamAchievementManager A manager for game achievements in Steam. 项目地址: https://gitcode.com/gh_mirrors/st/SteamAchievementManager 在游戏体验中&#xff0c;玩家…...

编程新知 2026/4/6 16:59:16

别只盯着表达量！单基因功能挖掘：LinkedOmics相关性分析与STRING互作网络实战指南

单基因功能深度挖掘&#xff1a;从相关性分析到互作网络的系统研究策略 在生物医学研究中&#xff0c;单基因分析往往被简化为差异表达检验&#xff0c;这种局限视角可能掩盖了基因在复杂生物网络中的多维作用。当我们在TCGA数据中发现某个基因在特定癌症中表达异常时&#xff…...

编程新知 2026/4/6 16:47:12

SenseVoice-small轻量优势：模型加载时间＜2秒，首字响应＜800ms

SenseVoice-small轻量优势&#xff1a;模型加载时间&#xff1c;2秒&#xff0c;首字响应&#xff1c;800ms 1. 引言&#xff1a;当语音识别遇上“秒开”体验 想象一下这个场景&#xff1a;你正在一个网络信号极差的山区&#xff0c;或者在一台没有独立显卡的旧电脑上&#x…...

编程新知 2026/4/6 16:22:53

HOJ部署进阶：绕过宝塔，用Nginx反向代理直接配置Docker服务的域名与HTTPS

HOJ部署进阶&#xff1a;Nginx反向代理直连Docker服务的全手动配置指南 当你在服务器上运行HOJ在线判题系统时&#xff0c;是否厌倦了依赖宝塔面板这类图形化工具&#xff1f;本文将带你深入探索完全通过命令行配置Nginx反向代理和HTTPS的全过程&#xff0c;实现从域名解析到安…...

编程新知 2026/4/6 15:28:23

DeepAnalyze模型量化部署实战：减小50%显存占用

DeepAnalyze模型量化部署实战&#xff1a;减小50%显存占用 1. 引言 你是不是遇到过这样的情况&#xff1a;好不容易找到一个强大的AI模型&#xff0c;比如最近很火的DeepAnalyze数据分析大模型&#xff0c;结果发现自己的显卡根本跑不起来&#xff1f;8GB显存的消费级显卡只能…...

编程新知 2026/4/6 14:07:42

从“能用”到“精准”：Halcon相机内参标定后的参数验证与实战应用指南

从“能用”到“精准”&#xff1a;Halcon相机内参标定后的参数验证与实战应用指南 当你完成Halcon相机内参标定&#xff0c;生成了那个看似完美的参数文件时&#xff0c;真正的挑战才刚刚开始。很多开发者会陷入"标定完成即大功告成"的误区&#xff0c;却不知未经验证…...

编程新知 2026/4/6 13:22:59

Seldon Core 2与Triton推理服务器集成：高性能GPU推理实战指南 [特殊字符]

Seldon Core 2与Triton推理服务器集成&#xff1a;高性能GPU推理实战指南 &#x1f680; 【免费下载链接】seldon-core An MLOps framework to package, deploy, monitor and manage thousands of production machine learning models 项目地址: https://gitcode.com/gh_mirr…...

编程新知 2026/4/6 12:54:23