记一次运行spark报错
提交spark任务运次报错
06/03 18:27:50 INFO Client: Setting up container launch context for our AM
25/06/03 18:27:50 INFO Client: Setting up the launch environment for our AM container
25/06/03 18:27:50 INFO Client: Preparing resources for our AM container
25/06/03 18:27:50 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
25/06/03 18:27:59 INFO Client: Uploading resource file:/tmp/spark-27957b63-3767-457f-a931-cc7f84917c3e/__spark_libs__545909112269949051.zip -> hdfs://everdc/user/hdfs/.sparkStaging/application_1748248020756_0040/__spark_libs__545909112269949051.zip
25/06/03 18:28:02 INFO Client: Uploading resource file:/opt/apps/everdc/spark_jars/everdc-stand-model-engine-spark-4.9.0.jar -> hdfs://everdc/user/hdfs/.sparkStaging/application_1748248020756_0040/everdc-stand-model-engine-spark-4.9.0.jar
25/06/03 18:28:02 INFO Client: Uploading resource file:/app/logs/model_run_2.json -> hdfs://everdc/user/hdfs/.sparkStaging/application_1748248020756_0040/model_run_2.json
25/06/03 18:28:02 INFO Client: Uploading resource file:/tmp/spark-27957b63-3767-457f-a931-cc7f84917c3e/__spark_conf__4210376678626642445.zip -> hdfs://everdc/user/hdfs/.sparkStaging/application_1748248020756_0040/__spark_conf__.zip
25/06/03 18:28:03 INFO SecurityManager: Changing view acls to: root,hdfs
25/06/03 18:28:03 INFO SecurityManager: Changing modify acls to: root,hdfs
25/06/03 18:28:03 INFO SecurityManager: Changing view acls groups to:
25/06/03 18:28:03 INFO SecurityManager: Changing modify acls groups to:
25/06/03 18:28:03 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root, hdfs); groups with view permissions: Set(); users with modify permissions: Set(root, hdfs); groups with modify permissions: Set()
25/06/03 18:28:03 INFO Client: Deleted staging directory hdfs://everdc/user/hdfs/.sparkStaging/application_1748248020756_0040
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String;)[Cat org.apache.spark.SSLOptions$.$anonfun$parse$8(SSLOptions.scala:194)at scala.Option.orElse(Option.scala:447)at org.apache.spark.SSLOptions$.parse(SSLOptions.scala:194)at org.apache.spark.SecurityManager.<init>(SecurityManager.scala:98)at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:1137)at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:220)at org.apache.spark.deploy.yarn.Client.run(Client.scala:1327)at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1764)
报错中org.apache.hadoop.conf.Configuration.getPassword，这个方法找不到，hadoop在2.7以上版本中才有这个方法，查看运行hadoop环境hadoop是2.4.5的版本的，升级到hadoop2.7后正常
相关文章：
记一次运行spark报错
提交spark任务运次报错 06/03 18:27:50 INFO Client: Setting up container launch context for our AM 25/06/03 18:27:50 INFO Client: Setting up the launch environment for our AM container 25/06/03 18:27:50 INFO Client: Preparing resources for our AM container …...
12-Oracle 23ai Vector 使用ONNX模型生成向量嵌入
一、Oracle 23ai Vector Embeddings 核心概念 向量嵌入（Vector Embeddings） -- 将非结构化数据（文本/图像）转换为数值向量 - - 捕获数据的语义含义而非原始内容 - 示例："数据库" → [0.24, -0.78, 0.5…...
2. 库的操作
2.1 创建数据库 语法： CREATE DATABASE [IF NOT EXISTS] db_name [create_specification [, create_specification] ...] create_specification: [DEFAULT] CHARACTER SET charset_name # 字符集: 存储编码 [DEFAULT] COLLATE collation_name # 校验集: 比较/选择/读…...
pytorch 与 张量的处理
系列文章目录 文章目录 系列文章目录一、Tensor 的裁剪二、Tensor 的索引与数据筛选torch.wheretorch.indicestorch.gathertorch.masked_selecttorch.taketorch.nonzero（省略） 三、Tensor 的组合与拼接torch.cattorch.stack 四、Tensor的切片chunksplit …...
layer norm和 rms norm 对比
Layer norm # Layer Norm 公式 mean x.mean(dim-1, keepdimTrue) var x.var(dim-1, keepdimTrue) output (x - mean) / sqrt(var eps) * gamma beta特点： 减去均值（去中心化）除以标准差（标准化）包含可学习参数 …...
Java高级 | 【实验六】Springboot文件上传和下载
隶属文章：Java高级 | （二十二）Java常用类库-CSDN博客 系列文章：Java高级 | 【实验一】Springboot安装及测试 |最新-CSDN博客 Java高级 | 【实验二】Springboot 控制器类相关注解知识-CSDN博客 Java高级 | 【实验三】Springboot 静…...
RKNN开发环境搭建1-基于Ubuntu 18.04系统使用Docker安装rknn-toolkit2
目录 写在最前面Docker 方式安装rknn-toolkit2写在最前面 瑞芯微在RKNN的环境搭建方面的资料很多，但是在搭建过程中发现很多问题教程中并未提及，对初学者不友好。所以博主做了这个系列的文章，从开始搭建环境到对于RKNN Model Zoo的示例进行实践，希望能对初学者有帮助。坚持…...
qt使用笔记二：main.cpp详解
Qt中main.cpp文件详解 main.cpp是Qt应用程序的入口文件，包含程序的启动逻辑。下面我将详细解析其结构和功能。 基本结构 一个典型的Qt main.cpp 文件结构如下： #include <QApplication> // 或者 QGuiApplication/QCoreApplication #include &…...
VBA进度条ProgressForm1
上一章《VBA如何使用ProgressBar进度条控件》介绍了ProgressBar控件的使用方法，今天我给大家介绍ProgressForm1进度条的使用方法，ProgressForm1是集成ProgressBar控件和Label控件的窗体，可以同时显示进度条和百分比，如下图&#x…...
行为型设计模式之Interpreter（解释器）
行为型设计模式之Interpreter（解释器） 前言： 自己的话理解：自定义一个解释器用来校验参数或数据是否合法。 1）意图 给定一个语言，定义它的文法的一种表示，并定义一个解释器，这个解…...
深入解析 CAS 操作
一、CAS 的本质：硬件级别的乐观锁 CAS（Compare-And-Swap，比较并交换） 是一种原子操作指令，用于实现对共享变量的无锁并发修改。它是现代多核处理器支持的底层硬件指令，也是构建高效并发数据结构࿰…...
vue3+TS+eslint9配置
记录eslint升级到9.x的版本之后遇到的坑 在 ESLint 9 中，配置方式发生了变化。Flat Config 格式（eslint.config.js 或 .ts）不再支持 extensions 选项。所以vscode编辑器中的 extensions 需要注释掉，要不然保存的时候不会格式化。…...
【bug】Error: /undefinedfilename in (/tmp/ocrmypdf.io.9xfn1e3b/origin.pdf)
在使用ocrmypdf的时候，需要Ghostscript9.55及以上的版本，但是ubuntu自带为9.50 然后使用ocrmypdf报错了 sudo apt update sudo apt install ghostscript gs --version 9.50 #版本不够安装的版本为9.50不够，因此去官网https://ghostscript.c…...
HarmonyOS5.0——CodeGenie：鸿蒙生态的AI编程革命
CodeGenie：鸿蒙生态的AI编程革命 华为推出的 CodeGenie 是集成于 DevEco Studio 的 AI 辅助编程工具，专为 HarmonyOS 应用开发设计。它通过深度优化 ArkTS 和 C 语言的代码生成能力，显著提升开发效率，降低鸿蒙生…...
【Dv3Admin】系统视图字典管理API文件解析
业务系统中静态数据管理常被忽视，但它直接影响到扩展性与维护效率。字典模块通过集中管理各类基础数据，避免硬编码，使系统具备更高的灵活性和适配能力，成为后台管理平台的重要基础组件。 文章解析 dvadmin/system/views/dictiona…...
免费 SecureCRT8.3下载、安装、注册、使用与设置
参考：SecureCRT 8.3中文 安装教程 - Hope - 博客园...
Redis ：String类型
String类型 String是Redis中的字符串，是Redis中最基本的数据类型，直接是按照二进制数据的进行存储 Redis中的所有key都是String类型，但是value是有差别的 常见的命令 set 将String类型的value存储到key中，如果之间有相同的ke…...
两种Https正向代理的实现原理
正向代理 HTTPS 主要有两种方案，分别是基于证书的解密与再加密方案和基于 HTTP CONNECT 隧道的方案，以下是这两种方案的具体信息： 一、基于证书的解密与再加密方案 原理 工作原理：代理服务器拥有自己的证书，客户端需…...
第18节 Node.js Web 模块
什么是 Web 服务器？ Web服务器一般指网站服务器，是指驻留于因特网上某种类型计算机的程序。 Web服务器的基本功能就是提供Web信息浏览服务。它只需支持HTTP协议、HTML文档格式及URL，与客户端的网络浏览器配合。 大多数web服务器都支持服务…...
网络爬虫一课一得
网页爬虫（Web Crawler）是一种自动化程序，通过模拟人类浏览行为，从互联网上抓取、解析和存储网页数据。其核心作用是高效获取并结构化网络信息，为后续分析和应用提供数据基础。以下是其详细作用和用途方向： …...
LeetCode--24.两两交换链表中的结点
解题思路： 1.获取信息： 给了一个链表，要求两两一组地交换位置 限定条件：只能进行结点交换，不能修改结点内部的值 额外条件：结点数在0-100的范围，闭区间 2.分析题目：…...
嵌入式SDK技术EasyRTC音视频实时通话助力即时通信社交/教育等多场景创新应用
一、引言 在数字化时代，即时通信已成为人们生活和工作中不可或缺的部分。音视频功能作为即时通信的核心，能实现更加直观、高效的信息传递。EasyRTC作为一款强大的实时通信框架，具备诸多优势，为即时通信的音视频应用提供了优质解…...
IDEA集成JRebel插件，实现实时热部署
系列文章目录 文章目录 系列文章目录一、JRebel是什么？1.1、对比传统开发流程1.2、JRebel特性以及优势 二、IDEA集成JRebel三、IDEA以JRebel运行报错处理四、IDEA以JRebel运行演示实时热部署 一、JRebel是什么？ JRebel 是一款针对 Java 开发的热部署工具…...
1-3 Linux-虚拟机（2025.6.7学习篇- mac版本）
1、VMware Fusion下载 在windows系统中使用的VMwareWorkStation未提供Mac版，Mac系统可以使用VMwareFusionPro FusionPro和WorkstationPro均是VMware公司出品，完全兼容，体验基本是一致的。 下载地址：https://www.vmware.com/cn/pro…...
如何打造一款金融推理工具Financial Reasoning Workflow：WebUI+Ollama+Fin-R1+MCP/RAG
在之前的文章中，我探讨了如何使用具身人工智能，让大语言模型智能体来模仿[当今著名对冲基金经理的投资策略]。 在本文中，我将探讨另一种方法，该方法结合了经过金融推理训练的特定大语言模型（LLM）࿰…...
才生效的原因)
mybatis的if判断==‘1‘不生效，改成‘1‘.toString()才生效的原因
mybatis的xml文件中的if判断‘1’不生效，改成’1’.toString()才生效 Mapper接口传入的参数 List<Table> queryList(Param("state") String state);xml内容 <where><if test"state ! null and state 1">AND EXISTS(select…...
【试卷篇】Spring面试试卷题
一、选择题 1. 下面关于AOP的说法错误的是（ C）。 A．AOP将散落在系统中的“方面”代码集中实现 B．AOP有助于提高系统的可维护性 C．AOP已经表现出了将要替代面向对象的趋势 D．AOP是一种设计模式，…...
通过阿里云 DashScope API 调用通义千问
获取API Key 百炼控制台https://bailian.console.aliyun.com/?tabmodel#/api-key 步骤 1：安装 DashScope SDK pip install dashscope 步骤 2：LangChain 调用 from langchain_community.llms import Tongyi# 设置阿里云 API Key（从环境变…...
Go 中 map 的双值检测写法详解
Go 中 map 的双值检测写法详解 在 Go 中，if char, exists : pairs[s[i]]; exists { 是一种利用 Go 语言特性编写的优雅条件语句，用于检测 map 中是否存在某个键。让我们分解解释这种写法： 语法结构解析 if value, ok : mapVariable[key]; …...
大故障：阿里云核心域名爆炸了
大故障：阿里云核心域名被拖走了 今天早上许多群里出现网站故障的讨论，比如 cnblogs 全国访问一片红，一看原来是阿里云又出故障了。 今天早上许多群里出现网站故障的讨论，比如 cnblogs 全国访问一片红，一看原来是阿里云…...