spark Structured报错解决
报错，不想看原因的直接去解决方案试试
Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadata from hdfs://master:8020/C:/Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadata is not a valid DFS filename.at org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:197)at org.apache.hadoop.hdfs.DistributedFileSystem.access$000(DistributedFileSystem.java:106)at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java:1305)at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java:1301)at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1317)at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1426)at org.apache.spark.sql.execution.streaming.StreamMetadata$.read(StreamMetadata.scala:51)at org.apache.spark.sql.execution.streaming.StreamExecution.<init>(StreamExecution.scala:122)at org.apache.spark.sql.execution.streaming.MicroBatchExecution.<init>(MicroBatchExecution.scala:49)at org.apache.spark.sql.streaming.StreamingQueryManager.createQuery(StreamingQueryManager.scala:258)at org.apache.spark.sql.streaming.StreamingQueryManager.startQuery(StreamingQueryManager.scala:299)at org.apache.spark.sql.streaming.DataStreamWriter.start(DataStreamWriter.scala:296)at com.gugu.book.basespark.chapter08.StructuredNetworkWordCount$.main(StructuredNetworkWordCount.scala:25)at com.gugu.book.basespark.chapter08.StructuredNetworkWordCount.main(StructuredNetworkWordCount.scala)
看报错信息好像是要赋权，路径不存在，但是这个路径有点古怪
hdfs://master:8020/C:/Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadata is not a valid DFS filename
按道理不应该出现C:/。。。。这个是我本地的一个地址，但是却拼接到了hdfs文件系统下，应该是什么配置的有问题
顺着报错信息
只需要checkpointRoot修改就行这个地址来源于checkpointLocation
org.apache.spark.sql.streaming.StreamingQueryManager#createQuery
也就是说直接改变“checkpointLocation”的值就行
解决方案
在start之前设置
.option("checkpointLocation", "file:///D:\\applicationfiles\\data\\kafka")
解决，完美
环境问题，在windows下有些默认配置会失效
相关文章：
spark Structured报错解决
报错，不想看原因的直接去解决方案试试 Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadata from hdfs://master:8020/C…...
Matter 协议系列：发现
Commissionable 发现 Commissionable 发现发生在投入使用（未绑定）之前，指的是发现和识别Commissionable 节点的过程。有三种方法可以通过这些方法中的任何一种来 广播Commissionable 的节点： 蓝牙低功耗（BLEÿ…...
Oracle 12c Docker镜像配置SSL
一、Docker运行Oracle 12c服务 a.拉取镜像 docker pull truevoly/oracle-12cb.运行 docker run -d -p 1521:1521 -p 2484:2484 -v /data/oracle/:/opt/oracle --name oracle_12c truevoly/oracle-12cc.查看日志 docker logs -f oracle_12cd.出现如下信息，则启动…...
版本控制系统git：一文了解git，以及它在生活中的应用，网站维护git代码，图导，自动化部署代码
目录 1.Git是什么 2.git在生活中的应用 2.1git自动化部署代码 3.网站维护git代码 3.1如何在Git代码托管平台等上创建一个仓库 3.2相关文章 4.ruby实现基础git 4.1.Git add 4.2 Git commit 4.3 Git log 1.Git是什么 Git是一个版本控制系统，它可以追踪文件的…...
uqrcode+uni-app 微信小程序生成二维码
使用微信小程序需要弹出动态二维码的需求，从插件市场选了一个下载次数较多的组件引入到项目中uqrcode，使用步骤如下： 1、从插件市场下载 插件地址：https://ext.dcloud.net.cn/plugin?id1287，若你是跟我一样是用uni-…...
从零开始的 MyBatis 拦截器之旅：实战经验分享
文章目录 MyBatis拦截器可以做什么？Mybatis核心对象介绍四大核心对象如何实现？接口讲解Interceptor接口intercept方法plugin方法setProperties 完整SQL打印拦截器实战拦截器实现拦截器注册 MyBatis拦截器可以做什么？ MyBatis拦截器是MyBatis…...
网络编程day05（IO多路复用）
今日任务： TCP多路复用的客户端、服务端： 服务端代码： #include <stdio.h> #include <sys/types.h> #include <sys/socket.h> #include <arpa/inet.h> #include <netinet/in.h> #include <unistd.h> …...
人声分离网站，帮你快速提取视频中的人声和背景音乐
今天给大家带来一个可以分离人声的网站——音分轨，他运用人工智能算法可以将音频中的人声部分和音乐部分分离，使我们的视频制作过程可以更方便。 我们点击右下角“选择文件”上传一个音频，上传好音频后，人工智能就开始处理我们上传…...
计算机网络常见问题
1.谈一谈对OSI七层模型和TCP/IP四层模型的理解？ 1.1.为什么要分层？ 在计算机中网络是个复杂的系统，不同的网络与网络之间由于协议，设备，软件等各种原因在协调和通讯时容易产生各种各样的问题。例如：各物流…...
上PICO，沉浸式观看亚运直播，参与跨国界游戏竞技
备受瞩目的杭州第19届亚运会，将于9月23日正式开幕。据悉，这也是有史以来项目最多的一届亚运会，除部分传统奥运项目外，还包含武术、藤球、板球、克柔术、柔术等亚洲特色项目，以及霹雳舞、电子竞技等深受年轻人喜爱的新兴…...
无重复字符的最长子串 - 力扣（LeetCode）
3. 无重复字符的最长子串 - 力扣（LeetCode） 给定一个字符串 s ，请你找出其中不含有重复字符的 最长子串 的长度。 示例 1: 输入: s "abcabcbb" 输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长…...
企业行政许可的种类有哪些？
从行政许可的性质、功能和适用条件的角度来说，大体可以划分为五类：普通许可、特许、认可、核准、登记。 1.普通许可 普通许可是一种允许符合特定条件的相对方行使某种权利的行为。在许多情况下，需要普通许可的活动都与国家安全、公共安全息…...
Flink--4、DateStream API（执行环境、源算子、基本转换算子）
星光下的赶路人star的个人主页 注意力的集中，意象的孤立绝缘，便是美感的态度的最大特点 文章目录 1、DataStream API1.1 执行环境（Execution Environment）1.1.1 创建执行环境 1.2 执行模式（Execution Mode）…...
#循循渐进学51单片机#指针基础与1602液晶的初步认识#not.11
1、把本节课的指针相关内容，反复学习3到5遍，彻底弄懂指针是怎么回事，即使是死记硬背也要记住，等到后边用的时候可以实现顿悟。学会指针，就是突破了C语言的一道壁垒。 2，1602所有的指令功能都应用一遍&#…...
Lua学习笔记：探究package
前言 本篇在讲什么 理解Lua的package 本篇需要什么 对Lua语法有简单认知 对C语法有简单认知 依赖Visual Studio工具 本篇的特色 具有全流程的图文教学 重实践，轻理论，快速上手 提供全流程的源码内容 ★提高阅读体验★ 👉 ♠ 一级…...
【面试经典150 | 双指针】三数之和
文章目录 写在前面Tag题目来源题目解读解题思路方法一：暴力枚举方法二：双指针 写在最后 写在前面 本专栏专注于分析与讲解【面试经典150】算法，两到三天更新一篇文章，欢迎催更…… 专栏内容以分析题目为主，并附带一些对…...
现代卷积网络实战系列3：PyTorch从零构建AlexNet训练MNIST数据集
1、AlexNet AlexNet提出了一下5点改进： 使用了Dropout，防止过拟合使用Relu作为激活函数，极大提高了特征提取效果使用MaxPooling池化进行特征降维，极大提高了特征提取效果首次使用GPU进行训练使用了LRN局部响应归一化（…...
Django系列：Django应用（app）的创建与配置
Django系列 Django应用（app）的创建与配置 作者：李俊才 （jcLee95）：https://blog.csdn.net/qq_28550263 邮箱 ：291148484163.com 本文地址：https://blog.csdn.net/qq_28550263/article…...
Linux查看程序和动态库依赖的动态库
一. 前言 在一些时候，我们需要知道一个程序或者动态库所依赖的动态库有哪些。比如，当我们运行一个程序的时候，发现可能会报错，提示找不到某个符号，这时我们就需要知道程序依赖了什么库，从而添加对应需要的动…...
vue3 无法使用pnpm安装依赖 或 Cannot find module preinstall.js
创建.npmrc文件在根目录 shamefully-hoisttrue auto-install-peerstrue strict-peer-dependenciesfalse删除 node_modules 和 pnpm-lock.yaml 文件 重新 pnpm i 就可以啦...
如何安全升级Cura软件版本：从风险规避到价值创造的全流程指南
如何安全升级Cura软件版本：从风险规避到价值创造的全流程指南 【免费下载链接】Cura 3D printer / slicing GUI built on top of the Uranium framework 项目地址: https://gitcode.com/gh_mirrors/cu/Cura UltiMaker Cura作为全球最受欢迎的3D打印切片软件&…...
微软服软！被骂5年的Win11将被“整改”：告别强制更新、减少Copilot、任务栏摆放自由
整理 | 屠敏出品 | CSDN（ID：CSDNnews）Windows 11 自 2021 年发布以来，因任务栏功能缩水、UI 不统一、强制网络登录以及更高的硬件门槛，成为用户集中吐槽的焦点。再加上近来微软猛推 AI 功能，Copilot 的入口…...
强强联合！望石智慧携手华为、华鲲振宇发布AI药物研发联合解决方案，共筑中国智慧医药创新生态
近日，以“因聚而升 融智有为”为主题的华为中国合作伙伴大会2026在深圳圆满落幕。望石智慧作为其国内AI驱动医药创新领域的核心技术伙伴受邀参会，并在智能制造医药行业论坛发表演讲。会议期间，望石智慧、华为、华鲲振宇三方达成战略级生态合作…...
智能内容解锁工具：5分钟掌握付费墙突破技巧
智能内容解锁工具：5分钟掌握付费墙突破技巧 【免费下载链接】bypass-paywalls-chrome-clean 项目地址: https://gitcode.com/GitHub_Trending/by/bypass-paywalls-chrome-clean 在数字信息时代，优质内容常被付费墙阻隔，而bypass-payw…...
ChezScheme测试性能优化：从53分钟到8分钟的效率跃迁
ChezScheme测试性能优化：从53分钟到8分钟的效率跃迁 【免费下载链接】ChezScheme Chez Scheme 项目地址: https://gitcode.com/gh_mirrors/ch/ChezScheme 一、痛点分析：串行测试的性能瓶颈 识别测试效率问题 在软件开发迭代过程中，…...
如何5步完成Unity游戏模组加载：MelonLoader终极指南
如何5步完成Unity游戏模组加载：MelonLoader终极指南 【免费下载链接】MelonLoader The Worlds First Universal Mod Loader for Unity Games compatible with both Il2Cpp and Mono 项目地址: https://gitcode.com/gh_mirrors/me/MelonLoader 想要为心爱的Un…...
Frida安装后别急着‘玩’！这5个必做的环境验证与排错步骤你做了吗？
Frida安装后必做的5个环境验证与排错步骤 当你兴冲冲地按照教程安装完Frida和Server，准备开始"玩耍"时，却发现frida-ps -U毫无反应，或者遇到各种连接失败的问题。这种"安装成功却用不了"的尴尬，往往源于环境…...
DeepSeek-OCR 2技术突破：动态视觉token重排效果展示
DeepSeek-OCR 2技术突破：动态视觉token重排效果展示 1. 引言 想象一下，当你阅读一份复杂的学术论文时，眼睛不会机械地从左上角扫到右下角，而是会自然地跳过标题、关注图表、追踪公式推导，甚至在不同的文本栏之间灵活…...
无限级数求和的Java实现与数学分析
本文旨在详细说明如何使用Java精确计算特定形式的无限级数 S -(2x)^2/2！ (2x)^4/4！ - (2x)^6/6！ ... 在指定区间 [0.1, 1.5] 内部和。我们将深入分析等级数的数学性质，推导其闭合形式，并在此基础上纠正原始Java代码…...
破解AutoDock Vina金属对接难题：3种专业方案实战深度解析
破解AutoDock Vina金属对接难题：3种专业方案实战深度解析 【免费下载链接】AutoDock-Vina AutoDock Vina 项目地址: https://gitcode.com/gh_mirrors/au/AutoDock-Vina AutoDock Vina作为最广泛使用的开源分子对接引擎之一，在处理含金属元素的蛋白…...