spark Structured报错解决
报错，不想看原因的直接去解决方案试试
Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadata from hdfs://master:8020/C:/Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadata is not a valid DFS filename.at org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:197)at org.apache.hadoop.hdfs.DistributedFileSystem.access$000(DistributedFileSystem.java:106)at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java:1305)at org.apache.hadoop.hdfs.DistributedFileSystem$22.doCall(DistributedFileSystem.java:1301)at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1317)at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1426)at org.apache.spark.sql.execution.streaming.StreamMetadata$.read(StreamMetadata.scala:51)at org.apache.spark.sql.execution.streaming.StreamExecution.<init>(StreamExecution.scala:122)at org.apache.spark.sql.execution.streaming.MicroBatchExecution.<init>(MicroBatchExecution.scala:49)at org.apache.spark.sql.streaming.StreamingQueryManager.createQuery(StreamingQueryManager.scala:258)at org.apache.spark.sql.streaming.StreamingQueryManager.startQuery(StreamingQueryManager.scala:299)at org.apache.spark.sql.streaming.DataStreamWriter.start(DataStreamWriter.scala:296)at com.gugu.book.basespark.chapter08.StructuredNetworkWordCount$.main(StructuredNetworkWordCount.scala:25)at com.gugu.book.basespark.chapter08.StructuredNetworkWordCount.main(StructuredNetworkWordCount.scala)
看报错信息好像是要赋权，路径不存在，但是这个路径有点古怪
hdfs://master:8020/C:/Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadata is not a valid DFS filename
按道理不应该出现C:/。。。。这个是我本地的一个地址，但是却拼接到了hdfs文件系统下，应该是什么配置的有问题
顺着报错信息
只需要checkpointRoot修改就行这个地址来源于checkpointLocation
org.apache.spark.sql.streaming.StreamingQueryManager#createQuery
也就是说直接改变“checkpointLocation”的值就行
解决方案
在start之前设置
.option("checkpointLocation", "file:///D:\\applicationfiles\\data\\kafka")
解决，完美
环境问题，在windows下有些默认配置会失效
相关文章：
spark Structured报错解决
报错，不想看原因的直接去解决方案试试 Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadata from hdfs://master:8020/C…...
Matter 协议系列：发现
Commissionable 发现 Commissionable 发现发生在投入使用（未绑定）之前，指的是发现和识别Commissionable 节点的过程。有三种方法可以通过这些方法中的任何一种来 广播Commissionable 的节点： 蓝牙低功耗（BLEÿ…...
Oracle 12c Docker镜像配置SSL
一、Docker运行Oracle 12c服务 a.拉取镜像 docker pull truevoly/oracle-12cb.运行 docker run -d -p 1521:1521 -p 2484:2484 -v /data/oracle/:/opt/oracle --name oracle_12c truevoly/oracle-12cc.查看日志 docker logs -f oracle_12cd.出现如下信息，则启动…...
版本控制系统git：一文了解git，以及它在生活中的应用，网站维护git代码，图导，自动化部署代码
目录 1.Git是什么 2.git在生活中的应用 2.1git自动化部署代码 3.网站维护git代码 3.1如何在Git代码托管平台等上创建一个仓库 3.2相关文章 4.ruby实现基础git 4.1.Git add 4.2 Git commit 4.3 Git log 1.Git是什么 Git是一个版本控制系统，它可以追踪文件的…...
uqrcode+uni-app 微信小程序生成二维码
使用微信小程序需要弹出动态二维码的需求，从插件市场选了一个下载次数较多的组件引入到项目中uqrcode，使用步骤如下： 1、从插件市场下载 插件地址：https://ext.dcloud.net.cn/plugin?id1287，若你是跟我一样是用uni-…...
从零开始的 MyBatis 拦截器之旅：实战经验分享
文章目录 MyBatis拦截器可以做什么？Mybatis核心对象介绍四大核心对象如何实现？接口讲解Interceptor接口intercept方法plugin方法setProperties 完整SQL打印拦截器实战拦截器实现拦截器注册 MyBatis拦截器可以做什么？ MyBatis拦截器是MyBatis…...
网络编程day05（IO多路复用）
今日任务： TCP多路复用的客户端、服务端： 服务端代码： #include <stdio.h> #include <sys/types.h> #include <sys/socket.h> #include <arpa/inet.h> #include <netinet/in.h> #include <unistd.h> …...
人声分离网站，帮你快速提取视频中的人声和背景音乐
今天给大家带来一个可以分离人声的网站——音分轨，他运用人工智能算法可以将音频中的人声部分和音乐部分分离，使我们的视频制作过程可以更方便。 我们点击右下角“选择文件”上传一个音频，上传好音频后，人工智能就开始处理我们上传…...
计算机网络常见问题
1.谈一谈对OSI七层模型和TCP/IP四层模型的理解？ 1.1.为什么要分层？ 在计算机中网络是个复杂的系统，不同的网络与网络之间由于协议，设备，软件等各种原因在协调和通讯时容易产生各种各样的问题。例如：各物流…...
上PICO，沉浸式观看亚运直播，参与跨国界游戏竞技
备受瞩目的杭州第19届亚运会，将于9月23日正式开幕。据悉，这也是有史以来项目最多的一届亚运会，除部分传统奥运项目外，还包含武术、藤球、板球、克柔术、柔术等亚洲特色项目，以及霹雳舞、电子竞技等深受年轻人喜爱的新兴…...
无重复字符的最长子串 - 力扣（LeetCode）
3. 无重复字符的最长子串 - 力扣（LeetCode） 给定一个字符串 s ，请你找出其中不含有重复字符的 最长子串 的长度。 示例 1: 输入: s "abcabcbb" 输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长…...
企业行政许可的种类有哪些？
从行政许可的性质、功能和适用条件的角度来说，大体可以划分为五类：普通许可、特许、认可、核准、登记。 1.普通许可 普通许可是一种允许符合特定条件的相对方行使某种权利的行为。在许多情况下，需要普通许可的活动都与国家安全、公共安全息…...
Flink--4、DateStream API（执行环境、源算子、基本转换算子）
星光下的赶路人star的个人主页 注意力的集中，意象的孤立绝缘，便是美感的态度的最大特点 文章目录 1、DataStream API1.1 执行环境（Execution Environment）1.1.1 创建执行环境 1.2 执行模式（Execution Mode）…...
#循循渐进学51单片机#指针基础与1602液晶的初步认识#not.11
1、把本节课的指针相关内容，反复学习3到5遍，彻底弄懂指针是怎么回事，即使是死记硬背也要记住，等到后边用的时候可以实现顿悟。学会指针，就是突破了C语言的一道壁垒。 2，1602所有的指令功能都应用一遍&#…...
Lua学习笔记：探究package
前言 本篇在讲什么 理解Lua的package 本篇需要什么 对Lua语法有简单认知 对C语法有简单认知 依赖Visual Studio工具 本篇的特色 具有全流程的图文教学 重实践，轻理论，快速上手 提供全流程的源码内容 ★提高阅读体验★ 👉 ♠ 一级…...
【面试经典150 | 双指针】三数之和
文章目录 写在前面Tag题目来源题目解读解题思路方法一：暴力枚举方法二：双指针 写在最后 写在前面 本专栏专注于分析与讲解【面试经典150】算法，两到三天更新一篇文章，欢迎催更…… 专栏内容以分析题目为主，并附带一些对…...
现代卷积网络实战系列3：PyTorch从零构建AlexNet训练MNIST数据集
1、AlexNet AlexNet提出了一下5点改进： 使用了Dropout，防止过拟合使用Relu作为激活函数，极大提高了特征提取效果使用MaxPooling池化进行特征降维，极大提高了特征提取效果首次使用GPU进行训练使用了LRN局部响应归一化（…...
Django系列：Django应用（app）的创建与配置
Django系列 Django应用（app）的创建与配置 作者：李俊才 （jcLee95）：https://blog.csdn.net/qq_28550263 邮箱 ：291148484163.com 本文地址：https://blog.csdn.net/qq_28550263/article…...
Linux查看程序和动态库依赖的动态库
一. 前言 在一些时候，我们需要知道一个程序或者动态库所依赖的动态库有哪些。比如，当我们运行一个程序的时候，发现可能会报错，提示找不到某个符号，这时我们就需要知道程序依赖了什么库，从而添加对应需要的动…...
vue3 无法使用pnpm安装依赖 或 Cannot find module preinstall.js
创建.npmrc文件在根目录 shamefully-hoisttrue auto-install-peerstrue strict-peer-dependenciesfalse删除 node_modules 和 pnpm-lock.yaml 文件 重新 pnpm i 就可以啦...
深入浅出Asp.Net Core MVC应用开发系列-AspNetCore中的日志记录
ASP.NET Core 是一个跨平台的开源框架，用于在 Windows、macOS 或 Linux 上生成基于云的新式 Web 应用。 ASP.NET Core 中的日志记录 .NET 通过 ILogger API 支持高性能结构化日志记录，以帮助监视应用程序行为和诊断问题。 可以通过配置不同的记录提供程…...
React 第五十五节 Router 中 useAsyncError的使用详解
前言 useAsyncError 是 React Router v6.4 引入的一个钩子，用于处理异步操作（如数据加载）中的错误。下面我将详细解释其用途并提供代码示例。 一、useAsyncError 用途 处理异步错误：捕获在 loader 或 action 中发生的异步错误替…...
简易版抽奖活动的设计技术方案
1.前言 本技术方案旨在设计一套完整且可靠的抽奖活动逻辑，确保抽奖活动能够公平、公正、公开地进行，同时满足高并发访问、数据安全存储与高效处理等需求，为用户提供流畅的抽奖体验，助力业务顺利开展。本方案将涵盖抽奖活动的整体架构设计、核心流程逻辑、关键功能实现以及…...
线程同步：确保多线程程序的安全与高效！
全文目录： 开篇语前序前言第一部分：线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分：synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分ÿ…...
五年级数学知识边界总结思考-下册
目录 一、背景二、过程1.观察物体小学五年级下册“观察物体”知识点详解：由来、作用与意义**一、知识点核心内容****二、知识点的由来：从生活实践到数学抽象****三、知识的作用：解决实际问题的工具****四、学习的意义：培养核心素养…...
cf2117E
原题链接：https://codeforces.com/contest/2117/problem/E 题目背景： 给定两个数组a,b，可以执行多次以下操作：选择 i (1 < i < n - 1)，并设置 或，也可以在执行上述操作前执行一次删除任意 和 。求…...
ArcGIS Pro制作水平横向图例+多级标注
今天介绍下载ArcGIS Pro中如何设置水平横向图例。 之前我们介绍了ArcGIS的横向图例制作：ArcGIS横向、多列图例、顺序重排、符号居中、批量更改图例符号等等（ArcGIS出图图例8大技巧），那这次我们看看ArcGIS Pro如何更加快捷的操作。…...
Java多线程实现之Thread类深度解析
Java多线程实现之Thread类深度解析 一、多线程基础概念1.1 什么是线程1.2 多线程的优势1.3 Java多线程模型 二、Thread类的基本结构与构造函数2.1 Thread类的继承关系2.2 构造函数 三、创建和启动线程3.1 继承Thread类创建线程3.2 实现Runnable接口创建线程 四、Thread类的核心…...
九天毕昇深度学习平台 | 如何安装库？
pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子： 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...
网站指纹识别
网站指纹识别 网站的最基本组成：服务器（操作系统）、中间件（web容器）、脚本语言、数据厍 为什么要了解这些？举个例子：发现了一个文件读取漏洞，我们需要读/etc/passwd，如…...