【spark】Exception in thread “main“ ExitCodeException exitCode=-1073741701
在window上运行spark程序写到本地文件的时候报错。
val rdd = sc.sparkContext.parallelize(list)val arr = rdd.collect()arr.foreach(println)rdd.saveAsTextFile("test1")sc.close()
错误信息:
zhangsan
lisi
wangwu
Exception in thread "main" ExitCodeException exitCode=-1073741701: at org.apache.hadoop.util.Shell.runCommand(Shell.java:1009)at org.apache.hadoop.util.Shell.run(Shell.java:902)at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1227)at org.apache.hadoop.util.Shell.execCommand(Shell.java:1321)at org.apache.hadoop.util.Shell.execCommand(Shell.java:1303)at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:777)at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:522)at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:562)
前提：
添加了HADOOP_HOME环境变量，指向了window的hadoop环境。
然后再运行程序的时候报错的。
运行时写本地window磁盘报错：Exception in thread “main” ExitCodeException exitCode=-1073741701:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:1009)
解决方法：
以下这些文件百度都可以搜的到，偷懒的就去下面资源文件下载，好像还在审核中。msvcr120.dll文件缺失
方法一：
现在大部分操作系统应该都是64位了，以下2个都放。
msvcr120文件夹中64位放C:\Windows\SysWOW64目录。
msvcr120文件夹中32位放C:\Windows\System32目录。方法二(大招)：
方法一仍然不行的话，就使用方法二:
安装vc++合集，直接运行安装。
MSVBCRT_AIO_2018.07.31_X86+X64.exe安装好后，运行正常。
相关资源链接：
https://download.csdn.net/download/wang6733284/89529247
相关文章：
【spark】Exception in thread “main“ ExitCodeException exitCode=-1073741701
在window上运行spark程序写到本地文件的时候报错。 val rdd sc.sparkContext.parallelize(list)val arr rdd.collect()arr.foreach(println)rdd.saveAsTextFile("test1")sc.close()错误信息: zhangsan lisi wangwu Exception in thread "main" ExitCode…...
数学建模美赛经验小结
图片资料来自网络所听讲座，感谢分享！...
)
206. 反转链表 (Swift 版本)
题目 给你单链表的头节点 head ，请你反转链表，并返回反转后的链表。 解题 /*** Definition for singly-linked list.* public class ListNode {* public var val: Int* public var next: ListNode?* public init() { self.val 0; self.…...
海狐外卖O2O商城系统：技术架构与运营模式的深度解析
摘要： 本文深入探讨了海狐外卖O2O商城系统的技术架构、功能特性以及运营模式。海狐外卖作为一款专注于细分市场领域的外卖餐饮解决方案，不仅拥有先进的技术栈支持，还通过丰富的系统插件和灵活的运营模式，为商户和用户提供高效、便…...
14-31 剑和诗人5 - 使用 AirLLM 和分层推理在单个 4GB GPU 上运行 LLama 3 70B
利用分层推理实现大模型语言(LLM) 大型语言模型 (LLM) 领域最近取得了显著进展，LLaMa 3 70B 等模型突破了之前认为可能实现的极限。然而，这些模型的庞大规模给其部署和实际使用带来了巨大挑战，尤其是在资源受限的设备上，例如内存…...
风景园林工程设计乙级资质业绩要求案例分析
项目数量与规模 数量要求：企业需要提供一定数量的已完成风景园林设计项目案例，这个数量可能依据具体政策而有所不同，但通常需要完成多个项目以展示设计团队的综合能力。 规模要求：项目规模需达到乙级资质标准所规定的级别&#…...
无人机之飞行规划与管理篇
无人机飞行规划与管理是确保无人机安全、高效且符合法规的运行的关键步骤。这一过程包括了对飞行任务的详细安排、航线的设定以及风险的评估和管理。下面简述这一过程的主要环节： 一、飞行目的和任务确定 在规划之初，必须明确无人机的飞行目的…...
realsense D435l+mid360标定
目录 一、安装realsense环境 二、获取realsense D450L相机内参 三、标定雷达和相机 1.下载livox_camera_calib 2.修改配置参数 3.使用fastlio生成点云 4.标定 一、安装realsense环境 git clone https://github.com/IntelRealSense/librealsense.git cd librealsense //更…...
深度学习中的正则化技术 - 数据集增强篇
序言 在机器学习与深度学习的广阔领域中，数据集的质量与规模往往是决定模型性能的关键因素之一。然而，现实世界中高质量、标注完善的数据集往往稀缺且获取成本高昂，这成为了制约算法进步的一大瓶颈。为了缓解这一问题，数据集增强…...
【Docker系列】Docker 镜像源：优化你的容器化开发流程
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...
【Linux】Windows环境下配置虚拟机静态IP
当前我们虚拟机的Linux操作系统，其IP地址是通过DHCP服务获取的。 DHCP:动态获取IP地址，即每闪重启设备后都会获取一次，可能导致IP地址频繁变更 原因1：办公电脑IP地址变化无所谓，但是我们要远程连接到Linux系统&#x…...
完美解决AttributeError: ‘list‘ object has no attribute ‘shape‘的正确解决方法，亲测有效！！！
完美解决AttributeError: ‘list‘ object has no attribute ‘shape‘的正确解决方法，亲测有效！！！ 亲测有效 完美解决AttributeError: ‘list‘ object has no attribute ‘shape‘的正确解决方法，亲测有效࿰…...
链接服务器“XX”的OLEDB访问接口“MSOLEDBSQL”返回了消息“登录超时已过期” 解决方法
目录 1. 问题所示2. 原理分析3. 解决方法1. 问题所示 出现如下问题： 与链接服务器的测试连接失败。执行Transact-SQL 语句或批处理时发生了异常。命名管道提供程序：无法打开与SQL SERVER的链接[53]链接服务器“XX”的OLEDB访问接口“MSOLEDBSQL”返回了消息“登录超时已过期…...
【AI伦理与社会责任】讨论人工智能在隐私保护、偏见消除、自动化对就业的影响等伦理和社会问题。
人工智能（AI）作为第四次产业革命的核心技术，在推动社会进步和经济发展的同时，也引发了一系列伦理和社会问题。以下从隐私保护、偏见消除以及自动化对就业的影响三个方面进行详细讨论。 一、隐私保护 人工智能技术的广泛应用涉及…...
Qt编程技巧小知识点（1）TCP缓存区数据读取
文章目录 Qt编程技巧小知识点（1）TCP缓存区数据读取小结 Qt编程技巧小知识点（1）TCP缓存区数据读取 TCP的socket对内存进行读取（使用socket->readall()）的时候输出的内容有时会进行局部倒置，其…...
vue 搭建 pinia
文章目录 环境设置存储读取数据【 storeToRefs】借助storeToRefs将store中的数据转为ref对象，方便在模板中使用【getters】当state中的数据，需要经过处理后再使用时，可以使用getters配置【$subscribe】通过 store 的 $subscribe() 方法侦听 s…...
什么是CLR
CLR，全称为Common Language Runtime，即公共语言运行时，是微软为.NET产品构建的运行环境，与Java的JVM（Java虚拟机）类似，可以看作是.NET的虚拟机。CLR的主要作用和特点如下： 主要作用…...
Spring MVC -01
Spring 的 MVC 框架 Spring的MVC框架是Spring框架的一部分，它提供了用于开发Web应用程序的一组组件和设计模式。MVC是Model-View-Controller的缩写，是一种设计模式，用于将应用程序的逻辑与用户界面分离。 在Spring的MVC框架中，Mo…...
山海鲸可视化——天地图画面和热力图
山海鲸引入天地图目前只有 iframe 的方式引入 首先我们创建一个文件夹 ——index.html ——index.js ——data.js 大家都是大佬，我就不详细介绍了，上代码都能看得懂 首先是index.html <!DOCTYPE html> <html lang"zh-CN"> <…...
Python 利用pandas处理CSV文件（DataFrame的基础用法）
前面介绍过通过Python标准库中的CSV模块处理CSV文件： Python 利用CSV模块处理数据 相比CSV模块，pandas的功能更加强大，本文将简单介绍如何通过pandas来处理CSV文件。 文章目录 一、pandas简介二、用法示例2.1 读取CSV文件2.1.1 read_csv参数…...
【力扣数据库知识手册笔记】索引
索引 索引的优缺点 优点1. 通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。2. 可以加快数据的检索速度（创建索引的主要原因）。3. 可以加速表和表之间的连接，实现数据的参考完整性。4. 可以在查询过程中，…...
2.Vue编写一个app
1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...
C# 类和继承(抽象类)
抽象类 抽象类是指设计为被继承的类。抽象类只能被用作其他类的基类。 不能创建抽象类的实例。抽象类使用abstract修饰符声明。 抽象类可以包含抽象成员或普通的非抽象成员。抽象类的成员可以是抽象成员和普通带 实现的成员的任意组合。抽象类自己可以派生自另一个抽象类。例…...
WordPress插件：AI多语言写作与智能配图、免费AI模型、SEO文章生成
厌倦手动写WordPress文章？AI自动生成，效率提升10倍！ 支持多语言、自动配图、定时发布，让内容创作更轻松！ AI内容生成 → 不想每天写文章？AI一键生成高质量内容！多语言支持 → 跨境电商必备&am…...
QT： `long long` 类型转换为 `QString` 2025.6.5
在 Qt 中，将 long long 类型转换为 QString 可以通过以下两种常用方法实现： 方法 1：使用 QString::number() 直接调用 QString 的静态方法 number()，将数值转换为字符串： long long value 1234567890123456789LL; …...
全面解析各类VPN技术：GRE、IPsec、L2TP、SSL与MPLS VPN对比
目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec？ IPsec VPN 5.1 IPsec传输模式（Transport Mode） 5.2 IPsec隧道模式（Tunne…...
基于matlab策略迭代和值迭代法的动态规划
经典的基于策略迭代和值迭代法的动态规划matlab代码，实现机器人的最优运输 Dynamic-Programming-master/Environment.pdf , 104724 Dynamic-Programming-master/README.md , 506 Dynamic-Programming-master/generalizedPolicyIteration.m , 1970 Dynamic-Programm…...
HDFS分布式存储 zookeeper
hadoop介绍 狭义上hadoop是指apache的一款开源软件 用java语言实现开源框架，允许使用简单的变成模型跨计算机对大型集群进行分布式处理（1.海量的数据存储 2.海量数据的计算）Hadoop核心组件 hdfs（分布式文件存储系统）&a…...
嵌入式学习笔记DAY33（网络编程——TCP）
一、网络架构 C/S （client/server 客户端/服务器）：由客户端和服务器端两个部分组成。客户端通常是用户使用的应用程序，负责提供用户界面和交互逻辑 ，接收用户输入，向服务器发送请求，并展示服务…...
动态 Web 开发技术入门篇
一、HTTP 协议核心 1.1 HTTP 基础 协议全称 ：HyperText Transfer Protocol（超文本传输协议） 默认端口 ：HTTP 使用 80 端口，HTTPS 使用 443 端口。 请求方法 ： GET ：用于获取资源，…...