Pycharm通过SSH配置centos上Spark环境
直接在shell进行pyspark进行编程，程序没有办法写得太长，而且我们希望能够实现一个及时给出结果的编程环境，可以使用pycharm连接centos上的spark，进行本地编程，同步到centos系统中运行程序，并把结果返回pycharm上。以下是pycharm的环境配置，这里采用的是2020版本的，2023版本变动较大，暂时没有找到配置方法：
- 新建项目→选择pure python→选择existing interpreter→选择更多…按钮
- 选择SSH→New server configuration→Host填写ip地址，这里以：192.168.19.137，Port不变→Username填写自己的系统用户名：root为例→点击New按钮
- 填写Password→点击Nex
- 点击后面的文件夹图标→配置centos上的python路径，选择centos上的python路径，这里选择miniconda里的python路径→点击OK→点击Finish
- 配置上传文件的存放路径：点击Remote project location后的文件夹→选择centos上存放py文件的路径→选择ok→点击create
- 配置部署关联路径：Tools→Deployment→Configuration
- 选择前面配置的远程客户端→选择Mappings→Deployment path的文件夹→选择跟前面上传路径一样的位置→点击OK→点击OK
- 在后面运行中会出现以下错误，需要代码头部添加以下两段代码
没有设置JAVA运行环境
JAVA_HOME is not set
以下代码
import os
JAVA_HOME='/root/bigdata/jdk'
#向系统环境变量中添加 JAVA_HOME路径
os.environ['JAVA_HOME']=JAVA_HOME
指定Python解释器的位置
Exception: Python in worker has different version 2.7 than that in driver 3.6,
PySpark cannot run with different minor versions.Please check environment variables
PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.
添加以下代码
PYSPARK_PYTHON = "/miniconda2/envs/py365/bin/python"
os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON
os.environ["PYSPARK_DRIVER_PYTHON"] = PYSPARK_PYTHON
示例代码
运行结果
相关文章：
Pycharm通过SSH配置centos上Spark环境
直接在shell进行pyspark进行编程，程序没有办法写得太长，而且我们希望能够实现一个及时给出结果的编程环境，可以使用pycharm连接centos上的spark，进行本地编程，同步到centos系统中运行程序，并把结果返回pych…...
leetcode做题笔记98. 验证二叉搜索树
给你一个二叉树的根节点 root ，判断其是否是一个有效的二叉搜索树。 有效 二叉搜索树定义如下： 节点的左子树只包含 小于 当前节点的数。节点的右子树只包含 大于 当前节点的数。所有左子树和右子树自身必须也是二叉搜索树。 思路一：递归 …...
C# 中Lambda中的的匿名函数
/// <summary>/// 根据设备号，获取故障列表/// </summary>/// <param name"scanCode">主键</param>/// <returns></returns>[HttpGet]public async Task<IActionResult> GetItemPageList(string scanCode){//v…...
铰接式车辆的横向动力学仿真提供车辆模型研究（Matlab代码实现）
💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…...
Ubuntu20 安装 libreoffice
1 更新apt-get sudo apt-get update2 安装jdk 查看jdk安装情况 Command java not found, but can be installed with:sudo apt install default-jre # version 2:1.11-72, or sudo apt install openjdk-11-jre-headless # version 11.0.138-0ubuntu1~20.04 sud…...
HTTP协议（JavaEE初阶系列15）
目录 前言： 1.HTTP协议 1.1HTTP协议是什么 1.2HTTP协议的报文格式 1.2.1抓包工具的使用 1.2.2HTTP请求 1.2.3HTTP响应 2.HTTP请求 2.1首行的组成 2.2.1URL的组成 2.2认识“方法”（method） 2.2.1GET方法 2.2.2POST方法 2.2.3GET…...
)
机器学习基础10-审查回归算法(基于波士顿房价的数据集)
上一节介绍了如何审查分类算法，并介绍了六种不同的分类算法，还 用同一个数据集按照相同的方式对它们做了审查，本章将用相同的方式对回归算法进行审查。 在本节将学到： 如何审查机器学习的回归算法。如何审查四种线性分类算法。如…...
基于 CentOS 7 构建 LVS-DR 群集。配置nginx负载均衡。
1、基于 CentOS 7 构建 LVS-DR 群集。 [root132 ~]# nmcli c show NAME UUID TYPE DEVICE ens33 c89f4a1a-d61b-4f24-a260-6232c8be18dc ethernet ens33 [root132 ~]# nmcli c m ens33 ipv4.addresses 192.168.231.200/24 [r…...
【云原生】Docker的数据管理（数据卷、容器互联）
目录 一、数据卷（容器与宿主机之间数据共享） 二、数据卷容器（容器与容器之间数据共享） 三、 容器互联（使用centos镜像） 总结 用户在使用Docker的过程中，往往需要能查看容器内应用产生的数据…...
使用vlc在线播放rtsp视频url
1. 2. 3. 工具链接： https://download.csdn.net/download/qq_43560721/88249440...
copy is all you need前向绘图 和疑惑标记
疑惑的起因 简化前向图 GPT4解释 这段代码实现了一个神经网络模型，包含了BERT、GPT-2和MLP等模块。主要功能是给定一个文本序列和一个查询序列，预测查询序列中的起始和结束位置，使其对应文本序列中的一个短语。具体实现细节如下：…...
【附安装包】Vred2023安装教程
软件下载 软件：Vred版本：2023语言：简体中文大小：2.39G安装环境：Win11/Win10/Win8/Win7硬件要求：CPU2.0GHz 内存4G(或更高）下载通道①百度网盘丨64位下载链接：https://pan.baidu.com…...
ASP.NET Core 中的 Dependency injection
依赖注入（Dependency Injection，简称DI）是为了实现各个类之间的依赖的控制反转（Inversion of Control，简称IoC ）。 ASP.NET Core 中的Controller 和 Service 或者其他类都支持依赖注入。 依赖注入术语中&a…...
优化物料编码规则，提升物料管理效率
导 读 ( 文/ 2358 ) 物料是生产过程的必需品。对物料进行身份的唯一标识，可以更好的管理物料库存、库位，更方便的对物料进行追溯。通过编码规则的设计，可以对物料按照不同的属性、类别或特征进行分类，从而更好地进行库存分析、计划…...
Jetbrains IDE新UI设置前进/后退导航键
背景 2023年6月，Jetbrains在新发布的IDE（Idea、PyCharm等）中开放了新UI选项，我们勾选后重启IDE，便可以使用这一魔性的UI界面了。 但是前进/后退这对常用的导航键却找不到了，以前的设置方式（Vi…...
借助frp的xtcp+danted代理打通两边局域网p2p方式访问
最终效果 实现C内网所有设备借助c1内网代理访问B内网所有服务器 配置公网服务端A frps 配置frps.ini [common] # 绑定frp穿透使用的端口 bind_port 7000 # 使用token认证 authentication_method token token xxxx./frps -c frps.ini启动 配置service自启(可选) /etc/…...
2023年高教社杯数学建模思路 - 案例：FPTree-频繁模式树算法
文章目录 算法介绍FP树表示法构建FP树实现代码 建模资料 ## 赛题思路 （赛题出来以后第一时间在CSDN分享） https://blog.csdn.net/dc_sinor?typeblog 算法介绍 FP-Tree算法全称是FrequentPattern Tree算法，就是频繁模式树算法，…...
批量根据excel数据绘制饼状图
要使用Python批量根据Excel数据绘制饼状图，可以使用pandas和matplotlib库来实现。以下是一个基本的代码示例： import pandas as pd import matplotlib.pyplot as plt # 读取Excel文件 data pd.read_excel(data.xlsx) # 提取需要用于绘制饼状图的数据列…...
C++头文件和std命名空间
C 是在C语言的基础上开发的，早期的 C 还不完善，不支持命名空间，没有自己的编译器，而是将 C 代码翻译成C代码，再通过C编译器完成编译。 这个时候的 C 仍然在使用C语言的库，stdio.h、stdlib.h、string.h 等头…...
浏览器有哪几种缓存?各种缓存之间的优先级
在浏览器中，有以下几种常见的缓存： 1、强制缓存：通过设置 Cache-Control 和 Expires 等响应头实现，可以让浏览器直接从本地缓存中读取资源而不发起请求。2、协商缓存：通过设置 Last-Modified 和 ETag 等响应头实现&am…...
利用最小二乘法找圆心和半径
#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …...
synchronized 学习
学习源： https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景 不超卖，也要考虑性能问题（场景） 2.常见面试问题： sync出…...
docker详细操作--未完待续
docker介绍 docker官网: Docker：加速容器应用程序开发 harbor官网：Harbor - Harbor 中文 使用docker加速器: Docker镜像极速下载服务 - 毫秒镜像 是什么 Docker 是一种开源的容器化平台，用于将应用程序及其依赖项（如库、运行时环…...
微信小程序 - 手机震动
一、界面 <button type"primary" bindtap"shortVibrate">短震动</button> <button type"primary" bindtap"longVibrate">长震动</button> 二、js逻辑代码 注：文档 https://developers.weixin.qq…...
（二）原型模式
原型的功能是将一个已经存在的对象作为源目标，其余对象都是通过这个源目标创建。发挥复制的作用就是原型模式的核心思想。 一、源型模式的定义 原型模式是指第二次创建对象可以通过复制已经存在的原型对象来实现，忽略对象创建过程中的其它细节。 📌 核心特点： 避免重复初…...
深入浅出深度学习基础：从感知机到全连接神经网络的核心原理与应用
文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么？1.1.2 感知机的工作原理 1.2 感知机的简单应用：基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...
Vue 模板语句的数据来源
🧩 Vue 模板语句的数据来源：全方位解析 Vue 模板（<template> 部分）中的表达式、指令绑定（如 v-bind, v-on）和插值（{{ }}）都在一个特定的作用域内求值。这个作用域由当前 组件…...
QT开发技术【ffmpeg + QAudioOutput】音乐播放器
一、 介绍 使用ffmpeg 4.2.2 在数字化浪潮席卷全球的当下，音视频内容犹如璀璨繁星，点亮了人们的生活与工作。从短视频平台上令人捧腹的搞笑视频，到在线课堂中知识渊博的专家授课，再到影视平台上扣人心弦的高清大片，音…...
【技巧】dify前端源代码修改第一弹-增加tab页
回到目录 【技巧】dify前端源代码修改第一弹-增加tab页 尝试修改dify的前端源代码，在知识库增加一个tab页"HELLO WORLD"，完成后的效果如下 [gif01] 1. 前端代码进入调试模式 参考 【部署】win10的wsl环境下启动dify的web前端服务 启动调试…...
Spring Boot 中实现 HTTPS 加密通信及常见问题排查指南
Spring Boot 中实现 HTTPS 加密通信及常见问题排查指南 在金融行业安全审计中，未启用HTTPS的Web应用被列为高危漏洞。通过正确配置HTTPS，可将中间人攻击风险降低98%——本文将全面解析Spring Boot中HTTPS的实现方案与实战避坑指南。 一、HTTPS 核心原理与…...