当前位置：首页 > news >正文

Spark 平障录

news 2026/4/3 5:21:20

Profile

Profile 是最重要的第一环。

利用好 spark UI 和 yarn container log
分析业务代码，对其计算代价进行预判
建设基准，进行对比，比如application id 进行对比，精确到 job DAG 环节

充分利用 UI

Stage 页面

页头 summary，也很重要。
在这里插入图片描述

勾选所有 UI metrics，提供判断依据

在这里插入图片描述

task 维度 metrics

在这里插入图片描述

Executor 维度

在这里插入图片描述

application id 对比

如果两个application id， shuflfle read/write 差不多，input/output 差不多。
慢的那一个，如果内存消耗大，那说明计算量大，比如 sum， count 等

Executor 页面

选中所有 metrics，增加判断依据
在这里插入图片描述

注意GC
在这里插入图片描述

Spark 平障录

Profile Profile 是最重要的第一环。利用好 spark UI 和 yarn container log分析业务代码，对其计算代价进行预判建设基准，进行对比，比如application id 进行对比，精确到 job DAG 环节充分利用 UI Stage 页面页头 summary&…...

编程日记 2023/11/20 7:40:19

基于一致性算法的微电网分布式控制MATLAB仿真模型

微❤关注“电气仔推送”获得资料（专享优惠） 本模型主要是基于一致性理论的自适应虚拟阻抗、二次电压补偿以及二次频率补偿，实现功率均分，保证电压以及频率稳定性。一致性算法分布式一致性控制主要分为两类：协调同…...

编程日记 2023/11/20 7:39:16

Android 10.0 系统修改usb连接电脑mtp和PTP的显示名称

1.前言在10.0的产品定制化开发中，在usb模块otg连接电脑，调整为mtp文件传输模式的时候，这时可以在电脑看到手机的内部存储显示在电脑的盘符中，会有一个mtp名称做盘符，所以为了统一这个名称，就需要修改这个名称，接下来分析下处理的方法来解决这个问题 2.系统修改usb连…...

编程日记 2023/11/20 7:38:14

飞鼠异地组网工具实战之访问k8s集群内部服务

飞鼠异地组网工具实战之访问k8s集群内部服务一、飞鼠异地组网工具介绍1.1 飞鼠工具简介1.2 飞鼠工具官网二、本次实践介绍2.1 本次实践场景描述2.2 本次实践前提2.3 本次实践环境规划三、检查本地k8s集群环境3.1 检查k8s各节点状态3.2 检查k8s版本3.3 检查k8s系统pod状态四…...

编程日记 2023/11/20 7:37:13

【Flink】窗口（Window）

窗口理解窗口（Window）是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理。本文的重心将放在 Flink 如何进行窗口操作以及开发者如何尽可能地利用 Flink 所提供的功能。对窗口的正确理解&#xff…...

编程日记 2023/11/20 7:36:12

读像火箭科学家一样思考笔记03_第一性原理（上）

1. 思维的两种障碍 1.1. 为什么知识会成为一种缺陷而非一种美德 1.1.1. 知识是一种美德 1.1.2. 知识同样的特质也会把它变成一种缺点 1.1.3. 知识确实是个好东西，但知识的作用应该是给人们提供信息，而不是起约束作用 1.1.4. 知识应该启发智慧&#…...

编程日记 2023/11/20 7:35:10

npm私有云

安装node时npm会自动安装，npm也可以单独安装。 package.json 在使用npm时，package.json文件是非常重要的，因为它包含了关于项目的必要信息，比如名称、版本、依赖项等。在初始化新项目时，通常会使用npm init命令生成一…...

编程日记 2023/11/20 7:34:09

莹莹API管理系统源码附带两套模板

这是一个API后台管理系统的源码，可以自定义添加接口，并自带两个模板。环境要求 PHP版本要求高于5.6且低于8.0，已测试通过的版本为7.4。需要安装PHPSG11加密扩展。已测试：宝塔/主机亲测成功搭建！ 安装说明 &am…...

编程日记 2023/11/20 7:33:07

【Kingbase FlySync】命令模式:安装部署同步软件，实现KES到KES实现同步

【Kingbase FlySync】命令模式:安装部署同步软件，实现KES到KES实现同步迁移概述准备环境目标资源1.测试虚拟机下载地址包含node1,node22.同步工具下载地址3.临时授权下载地址4.ruby工具下载地址5.EXAMv0.11.sql下载地址实操：同步软件安装部署1.node1准…...

编程日记 2023/11/20 7:32:06

python使用selenium webDriver时报错

可能原因和解决： 1. python 解释器 ----> 设置 2. 浏览器版本与浏览器驱动版本不一致 ----> 安装同一版本的 (下载chromedriver | 谷歌驱动更高版本的测试版) 参考：Python使用Selenium WebDriver的入门介绍及安装教程-CSDN博客 Selenium安…...

编程日记 2023/11/20 7:30:04

【ROS2机器人入门到实战】

ROS2机器人入门到实战教程(鱼香ROS) 写在前面当前平台文章汇总地址：ROS2机器人从入门到实战获取完整教程及配套资料代码，请关注公众号<鱼香ROS>获取教程配套机器人开发平台：两驱版| 四驱版为方便交流，搭建了机器人技术问…...

编程日记 2023/11/20 7:29:03

Nuxt3框架局部文件引用外部JS/CSS文件的相关配置方法

引入外部JS： <script setup>useHead({script: [ {type: "text/javascript",src: https://cdnjs.cloudflare.com/ajax/libs/jquery/3.7.0/jquery.min.js}]}) </script>useHead只能与组件的setup和生命周期钩子一起使用如果需要将js放置body区…...

编程日记 2023/11/20 7:28:00

Docker 可视化面板 ——Portainer

Portainer 是一个非常好用的 Docker 可视化面板，可以让你轻松地管理你的 Docker 容器。官网：Portainer: Container Management Software for Kubernetes and Docker 【Docker系列】超级好用的Docker可视化工具——Portainer_哔哩哔哩_bilibili 环境 …...

编程日记 2023/11/20 7:26:59

Java 教育局民办教育信息服务与监管平台

1) 项目背景按照《中华人民共和国民办教育促进法》和《中华人民共和国政府信息公开条例》的相关规定，为满足学生和家长、社会各界获取权威信息的需求，着力解决服务老百姓最后一公里问题，达到宣传民办教育和引导家长择校的效果&#xff0…...

编程日记 2023/11/20 7:25:58

小迪笔记（1）——操作系统文件下载反弹SHELL防火墙绕过

名词解释 POC：验证漏洞存在的代码； EXP：利用漏洞的代码； payload：漏洞利用载荷， shellcode：漏洞代码， webshell：特指网站后门； 木马：强调控制…...

编程日记 2023/11/20 7:24:55

Pytorch D2L Subplots方法对画图、图片处理

问题代码 def show_images(imgs, num_rows, num_cols, titlesNone, scale1.5): #save """绘制图像列表""" figsize (num_cols * scale, num_rows * scale) _, axes d2l.plt.subplots(num_rows, num_cols, figsizefigsize) axes axes.flatten…...

编程日记 2023/11/20 7:23:55

MATLAB算法实战应用案例精讲-【目标检测】YOLOV5（补充篇）

目录算法原理 YOLOv5数据集训练软硬件背景：数据集准备配置文件模型训练...

编程日记 2023/11/20 7:22:53

WPF中可视化树和逻辑树的区别是什么

在WPF中，用户界面元素被组织成树形结构。这种结构主要分为两种：逻辑树（Logical Tree）和可视化树（Visual Tree）。它们在设计上各有特点和用途。逻辑树（Logical Tree） 逻辑树是WPF中…...

编程日记 2023/11/20 7:21:52

小迪安全笔记（2）——web应用架构搭建漏洞HTTP数据包代理服务器

Web应用环境架构类开发语言：php、java、python、ASP、ASPX等程序源码：用的人多了，就成CMS了。中间件容器：IIS、Apache、Nginx、Tomcat、Weblogic、Jboos、glasshfish等数据库类型：Access、Mysql、Mssql、Oracle、Redi…...

编程日记 2023/11/20 7:20:51

[AI]ChatGPT4 与 ChatGPT3.5 区别有多大

ChatGPT 3.5 注册已经不需要手机了，直接邮箱认证就可以，这可真算是好消息，坏消息是 ChatGPT 4 还是要收费。那么 GPT-3.5 与 GPT-4 区别有多大呢，下面简单测试一下。以从 TDengine 订阅数据为例，TDengine 算是不太小…...

编程日记 2023/11/20 7:19:50

日志配置陷阱：Telegraf Windows版本兼容性问题深度解析

日志配置陷阱：Telegraf Windows版本兼容性问题深度解析 Windows系统管理员常面临日志采集配置升级后服务无法启动的困境。Telegraf作为InfluxData开源的指标收集代理（Agent），其Windows版本在日志配置变更时可能引发兼容性问题。本…...

编程新知 2026/4/3 4:15:25

Symfony Monolog Bundle与现代日志系统：Sentry、Elasticsearch、Slack集成终极指南

Symfony Monolog Bundle与现代日志系统：Sentry、Elasticsearch、Slack集成终极指南【免费下载链接】monolog-bundle Symfony Monolog Bundle 项目地址: https://gitcode.com/gh_mirrors/mo/monolog-bundle Symfony Monolog Bundle是Symfony框架中功能强大的…...

编程新知 2026/4/3 3:53:11

mbedBug：面向mbed OS的轻量级嵌入式调试纳米框架

1. mbedBug：面向mbed OS的轻量级嵌入式调试纳米框架1.1 设计定位与工程价值mbedBug并非通用型调试器或完整测试框架，而是一个专为资源受限嵌入式环境裁剪的调试纳米框架（Debug Nanoframework）。其核心设计哲学是“最小侵入、最大可…...

编程新知 2026/4/3 3:26:52

飞书机器人自动化：OpenClaw调用Qwen3-4B实现会议纪要生成

飞书机器人自动化：OpenClaw调用Qwen3-4B实现会议纪要生成 1. 为什么选择OpenClawQwen3-4B做会议纪要上个月我经历了连续三天的跨部门会议，每天手动整理会议纪要到深夜的痛苦让我开始寻找自动化解决方案。试过几款SaaS工具后，发现要么需要上…...

编程新知 2026/4/3 2:27:49

告别命令行恐惧！在Ubuntu 20.04上像装App一样轻松安装Typora（附国内源配置）

告别命令行恐惧！在Ubuntu 20.04上像装App一样轻松安装Typora（附国内源配置） 第一次在Linux系统上安装软件时，面对黑底白字的终端窗口，很多人会本能地产生抗拒感。这种感受就像突然被丢进一个全英文的异国机场——你知道…...

编程新知 2026/4/3 0:01:58

一天一个开源项目（第62篇）：lark-cli - 飞书/Lark 官方 CLI 与 AI Agent Skills

引言 “Built for humans and AI Agents.” 这是「一天一个开源项目」系列的第 62 篇文章。今天介绍的项目是 lark-cli（GitHub）。需要在终端或 AI 工作流里操作飞书/Lark？lark-cli 是 larksuite 团队维护的官方 CLI：11 个业务域…...

编程新知 2026/4/2 23:57:57