Max Compute 操作记录
编译 max compute-spark
git clone https://github.com/aliyun/MaxCompute-Spark
cd spark-3.x
mvn clean package -DskipTests
在 target 目录下生成 以下两个文件。
spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar
spark-examples_2.12-1.0.0-SNAPSHOT.jar
2. DataWorks 上传资源
在 DataWorks 手动业务流程，点击【新建】，输入业务名称后，在下面【资源】中创建jar 资源 spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar。
在手动业务流程而不是数据开发中创建业务名称，是因为在数据开发中创建的是定时任务，需要有触发依赖条件等。
3. 创建 Spark 任务
点击【数据开发】，新建节点，选择【ODPS Spark】
3.1 输入以下内容
点击任务【在运维中心查看】
点击一个业务流程，出现任务在页面中，点击【重跑】。
点击【查看运行日志】，进入以下界面。url:https://workbench2-cn-beijing.data.aliyun.com/?defaultProjectId=100059&env=prod&taskId=1000551469325&userProjectId=100059#/runLog
下面有 application url，点击进入 spark ui
Spark Executors 信息
【任务】鼠标点击以下，可以看到如下内容。
相关文章：
Max Compute 操作记录
编译 max compute-spark git clone https://github.com/aliyun/MaxCompute-Spark cd spark-3.x mvn clean package -DskipTests在 target 目录下生成 以下两个文件。 spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar spark-examples_2.12-1.0.0-SNAPSHOT.jar2. DataWorks 上传…...
Windows 11 + Ubuntu20.04 双系统 坑里爬起来
ThinkPad x390 安装双系统，原有的磁盘太小，扩充了磁盘重新装系统，出现的问题，加以记录。 1. windows和ubuntu谁先安装，两个都可以，一般建议先安装windows，后安装ubuntu 2. 安装windows后&…...
touch手势事件及功能封装
文章目录 基本概念事件类型事件对象的属性touch事件封装单击，双击滑动方向（上下左右）距离角度 缩放旋转 常用功能封装滑动图片浏览实现拖拽操作游戏角色移动、跳跃 封装手写板功能 在现代Web开发中，移动设备的普及使得触摸屏交互成…...
面试问题记录
1.多线程，线程池 1.如何创建线程 实现 Runnable 接口，重写run方法；实现 Callable 接口，重写call方法；继承 Thread 类，重写run方法。 2.基础线程机制 Executors：可以创建四种类型的线程池&am…...
ZooKeeper的应用场景(集群管理、Master选举)
5 集群管理 随着分布式系统规模的日益扩大，集群中的机器规模也随之变大，因此，如何更好地进行集群管理也显得越来越重要了。 所谓集群管理，包括集群监控与集群控制两大块，前者侧重对集群运行时状态的收集，后…...
面试算法编程题
面试算法编程题记录 题目 : 羊圈里的狼 题目背景 : 一到了晚上，草原牧民的羊就会被赶进羊圈里。这时，野外的狼群就会打羊羔的主意。为了保护羊羔，牧民需要将羊圈里的狼赶走或杀死。由于来的狼很多，他需要快速甄别哪些狼在羊圈里面…...
JVM——JDK 监控和故障处理工具总结
文章目录 JDK 命令行工具jps:查看所有 Java 进程jstat: 监视虚拟机各种运行状态信息 jinfo: 实时地查看和调整虚拟机各项参数jmap:生成堆转储快照**jhat**: 分析 heapdump 文件**jstack** :生成虚拟机当前时刻的线程快照 JDK 可视化分析工具JConsole:Java 监视与管理控制台连接…...
多维时序 | MATLAB实现WOA-CNN鲸鱼算法优化卷积神经网络的数据多变量时间序列预测
多维时序 | MATLAB实现WOA-CNN鲸鱼算法优化卷积神经网络的数据多变量时间序列预测 目录 多维时序 | MATLAB实现WOA-CNN鲸鱼算法优化卷积神经网络的数据多变量时间序列预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 多维时序 | MATLAB实现WOA-CNN鲸鱼算法优化卷积神经…...
ZoomIt v7.1
ZoomIt 是用于技术展示和演示的屏幕缩放、注释和录制工具。 还可以使用 ZoomIt 将屏幕截图截取到剪贴板或文件。 ZoomIt 在系统托盘中不显眼地运行，可使用可自定义的热键激活，它能够放大屏幕区域，在缩放时四处移动，并在缩放后的图…...
E8—Aurora 64/66B ip实现GTX与GTY的40G通信2023-08-12
1. 场景 要在贴有K7系列FPGA芯片的板子和贴有KU系列FPGA芯片的板子之间通过光模块光纤QSFP实现40G的高速通信。可以选择的方式有多种，但本质的方案就一种，即实现4路GTX与GTY之间的通信。可以选择8B/10B编码通过GT IP核实现，而不能通过Aurora…...
js下载后端返回的文件
文件流下载 后端返回文件流形式，前端下载 // res 为请求返回的数据对象const file_data res.data // 后端返回的文件流const blob new Blob([file_data]) const href window.URL.createObjectURL(blob) // 创建下载的链接 const file_name decodeURI(res.header…...
计组 | 并行操作
前言 记录一些计组相关联的题集与知识点，方便记忆与理解。 并行 什么是并行处理 广义地讲，并行性有两种含义：一是同时性，指两个或多个事件在同一时刻发生；二是并发性，指两个或多个事件在同一时间间隔内发生…...
rabbitmq容器启动后修改连接密码
1、进入容器 docker exec -it rabbitmq bash 2、查看当前用户列表 rabbitmqctl list_users 3、修改密码 rabbitmqctl change_password [username] ‘[NewPassword]’ 4、修改后退出容器 ctrlpq 5、退出容器后即可生效，不需要重启容器...
PHP中的curl详细解析和常见大坑
这篇文章主要介绍了 PHP 中使用 CURL 之 php curl 详细解析和常见大坑 ，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧。好啦，长话短说再长说，祭出今天的工具——CURL(Client URL Library)，当然今天以 PHP…...
[python] 使用Jieba工具中文分词及文本聚类概念
前面讲述了很多关于Python爬取本体Ontology、消息盒InfoBox、虎扑图片等例子，同时讲述了VSM向量空间模型的应用。但是由于InfoBox没有前后文和语义概念，所以效果不是很好，这篇文章主要是爬取百度5A景区摘要信息，再利用Jieba分词工…...
常见程序搜索关键字转码
个别搜索类的网站因为用户恶意搜索出现误拦截情况，这类网站本身没有非法信息，只是因为把搜索关键字显示在网页中（如下图），可以参考下面方法对输出的关键字进行转码 DEDECMS程序 本文针对Dedecms程序进行搜索转码&…...
细谈商品详情API接口设计
一、引言 随着互联网技术的发展，商品详情信息的展示和交互变得越来越重要。为了提供更好的用户体验，我们需要设计一套高效、稳定且易于扩展的商品详情API接口。本文将详细探讨商品详情API接口的设计，包括接口的通用性、安全性和扩展性等方面…...
Go 1.21新增的内置函数（built-in functions）详解
Go 1.21新增的内置函数分别是 min、max 和 clear，接下来看下这几个函数的用途和使用示例。 在编程过程中，需要知道一组值中的最大或最小值的场景是很常见的，比如排序、统计等场景。之前都需要自己写代码来实现这个功能，现在 Go 1…...
【云原生，k8s】基于Helm管理Kubernetes应用
第四阶段 时 间：2023年8月18日 参加人：全班人员 内 容： 基于Helm管理Kubernetes应用 目录 一、Kubernetes部署方式 （一）minikube （二）二进制包 （三）Kubeadm …...
字符设备驱动分布注册
驱动文件： 脑图： 现象：...
OpenLayers 可视化之热力图
注：当前使用的是 ol 5.3.0 版本，天地图使用的key请到天地图官网申请，并替换为自己的key 热力图（Heatmap）又叫热点图，是一种通过特殊高亮显示事物密度分布、变化趋势的数据可视化技术。采用颜色的深浅来显示…...
Spark 之 入门讲解详细版（1）
1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处&…...
MongoDB学习和应用(高效的非关系型数据库)
一丶 MongoDB简介 对于社交类软件的功能，我们需要对它的功能特点进行分析： 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具： mysql：关系型数据库&am…...
在Ubuntu中设置开机自动运行（sudo）指令的指南
在Ubuntu系统中，有时需要在系统启动时自动执行某些命令，特别是需要 sudo权限的指令。为了实现这一功能，可以使用多种方法，包括编写Systemd服务、配置 rc.local文件或使用 cron任务计划。本文将详细介绍这些方法，并提供…...
uniapp微信小程序视频实时流+pc端预览方案
方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度WebSocket图片帧定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐RTMP推流TRTC/即构SDK推流❌ 付费方案 （部分有免费额度&#x…...
【服务器压力测试】本地PC电脑作为服务器运行时出现卡顿和资源紧张（Windows/Linux）
要让本地PC电脑作为服务器运行时出现卡顿和资源紧张的情况，可以通过以下几种方式模拟或触发： 1. 增加CPU负载 运行大量计算密集型任务，例如： 使用多线程循环执行复杂计算（如数学运算、加密解密等）。运行图…...
三体问题详解
从物理学角度，三体问题之所以不稳定，是因为三个天体在万有引力作用下相互作用，形成一个非线性耦合系统。我们可以从牛顿经典力学出发，列出具体的运动方程，并说明为何这个系统本质上是混沌的，无法得到一般解…...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...
回溯算法学习
一、电话号码的字母组合 import java.util.ArrayList; import java.util.List;import javax.management.loading.PrivateClassLoader;public class letterCombinations {private static final String[] KEYPAD {"", //0"", //1"abc", //2"…...
Linux中《基础IO》详细介绍
目录 理解"文件"狭义理解广义理解文件操作的归类认知系统角度文件类别 回顾C文件接口打开文件写文件读文件稍作修改，实现简单cat命令 输出信息到显示器，你有哪些方法stdin & stdout & stderr打开文件的方式 系统⽂件I/O⼀种传递标志位…...