Max Compute 操作记录
编译 max compute-spark
git clone https://github.com/aliyun/MaxCompute-Spark
cd spark-3.x
mvn clean package -DskipTests
在 target 目录下生成 以下两个文件。
spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar
spark-examples_2.12-1.0.0-SNAPSHOT.jar
2. DataWorks 上传资源
在 DataWorks 手动业务流程，点击【新建】，输入业务名称后，在下面【资源】中创建jar 资源 spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar。
在手动业务流程而不是数据开发中创建业务名称，是因为在数据开发中创建的是定时任务，需要有触发依赖条件等。
3. 创建 Spark 任务
点击【数据开发】，新建节点，选择【ODPS Spark】
3.1 输入以下内容
点击任务【在运维中心查看】
点击一个业务流程，出现任务在页面中，点击【重跑】。
点击【查看运行日志】，进入以下界面。url:https://workbench2-cn-beijing.data.aliyun.com/?defaultProjectId=100059&env=prod&taskId=1000551469325&userProjectId=100059#/runLog
下面有 application url，点击进入 spark ui
Spark Executors 信息
【任务】鼠标点击以下，可以看到如下内容。
相关文章：
Max Compute 操作记录
编译 max compute-spark git clone https://github.com/aliyun/MaxCompute-Spark cd spark-3.x mvn clean package -DskipTests在 target 目录下生成 以下两个文件。 spark-examples_2.12-1.0.0-SNAPSHOT-shaded.jar spark-examples_2.12-1.0.0-SNAPSHOT.jar2. DataWorks 上传…...
Windows 11 + Ubuntu20.04 双系统 坑里爬起来
ThinkPad x390 安装双系统，原有的磁盘太小，扩充了磁盘重新装系统，出现的问题，加以记录。 1. windows和ubuntu谁先安装，两个都可以，一般建议先安装windows，后安装ubuntu 2. 安装windows后&…...
touch手势事件及功能封装
文章目录 基本概念事件类型事件对象的属性touch事件封装单击，双击滑动方向（上下左右）距离角度 缩放旋转 常用功能封装滑动图片浏览实现拖拽操作游戏角色移动、跳跃 封装手写板功能 在现代Web开发中，移动设备的普及使得触摸屏交互成…...
面试问题记录
1.多线程，线程池 1.如何创建线程 实现 Runnable 接口，重写run方法；实现 Callable 接口，重写call方法；继承 Thread 类，重写run方法。 2.基础线程机制 Executors：可以创建四种类型的线程池&am…...
ZooKeeper的应用场景(集群管理、Master选举)
5 集群管理 随着分布式系统规模的日益扩大，集群中的机器规模也随之变大，因此，如何更好地进行集群管理也显得越来越重要了。 所谓集群管理，包括集群监控与集群控制两大块，前者侧重对集群运行时状态的收集，后…...
面试算法编程题
面试算法编程题记录 题目 : 羊圈里的狼 题目背景 : 一到了晚上，草原牧民的羊就会被赶进羊圈里。这时，野外的狼群就会打羊羔的主意。为了保护羊羔，牧民需要将羊圈里的狼赶走或杀死。由于来的狼很多，他需要快速甄别哪些狼在羊圈里面…...
JVM——JDK 监控和故障处理工具总结
文章目录 JDK 命令行工具jps:查看所有 Java 进程jstat: 监视虚拟机各种运行状态信息 jinfo: 实时地查看和调整虚拟机各项参数jmap:生成堆转储快照**jhat**: 分析 heapdump 文件**jstack** :生成虚拟机当前时刻的线程快照 JDK 可视化分析工具JConsole:Java 监视与管理控制台连接…...
多维时序 | MATLAB实现WOA-CNN鲸鱼算法优化卷积神经网络的数据多变量时间序列预测
多维时序 | MATLAB实现WOA-CNN鲸鱼算法优化卷积神经网络的数据多变量时间序列预测 目录 多维时序 | MATLAB实现WOA-CNN鲸鱼算法优化卷积神经网络的数据多变量时间序列预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 多维时序 | MATLAB实现WOA-CNN鲸鱼算法优化卷积神经…...
ZoomIt v7.1
ZoomIt 是用于技术展示和演示的屏幕缩放、注释和录制工具。 还可以使用 ZoomIt 将屏幕截图截取到剪贴板或文件。 ZoomIt 在系统托盘中不显眼地运行，可使用可自定义的热键激活，它能够放大屏幕区域，在缩放时四处移动，并在缩放后的图…...
E8—Aurora 64/66B ip实现GTX与GTY的40G通信2023-08-12
1. 场景 要在贴有K7系列FPGA芯片的板子和贴有KU系列FPGA芯片的板子之间通过光模块光纤QSFP实现40G的高速通信。可以选择的方式有多种，但本质的方案就一种，即实现4路GTX与GTY之间的通信。可以选择8B/10B编码通过GT IP核实现，而不能通过Aurora…...
js下载后端返回的文件
文件流下载 后端返回文件流形式，前端下载 // res 为请求返回的数据对象const file_data res.data // 后端返回的文件流const blob new Blob([file_data]) const href window.URL.createObjectURL(blob) // 创建下载的链接 const file_name decodeURI(res.header…...
计组 | 并行操作
前言 记录一些计组相关联的题集与知识点，方便记忆与理解。 并行 什么是并行处理 广义地讲，并行性有两种含义：一是同时性，指两个或多个事件在同一时刻发生；二是并发性，指两个或多个事件在同一时间间隔内发生…...
rabbitmq容器启动后修改连接密码
1、进入容器 docker exec -it rabbitmq bash 2、查看当前用户列表 rabbitmqctl list_users 3、修改密码 rabbitmqctl change_password [username] ‘[NewPassword]’ 4、修改后退出容器 ctrlpq 5、退出容器后即可生效，不需要重启容器...
PHP中的curl详细解析和常见大坑
这篇文章主要介绍了 PHP 中使用 CURL 之 php curl 详细解析和常见大坑 ，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧。好啦，长话短说再长说，祭出今天的工具——CURL(Client URL Library)，当然今天以 PHP…...
[python] 使用Jieba工具中文分词及文本聚类概念
前面讲述了很多关于Python爬取本体Ontology、消息盒InfoBox、虎扑图片等例子，同时讲述了VSM向量空间模型的应用。但是由于InfoBox没有前后文和语义概念，所以效果不是很好，这篇文章主要是爬取百度5A景区摘要信息，再利用Jieba分词工…...
常见程序搜索关键字转码
个别搜索类的网站因为用户恶意搜索出现误拦截情况，这类网站本身没有非法信息，只是因为把搜索关键字显示在网页中（如下图），可以参考下面方法对输出的关键字进行转码 DEDECMS程序 本文针对Dedecms程序进行搜索转码&…...
细谈商品详情API接口设计
一、引言 随着互联网技术的发展，商品详情信息的展示和交互变得越来越重要。为了提供更好的用户体验，我们需要设计一套高效、稳定且易于扩展的商品详情API接口。本文将详细探讨商品详情API接口的设计，包括接口的通用性、安全性和扩展性等方面…...
Go 1.21新增的内置函数（built-in functions）详解
Go 1.21新增的内置函数分别是 min、max 和 clear，接下来看下这几个函数的用途和使用示例。 在编程过程中，需要知道一组值中的最大或最小值的场景是很常见的，比如排序、统计等场景。之前都需要自己写代码来实现这个功能，现在 Go 1…...
【云原生，k8s】基于Helm管理Kubernetes应用
第四阶段 时 间：2023年8月18日 参加人：全班人员 内 容： 基于Helm管理Kubernetes应用 目录 一、Kubernetes部署方式 （一）minikube （二）二进制包 （三）Kubeadm …...
字符设备驱动分布注册
驱动文件： 脑图： 现象：...
浅谈 React Hooks
React Hooks 是 React 16.8 引入的一组 API，用于在函数组件中使用 state 和其他 React 特性（例如生命周期方法、context 等）。Hooks 通过简洁的函数接口，解决了状态与 UI 的高度解耦，通过函数式编程范式实现更灵活 Rea…...
Docker 离线安装指南
参考文章 1、确认操作系统类型及内核版本 Docker依赖于Linux内核的一些特性，不同版本的Docker对内核版本有不同要求。例如，Docker 17.06及之后的版本通常需要Linux内核3.10及以上版本，Docker17.09及更高版本对应Linux内核4.9.x及更高版本。…...
【kafka】Golang实现分布式Masscan任务调度系统
要求： 输出两个程序，一个命令行程序（命令行参数用flag）和一个服务端程序。 命令行程序支持通过命令行参数配置下发IP或IP段、端口、扫描带宽，然后将消息推送到kafka里面。 服务端程序： 从kafka消费者接收…...
【Linux】C语言执行shell指令
在C语言中执行Shell指令 在C语言中，有几种方法可以执行Shell指令： 1. 使用system()函数 这是最简单的方法，包含在stdlib.h头文件中： #include <stdlib.h>int main() {system("ls -l"); // 执行ls -l命令retu…...
java 实现excel文件转pdf | 无水印 | 无限制
文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具，自己手写的难度，恐怕高级程序员花费一年的事件，也…...
可靠性+灵活性：电力载波技术在楼宇自控中的核心价值
可靠性灵活性：电力载波技术在楼宇自控中的核心价值 在智能楼宇的自动化控制中，电力载波技术（PLC）凭借其独特的优势，正成为构建高效、稳定、灵活系统的核心解决方案。它利用现有电力线路传输数据，无需额外布…...
江苏艾立泰跨国资源接力：废料变黄金的绿色供应链革命
在华东塑料包装行业面临限塑令深度调整的背景下，江苏艾立泰以一场跨国资源接力的创新实践，重新定义了绿色供应链的边界。 跨国回收网络：废料变黄金的全球棋局 艾立泰在欧洲、东南亚建立再生塑料回收点，将海外废弃包装箱通过标准…...
srs linux
下载编译运行 git clone https:///ossrs/srs.git ./configure --h265on make 编译完成后即可启动SRS # 启动 ./objs/srs -c conf/srs.conf # 查看日志 tail -n 30 -f ./objs/srs.log 开放端口 默认RTMP接收推流端口是1935，SRS管理页面端口是8080，可…...
css3笔记 （1） 自用
outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size：0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格ÿ…...
Caliper 配置文件解析：fisco-bcos.json
config.yaml 文件 config.yaml 是 Caliper 的主配置文件，通常包含以下内容： test:name: fisco-bcos-test # 测试名称description: Performance test of FISCO-BCOS # 测试描述workers:type: local # 工作进程类型number: 5 # 工作进程数量monitor:type: - docker- pro…...