当前位置: 首页 > news >正文

阿里云大数据实战记录9:MaxCompute RAM 用户与授权


文章目录

  • 问题来源:maxcompute 管理员无法访问敏感列?
  • 主线问题:如何提高用户等级
  • 衍生问题1:怎么知道自己的等级和表单的等级
  • 衍生问题2:为什么 dataworks 空间管理员也没有设置等级的权限?
  • 衍生问题3:敏感列从哪里来
  • 小结

问题来源:maxcompute 管理员无法访问敏感列?

先抛一个问题:作为 maxcompute 的管理员,拥有较高的权限,为什么访问不了设置了敏感列的数据?
这个问题是我最近遇到的一个难题之一。

一开始我以为作为 maxcompute 管理员,应该可以“畅通无阻”,却没想到,敏感列迟迟无法访问,中间做了很多功夫,读了很多官方文档,最终的结论是需要 maxcompute 项目的 owner 或超级管理员给我设置用户等级(Label)或者给我管理员权限,我自己配置。

注意,以上涉及了好些概念,我不知道我这么命名是否合理,不过在我看来是合理的。如果你已经很了解阿里云大数据服务的权限问题,那可能很轻松能理解我的意思,但如果是新手,可能会有一些疑惑。没事,待我细细说来。

首先 maxcompute 和 maxcompute 项目是两个不同的东西,切忌混为一谈!
你可以把 maxcompute 看做是一个服务器,而 maxcompute 项目是一个数据库,然后敏感表、敏感列则是库里的表和表的字段。

但作为数据库的管理员不应该是可以访问数据库里的所有数据吗?这就涉及到另外一个概念:用户等级,官方定义为 User Label。由于我的账号等级是 0 级,而敏感列等级高于 0 级,等级可以高级访问低级,但是无法逆向低级访问高级,所以访问不了。

这样子理解应该就能明白为什么作为 maxcompute 的管理员,却访问不了敏感列的数据。

Label 策略是一个比较重要的参考标准,即使在数据保护伞已经设置了白名单,还是无法访问敏感数据。

主线问题:如何提高用户等级

那么,如何提高用户等级呢?

从下面这篇官方文档可以得知,提高用户等级需要通过终端执行命令来实现。

Label权限控制:https://help.aliyun.com/zh/maxcompute/user-guide/label-based-access-control?#section-4ha-2x9-h5i

修改 RAM 用户等级的命令如下:

set Label 3 to USER RAM$Bob@aliyun.com:Allen;

其中,数字3是目标等级,即要升到哪一个级别,RAM指代 RAM 用户,Bob@aliyun.com是主账号的邮箱,Allen是 RAM 用户名。如果是给主账号调整,则把RAM$Bob@aliyun.com:Allen改为ALIYUN$Bob@aliyun.com

执行命令的地方有多个(相关链接可以再文档中查找到):

  • MaxCompute客户端
  • 使用SQL分析连接
  • MaxCompute Studio
  • 使用DataWorks连接

这里以 MaxCompute 为例,做个示例,比如我的账号是:xindata,主账号是:123456@qq.com,目标等级是 1 级,那么命令如下:

set Label 1 to USER RAM$123456@qq.com:xindata;

浏览器打开 maxcompute 控制台:https://maxcompute.console.aliyun.com/,然后点击下图的【命令行】,这个才是 ODPS CMD,上面的那个是云命令行,使用云命令行也可以,不过需要切换下路径,进入 ODPS CMD,命令为cloudshell-odpscmd -p "项目名称",一开始搞错了,点了云命令行输入以上命令一直报错说命令不存在,哈哈哈。

image.png

点击命令行之后选择对应的项目,便可以开启一个窗口,输入以上命令,返回结果说我没有安全操作。

Authorization Failed [4003], You have NO privilege to do the PROJECT SECURITY OPERATION for {acs:odps:*:projects/xxx/authorization/users}.

image.png

通过搜索错误提示,找到了一篇解决文档:https://help.aliyun.com/zh/maxcompute/user-guide/odps-0420095?#pAFKK
image.png

从解决文档提示看,需要授权,授权方式有两种:

  • 可以是项目的 admin 或者 super_administrator 角色
  • 也可以是项目管理类权限一览表。

表单提供了一种方法,可以通过新增策略动作给用户授权,我所需要的动作是SetDataLabel

image.png
于是编辑了相关的权限策略:

{"Version": "1","Statement": [{"Effect": "Allow","Action": ["odps:SetDataLabel"],"Resource": [*  // 开始使用:"acs:odps:*:projects/xxx/authorization/users" 但提示格式有误,改 *],"Condition": {}}]
}

但是这个策略放哪里呢?

一开始我不清楚 maxcompute 和 maxcompute 项目的差异的时候,我在 RAM 控制台的权限策略中新建了一个策略进行授权,可想而知,这是无效的!其实在 RAM 控制台,我已经是有了 maxcompute 的管理权限,所以并不需要再一次这么配置。

实际上配置的位置是在 maxcompute 项目中,具体路径是在 maxcompute 控制台的项目管理中,选择对应的项目列表,点击右侧的管理。在项目详情中,点击角色权限,如果没有权限,会有报错提示。由于我没有权限,所以是空的(报错已关闭)。

参考通过控制台(新版)管理用户权限:https://help.aliyun.com/zh/maxcompute/user-guide/manage-user-permissions-in-the-maxcompute-console

image.png

所以,第二条路是走不通的,没有管理权限,根本无法进入配置用户权限。

结论就是:只能由项目的 admin 或者 super_administrator 角色处理了。

衍生问题1:怎么知道自己的等级和表单的等级

这个其实用表的时候,如果有权限问题,会报错提示:

The sensitive label of column ‘xxx’ is 1, but your effective label from package is 0.

image.png

如果想直接查询,也可以通过以下命令查询:

# 查看自己的等级信息,第一条是当前用户,第二条是指定用户
show label grants;
show label grants for RAM$123456@qq.com:xindata;
# 查看表的等级信息,注意,如果提示没有 odps:describe 权限,去安全中心申请表单权限,获取 describe 权限。
desc 项目名.表名称;

衍生问题2:为什么 dataworks 空间管理员也没有设置等级的权限?

DataWorks 是阿里云提供的一站式大数据开发治理平台,可以在 DataWorks 上进行 MaxCompute 作业开发、周期性调度、作业运维、数据治理等一站式数据开发治理操作。可在 DataWorks 控制台创建 DataWorks 工作空间,并在这过程中直接创建并绑定 MaxCompute 项目,后续即可在 DataWorks 工作空间中开发 MaxCompute 作业。
DataWorks 和 maxcompute 二者的权限有相通之处,但也有不同点,具体差异如下:

参考MaxCompute和DataWorks的权限关系:https://help.aliyun.com/zh/maxcompute/user-guide/permissions?#section-u7s-ys0-vv0



可以看到 MaxCompute 的管理员角色不能通过 DataWorks 设置,即使是 DataWorks 空间管理员,再 MaxCompute 的映射也只是一个 Role_Project_Admin 角色,对应的权限仅仅是 当前项目下project/table/fuction/resource/instance/job的所有权限,以及 package 的 read 权限,并非管理员。
所以 DataWorks 空间管理员也没有设置等级的权限。

衍生问题3:敏感列从哪里来

首先是项目的设置,在 MaxCompute 项目的详情中,我们可以看到项目的配置信息,里面会限制一栏:启动Label访问控制,如果启动,就可以配置敏感列。
敏感列的配置地方在数据保护伞,可以在 DataWorks 首页打开全部产品找到它。

image.png

然后在【敏感数据识别】中新增规则识别敏感数据,在此之前可能需要先在【数据分类分级】中新增分类和分级的类别和层数。

image.png

配置好之后,还可以在【用户组管理】添加用户组,并在【数据脱敏管理】中新增白名单,但这并不能覆盖用户等级的限制,低等级依旧无法访问高等级的数据。

小结

本次探索过程,发现了一个问题,阿里云产品,可能每一个都会有自己的控制台,有自己的一套权限管理,配置权限前,需要先思考,这个权限是在哪一个平台上使用,然后针对性去对应的文档和对应的控制台中寻找解决方案。

就如本次,处理的内容其实是 MaxCompute 项目级别的问题,需要到项目中去寻找解决方案,一开始我配置了 RAM 用户相关权限,也在数据保护伞和 DataWorks 用户管理上面也尝试了解决方案,不过都是无用功,无法最终解决问题,只是更加清晰地了解了阿里云的权限管理逻辑。

相关文章:

阿里云大数据实战记录9:MaxCompute RAM 用户与授权

文章目录 问题来源:maxcompute 管理员无法访问敏感列?主线问题:如何提高用户等级衍生问题1:怎么知道自己的等级和表单的等级衍生问题2:为什么 dataworks 空间管理员也没有设置等级的权限?衍生问题3&#xf…...

JavaScript基础07——变量拓展-数组

哈喽,大家好,我是雷工! 每天打卡学习一点点,今天继续学习JavaScript基础知识,以下是学习笔记。 一、数组的基本介绍 数组 (Array)——一种将一组数据存储在单个变量名下的优雅方式。 数组的作用和变量一样…...

go-zerogo web集成redis实战

前言 上一篇:go-zero&go web集成JWT和cobra命令行工具实战 从零开始基于go-zero搭建go web项目实战-03集成redis实战 源码仓库地址 源码 https://gitee.com/li_zheng/treasure-box golang redis 客户端 Go-Redis 地址: GitHub: https://github.…...

油猴浏览器(安卓)

油猴浏览器页面设计非常简约,在主页上还为小伙伴们推荐了很多的常用书签,像油猴脚本,常用导航,新闻,热搜类的,快递查询等等,可以设置快捷访问,把常用到的一些网站设置在主页上。 浏览…...

Redis 6.0多线程模型比单线程优化在哪里了

推荐阅读 项目实战:AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 资源分享 史上最全文档AI绘画stablediffusion资料分享 AI绘画关于SD,MJ,GPT,SDXL百科全书 AI绘画 stable…...

[hello,world]这个如何将[ ] 去掉

[hello,world]这个如何将[ ] 去掉? 你可以使用编程语言中的字符串处理函数来去掉方括号。以下是一个示例代码,使用Python的strip()函数去掉方括号: text "[hello,world]" text text.strip("[]") print(text)输出为&a…...

机器学习_个人笔记_周志华(更新中......)

第1章 绪论 1.1 引言 形成优秀的心理表征,自然能成为领域内的专家。 系统1 & 系统2。 机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能。主要研究计算机从数据中产生model的算法,即“learning algori…...

嵌入式Linux驱动开发(LCD屏幕专题)(二)

一、结合APP分析LCD驱动程序 1、open app: open("/dev/fb0", ...) 主设备号: 29, 次设备号: 0 -------------------------------------------------------------- kernel:fb_open // fbmem.cstruct fb_info *info;info get_fb_info(fbidx);if (info->fbop…...

React的jsx的用法

React是一个流行的JavaScript库,用于构建用户界面。它使用一种名为JSX的语法扩展来描述组件的结构和样式。JSX是React的核心语言之一,它允许开发人员在JavaScript中编写HTML,从而使代码更加简洁和易于阅读。 JSX是一种语法扩展,它…...

Ei Scopus检索 | 2024年第四届能源与环境工程国际会议(CoEEE 2024)

会议简介 Brief Introduction 2024年第四届能源与环境工程国际会议(CoEEE 2024) 会议时间:2023年5月22日-24日 召开地点:意大利米兰 大会官网:www.coeee.org CoEEE 2024将围绕“能源与环境工程”的最新研究领域而展开,为研究人员、…...

习题练习 C语言(暑期第四弹)

自我小提升! 前言一、数组二、指针运算三、统计每个月兔子的总数四、双指针的应用五、判断指针六、珠玑妙算七、两数之和八、数组下标九、指针十、寻找峰值十一、二级指针十二、大端小端十三、无符号参数十四、数对十五、截取字符串总结 前言 重要的事说三遍&#…...

【docker快速部署微服务若依管理系统(RuoYi-Cloud)】

工作原因,需要一个比较完整的开源项目测试本公司产品。偶然发现RuoYi-Cloud非常适合,它有足够多的中间件,而且官方提供docker安装,但我本人在安装过程中遇到了很多坑,在这里记录一下防止下次会再次遇到。 项目地址 ht…...

面试求职-简历编写技巧

没有高水平简历 只有高匹配的简历 试问一下:如果一个非常牛逼的软件工程的硕士,投递市场营销岗位,结果会是什么样呢? 这位同学大概率没办法通过简历。 不是因为他不够优秀,而是因为简历和岗位不够匹配。 在公司的招…...

云原生安全性:构建可信任的云应用的最佳实践

文章目录 云原生安全性的重要性1. 数据隐私2. 恶意攻击3. 合规性要求4. 业务连续性 构建可信任的云应用的最佳实践1. 安全开发2. 身份验证与授权3. 容器安全性4. 监控与审计5. 持续集成与持续交付(CI/CD)6. 安全培训和教育 未来趋势:服务网格…...

第一章 数据库SQL-Server(及安装管理详细)

❄️作者介绍:奇妙的大歪❄️ 🎀个人名言:但行前路,不负韶华!🎀 🐽个人简介:云计算网络运维专业人员🐽 前言 21 世纪,人类迈入了“信息爆炸时代”&#xff0c…...

chrome extension无法获取window对象

背景见上一篇博客修改网页内容的方法 上一篇博客之后,我要修改的网页有一个新改版,然后有个数据存在了window中,我直接在js中使用window.xxx发现无法获取。所以有本文。 https://juejin.cn/post/7145749643316428830 https://onelinerhub.com…...

在linux虚拟机上安装docker(我的实践)

参考文章: https://blog.csdn.net/qq_29479041/article/details/82659218 步骤: 1.安装docker 参考文章: https://blog.csdn.net/qq_29479041/article/details/82659218 https://blog.csdn.net/qq_38345468/article/details/110128659 2.…...

Spring之事务开发

什么是事务? 事务是指数据库管理系统中的一个执行单位或一个逻辑工作单元,它由一个或多个数据库操作序列组成。事务具有以下四个特性,通常被称为ACID特性: 原子性(Atomicity):事务是一个不可分…...

干了三年的功能测试,让我女朋友跑了,太难受了...

简单概括一下 先说一下自己的情况,普通本科,19年通过校招进入深圳某软件公司,干了3年多的功能测试,21年的那会,因为大环境不好,我整个人心惊胆战的,怕自己卷铺盖走人了,我感觉自己不…...

JavaScript函数的使用

前言 程序中的foo、bar、baz 在学习编程的过程中,你可能会经常看到foo、bar、baz这些名词: 它们通常被用来作为函数、变量、文件的名词;目前已经编程了计算机编程的术语一部分;但是它们本身并没有特别的用途和意义;…...

Oracle查询表空间大小

1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...

Debian系统简介

目录 Debian系统介绍 Debian版本介绍 Debian软件源介绍 软件包管理工具dpkg dpkg核心指令详解 安装软件包 卸载软件包 查询软件包状态 验证软件包完整性 手动处理依赖关系 dpkg vs apt Debian系统介绍 Debian 和 Ubuntu 都是基于 Debian内核 的 Linux 发行版&#xff…...

【SpringBoot】100、SpringBoot中使用自定义注解+AOP实现参数自动解密

在实际项目中,用户注册、登录、修改密码等操作,都涉及到参数传输安全问题。所以我们需要在前端对账户、密码等敏感信息加密传输,在后端接收到数据后能自动解密。 1、引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId...

【机器视觉】单目测距——运动结构恢复

ps&#xff1a;图是随便找的&#xff0c;为了凑个封面 前言 在前面对光流法进行进一步改进&#xff0c;希望将2D光流推广至3D场景流时&#xff0c;发现2D转3D过程中存在尺度歧义问题&#xff0c;需要补全摄像头拍摄图像中缺失的深度信息&#xff0c;否则解空间不收敛&#xf…...

【论文笔记】若干矿井粉尘检测算法概述

总的来说&#xff0c;传统机器学习、传统机器学习与深度学习的结合、LSTM等算法所需要的数据集来源于矿井传感器测量的粉尘浓度&#xff0c;通过建立回归模型来预测未来矿井的粉尘浓度。传统机器学习算法性能易受数据中极端值的影响。YOLO等计算机视觉算法所需要的数据集来源于…...

全面解析各类VPN技术:GRE、IPsec、L2TP、SSL与MPLS VPN对比

目录 引言 VPN技术概述 GRE VPN 3.1 GRE封装结构 3.2 GRE的应用场景 GRE over IPsec 4.1 GRE over IPsec封装结构 4.2 为什么使用GRE over IPsec&#xff1f; IPsec VPN 5.1 IPsec传输模式&#xff08;Transport Mode&#xff09; 5.2 IPsec隧道模式&#xff08;Tunne…...

基于TurtleBot3在Gazebo地图实现机器人远程控制

1. TurtleBot3环境配置 # 下载TurtleBot3核心包 mkdir -p ~/catkin_ws/src cd ~/catkin_ws/src git clone -b noetic-devel https://github.com/ROBOTIS-GIT/turtlebot3.git git clone -b noetic https://github.com/ROBOTIS-GIT/turtlebot3_msgs.git git clone -b noetic-dev…...

从“安全密码”到测试体系:Gitee Test 赋能关键领域软件质量保障

关键领域软件测试的"安全密码"&#xff1a;Gitee Test如何破解行业痛点 在数字化浪潮席卷全球的今天&#xff0c;软件系统已成为国家关键领域的"神经中枢"。从国防军工到能源电力&#xff0c;从金融交易到交通管控&#xff0c;这些关乎国计民生的关键领域…...

MySQL的pymysql操作

本章是MySQL的最后一章&#xff0c;MySQL到此完结&#xff0c;下一站Hadoop&#xff01;&#xff01;&#xff01; 这章很简单&#xff0c;完整代码在最后&#xff0c;详细讲解之前python课程里面也有&#xff0c;感兴趣的可以往前找一下 一、查询操作 我们需要打开pycharm …...

【堆垛策略】设计方法

堆垛策略的设计是积木堆叠系统的核心&#xff0c;直接影响堆叠的稳定性、效率和容错能力。以下是分层次的堆垛策略设计方法&#xff0c;涵盖基础规则、优化算法和容错机制&#xff1a; 1. 基础堆垛规则 (1) 物理稳定性优先 重心原则&#xff1a; 大尺寸/重量积木在下&#xf…...