权限管理Ranger详解
文章目录
- 一、Ranger概述与安装
- 1、Ranger概述
- 1.1 Ranger介绍
- 1.2 Ranger的目标
- 1.3 Ranger支持的框架
- 1.4 Ranger的架构
- 1.5 Ranger的工作原理
- 2、Ranger安装
- 2.1 创建系统用户和Kerberos主体
- 2.2 数据库环境准备
- 2.3 安装RangerAdmin
- 2.4 启动RangerAdmin
- 二、Ranger简单使用
- 1、安装 RangerUsersync
- 1.1 RangerUsersync简介
- 1.2 RangerUsersync安装
- 1.3 RangerUsersync启动
- 2、安装Ranger Hive-plugin
- 2.1 Ranger Hive-plugin简介
- 2.2 Ranger Hive-plugin安装
- 2.3 在ranger admin上配置hive插件
- 3、使用Ranger对Hive进行权限管理
- 3.1 权限控制初体验
- 3.2 Ranger授权模型
一、Ranger概述与安装
1、Ranger概述
1.1 Ranger介绍
Ranger的官网:https://ranger.apache.org/
Apache Ranger是一个Hadoop平台上的全方位数据安全管理框架,它可以为整个Hadoop生态系统提供全面的安全管理。
随着企业业务的拓展,企业可能在多用户环境中运行多个工作任务,这就需要一个可以对安全策略进行集中管理,配置和监控用户访问的框架。Ranger由此产生
1.2 Ranger的目标
- 允许用户使用UI或REST API对所有和安全相关的任务进行集中化的管理
- 允许用户使用一个管理工具对操作Hadoop体系中的组件和工具的行为进行细粒度的授权
- 支持Hadoop体系中各个组件的授权认证标准
- 增强了对不同业务场景需求的授权方法支持,例如基于角色的授权或基于属性的授权
- 支持对Hadoop组件所有涉及安全的审计行为的集中化管理
1.3 Ranger支持的框架
- Apache Hadoop
- Apache Hive
- Apache HBase
- Apache Storm
- Apache Knox
- Apache Solr
- Apache Kafka
- YARN
- NIFI
1.4 Ranger的架构
1.5 Ranger的工作原理
Ranager的核心是Web应用程序,也称为RangerAdmin模块,此模块由管理策略,审计日志和报告等三部分组成。
管理员角色的用户可以通过RangerAdmin提供的web界面或REST APIS来定制安全策略。这些策略会由Ranger提供的轻量级的针对不同Hadoop体系中组件的插件来执行。插件会在Hadoop的不同组件的核心进程启动后,启动对应的插件进程来进行安全管理
2、Ranger安装
Ranger2.0要求对应的Hadoop为3.x以上,Hive为3.x以上版本,JDK为1.8以上版本。Hadoop及Hive等需开启用户认证功能,本文基于开启Kerberos安全认证的Hadoop和Hive环境。注:本文中所涉及的Ranger相关组件均安装在hadoop102节点
2.1 创建系统用户和Kerberos主体
Ranger的启动和运行需使用特定的用户,故须在Ranger所在节点创建所需系统用户并在Kerberos中创建所需主体
# 创建ranger系统用户
useradd ranger -G hadoop
echo ranger | passwd --stdin ranger# 检查HTTP主体是否正常(该主体在Hadoop开启Kerberos时已创建)
# 使用keytab文件认证HTTP主体
kinit -kt /etc/security/keytab/spnego.service.keytab HTTP/hadoop102@EXAMPLE.COM
# 查看认证状态
klist
kdestroy # 创建rangeradmin主体
kadmin -padmin/admin -wadmin -q"addprinc -randkey rangeradmin/hadoop102"
kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rangeradmin.keytab rangeradmin/hadoop102"
chown ranger:ranger /etc/security/keytab/rangeradmin.keytab
# 创建rangerlookup主体
kadmin -padmin/admin -wadmin -q"addprinc -randkey rangerlookup/hadoop102"
kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rangerlookup.keytab rangerlookup/hadoop102"
chown ranger:ranger /etc/security/keytab/rangerlookup.keytab
# 创建rangerusersync主体
kadmin -padmin/admin -wadmin -q"addprinc -randkey rangerusersync/hadoop102"
kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rangerusersync.keytab rangerusersync/hadoop102"
chown ranger:ranger /etc/security/keytab/rangerusersync.keytab
2.2 数据库环境准备
mysql -uroot -p123456
# 在MySQL数据库中创建Ranger存储数据的数据库
create database ranger;
# 更改mysql密码策略,为了可以采用比较简单的密码
set global validate_password_length=4;
set global validate_password_policy=0;
# 创建用户
grant all privileges on ranger.* to ranger@'%' identified by 'ranger';
2.3 安装RangerAdmin
# 官网:https://ranger.apache.org/
# 在hadoop102的/opt/module路径上创建一个ranger
# https://www.apache.org/dyn/closer.lua/ranger/2.0.0/apache-ranger-2.0.0.tar.gz
# 使用Maven命令编译,注意需要python,maven,git,java环境
# 具体编译可以参考:https://blog.csdn.net/weixin_38586230/article/details/105725346
mvn -DskipTests=true clean package
# 资源获取:https://download.csdn.net/download/lemon_TT/87961006
mkdir /opt/module/ranger
tar -zxvf ranger-2.0.0-admin.tar.gz -C /opt/module/ranger
# 进入/opt/module/ranger/ranger-2.0.0-admin路径,对install.properties配置
vim install.properties
# ===================================================
# 修改以下配置内容:
#mysql驱动
SQL_CONNECTOR_JAR=/opt/software/mysql-connector-java-5.1.37.jar#mysql的主机名和root用户的用户名密码
db_root_user=root
db_root_password=123456
db_host=hadoop102#ranger需要的数据库名和用户信息,和2.2.1创建的信息要一一对应
db_name=ranger
db_user=ranger
db_password=ranger#Ranger各组件的admin用户密码
rangerAdmin_password=atguigu123
rangerTagsync_password=atguigu123
rangerUsersync_password=atguigu123
keyadmin_password=atguigu123#ranger存储审计日志的路径,默认为solr,这里为了方便暂不设置
audit_store=#策略管理器的url,rangeradmin安装在哪台机器,主机名就为对应的主机名
policymgr_external_url=http://hadoop102:6080#启动ranger admin进程的linux用户信息
unix_user=ranger
unix_user_pwd=ranger
unix_group=ranger#Kerberos相关配置
spnego_principal=HTTP/hadoop102@EXAMPLE.COM
spnego_keytab=/etc/security/keytab/spnego.service.keytab
admin_principal=rangeradmin/hadoop102@EXAMPLE.COM
admin_keytab=/etc/security/keytab/rangeradmin.keytab
lookup_principal=rangerlookup/hadoop102@EXAMPLE.COM
lookup_keytab=/etc/security/keytab/rangerlookup.keytab
hadoop_conf=/opt/module/hadoop-3.1.3/etc/hadoop# ===================================================# 在/opt/module/ranger/ranger-2.0.0-admin目录下执行安装脚本
./setup.sh
# 若安装过程中发现Error executing: CREATE FUNCTION `getXportalUIdByLoginId`(input_val VARCHAR(100)) RETURNS int(11) BEGIN DECLARE myid INT; SELECT x_portal_user.id into myid FROM x_portal_user WHERE x_portal_user.login_id = input_val; RETURN myid; END
# 导入失败,log_bin_trust_function_creators 为 OFF
# 进入mysql进行设置
show variables like '%func%';
set global log_bin_trust_function_creators=1;
drop database ranger;
create database ranger;
# 最后重新安装# 修改/opt/module/ranger/ranger-2.0.0-admin/conf/ranger-admin-site.xml配置文件中的以下属性
vim /opt/module/ranger/ranger-2.0.0-admin/conf/ranger-admin-site.xml
修改如下参数
<property><name>ranger.jpa.jdbc.password</name><value>ranger</value><description />
</property><property><name>ranger.service.host</name><value>hadoop102</value>
</property>
2.4 启动RangerAdmin
# 启动ranger-admin(以ranger用户启动)
sudo -i -u ranger ranger-admin start
# ranger-admin在安装时已经配设置为开机自启动,因此之后无需再手动启动
jps
# 进程名字为EmbeddedServer
# 访问Ranger的WebUI,地址为:http://hadoop102:6080,账号密码admin/atguigu123
# 停止ranger(此处不用执行)
sudo -i -u ranger ranger-admin stop
二、Ranger简单使用
https://cwiki.apache.org/confluence/display/RANGER/Row-level+filtering+and+column-masking+using+Apache+Ranger+policies+in+Apache+Hive
1、安装 RangerUsersync
1.1 RangerUsersync简介
RangerUsersync作为Ranger提供的一个管理模块,可以将Linux机器上的用户和组信息同步到RangerAdmin的数据库中进行管理
1.2 RangerUsersync安装
# 解压
tar -zxvf ranger-2.0.0-usersync.tar.gz -C /opt/module/ranger/
# 在/opt/module/ranger/ranger-2.0.0-usersync目录下修改以下文件
vim install.properties
# ================================
#rangeradmin的url
POLICY_MGR_URL =http://hadoop102:6080#同步间隔时间,单位(分钟)
SYNC_INTERVAL = 1#运行此进程的linux用户
unix_user=ranger
unix_group=ranger#rangerUserSync用户的密码,参考rangeradmin中install.properties的配置
rangerUsersync_password=atguigu123#Kerberos相关配置
usersync_principal=rangerusersync/hadoop102@EXAMPLE.COM
usersync_keytab=/etc/security/keytab/rangerusersync.keytab
hadoop_conf=/opt/module/hadoop-3.1.3/etc/hadoop# ================================# 在/opt/module/ranger/ranger-2.0.0-usersync目录下执行安装脚本
./setup.sh
# 修改/opt/module/ranger/ranger-2.0.0-usersync/conf/ranger-ugsync-site.xml配置文件中的以下参数
<property><name>ranger.usersync.enabled</name><value>true</value>
</property>
1.3 RangerUsersync启动
# 启动之前,在ranger admin的web-UI界面,http://hadoop102:6080/index.html#!/users/usertab
# 启动RangerUserSync(使用ranger用户启动)
sudo -i -u ranger ranger-usersync start
# 启动后,再次查看用户信息
# 说明ranger-usersync工作正常!
# ranger-usersync服务也是开机自启动的,因此之后不需要手动启动
2、安装Ranger Hive-plugin
2.1 Ranger Hive-plugin简介
Ranger Hive-plugin是Ranger对hive进行权限管理的插件。需要注意的是,Ranger Hive-plugin只能对使用jdbc方式访问hive的请求进行权限管理,hive-cli并不受限制
2.2 Ranger Hive-plugin安装
# 解压软件
tar -zxvf ranger-2.0.0-hive-plugin.tar.gz -C /opt/module/ranger/
# 配置软件
vim install.properties
# 修改以下内容
# ===================================
#策略管理器的url地址
POLICY_MGR_URL=http://hadoop102:6080#组件名称
REPOSITORY_NAME=hive#hive的安装目录
COMPONENT_INSTALL_DIR_NAME=/opt/module/hive#hive组件的启动用户
CUSTOM_USER=hive#hive组件启动用户所属组
CUSTOM_GROUP=hadoop
# =====================================
# 启用Ranger Hive-plugin,在/opt/module/ranger/ranger-2.0.0-hive-plugin下执行以下命令
./enable-hive-plugin.sh
# 查看$HIVE_HOME/conf目录是否出现以下配置文件,如出现则表示Hive插件启用成功。
ls $HIVE_HOME/conf | grep -E hiveserver2\|ranger
# 重启Hiveserver2,需使用hive用户启动
sudo -i -u hive hiveserver2
2.3 在ranger admin上配置hive插件
谁启动hiveserver2谁设置为admin角色,我这里hive启动,将角色设置为Admin
配置Hive插件,点击Access Manager,添加Hive Manager,配置服务详情
Service Name:hive
Username:rangerlookup
Password:rangerlookup
jdbc.driverClassName:org.apache.hive.jdbc.HiveDriver
jdbc.url:jdbc:hive2://hadoop102:10000/;principal=hive/hadoop102@EXAMPLE.COM
先进行add,如何在编辑进行测试,可以发现成功连接了
3、使用Ranger对Hive进行权限管理
3.1 权限控制初体验
查看默认的访问策略,此时只有rangerlookup用户拥有对所有库、表和函数的访问权限,故理论上其余用户是不能访问任何Hive资源的
# 验证:使用atguigu用户尝试进行认证,认证成功后,使用beeline客户端连接Hiveserver2
# 首先进行认证
kinit atguigu
beeline -u "jdbc:hive2://hadoop102:10000/;principal=hive/hadoop102@EXAMPLE.COM"
# 执行以下sql语句,验证当前用户为atguigu
select current_user();
# 执行use gmall语句,结果atguigu用户没有对gmall库的使用权限
use gmall;
# 赋予atguigu用户对gmall数据库的访问权限
# 点击hive->点击Add New Policy
# 配置授权策略,将gmall库的所有表的所有权限均授予给了atguigu用户
等待片刻,在回到beeline客户端,重新执行use gmall语句,此时atguigu用户已经能够使用gmall库,并且可访问gmall库下的所有表了
3.2 Ranger授权模型
Ranger所采用的权限管理模型可归类为RBAC(Role-Based Access Control )基于角色的访问控制。基础的RBAC模型共包含三个实体,分别是用户(user)、角色(role)和权限(permission)。用户需划分为某个角色,权限的授予对象也是角色,例如用户张三为管理角色,那他就拥有了管理员角色的所有权限。
Ranger的权限管理模型比基础的RBAC模型要更加灵活,以下是Ranger的权限管理模型。
相关文章:

权限管理Ranger详解
文章目录 一、Ranger概述与安装1、Ranger概述1.1 Ranger介绍1.2 Ranger的目标1.3 Ranger支持的框架1.4 Ranger的架构1.5 Ranger的工作原理 2、Ranger安装2.1 创建系统用户和Kerberos主体2.2 数据库环境准备2.3 安装RangerAdmin2.4 启动RangerAdmin 二、Ranger简单使用1、安装 R…...

WPF Extended.Wpf.Toolkit 加载界面
1、NuGet 中安装 Extended.Wpf.Toolkit 。 2、在MainWindow.xaml中添加xmlns:tk"http://schemas.xceed.com/wpf/xaml/toolkit" 。 MainWindow.xaml 代码如下。 <Window x:Class"WPF_Extended_Wpf_Toolkit_Loading.MainWindow" xmlns"ht…...

【切换网络连接后】VMware虚拟机网络配置【局域网通信】
初次安装Linux虚拟机以及切换网络都需要配置虚拟机网络, 从而使得win主机内通过远程连接工具能够连接该虚拟机, 而不是在虚拟机内操作。 本片文章你将了解到网络切换后如何配置虚拟机网络的一些基础操作,以及局域网通信的一些基础知识。 …...

革新鞋服零售:数据驱动的智能商品管理 解锁库存优化与高效增长
国内鞋服零售企业经过多年的发展,已经形成诸多家喻户晓的品牌,但近年来一些企业的库存问题也时常显现,高库存不仅困扰着品牌商,也使一些多年合作良好的经销商深受其害,当下的订货会制度在初期帮助企业解决了盲目生产的…...

word文件的创建时间和修改时间可以更改吗?答案是肯定的 文件属性修改的方法
一,引言 在日常生活和工作中,我们经常需要处理各种Word文件。有时,由于某些原因,我们可能需要更改Word文件的创建时间和修改时间。虽然这听起来可能有些复杂,但实际上,通过一些简单的方法和工具࿰…...

redisson -- 延迟队列RDelayedQueue
1.maven配置 <!-- 用于管理起步工程的依赖管理 --><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.6.11</version><relativePath/> </parent…...

Flex弹性盒子布局案例(认识弹性布局)
一、导航菜单 此示例创建了一个水平导航菜单,其中链接在 Flex 容器中等距分布。 HTML结构: <nav class"nav-menu"><a href"#">Home</a><a href"#">About</a><a href"#">…...

【ros2】ros1和ros2可以同时在一台机器上运行吗
可以,ROS 1 和 ROS 2 是两个不同版本的 Robot Operating System (ROS),它们分别有着各自的架构、消息传递机制以及配套工具集。尽管存在这些差异,ROS 1 和 ROS 2 可以在同一台 Ubuntu 系统上共存并独立运行。以下是一些关键点来说明如何实现这…...
PMSM MATLAB
// s-function搭建变参数PMSM模型 ///...

笔记本电脑上的聊天机器人: 在英特尔 Meteor Lake 上运行 Phi-2
对应于其强大的能力,大语言模型 (LLM) 需要强大的算力支撑,而个人计算机上很难满足这一需求。因此,我们别无选择,只能将它们部署至由本地或云端托管的性能强大的定制 AI 服务器上。 为何需要将 LLM 推理本地化 如果我们可以在典配…...

【Web】陇原战“疫“2021网络安全大赛 题解
目录 CheckIN eaaasyphp EasyJaba CheckIN 拿到附件,贴出关键代码 func getController(c *gin.Context) {cmd : exec.Command("/bin/wget", c.QueryArray("argv")[1:]...)err : cmd.Run()if err ! nil {fmt.Println("error: ", …...

010Node.js自定义模块通过exports的使用,两种暴露的方法及区别(二)
module/request.js var obj{get:function(){console.log(从服务器获取数据);},post:function(){console.log(提交数据);} }exports.xxxxobj;//方法一 { xxxx: { get: [Function: get], post: [Function: post] } }//module.exportsobj;//方法二 //{ get: [Function: g…...

【CVE-2010-2883】进行钓鱼攻击的研究
最近作业中研究APT攻击,了解到2011年前后披露的LURID-APT,其中敌手利用了各种版本的文件查看器的漏洞实现攻击。CVE-2010-2883就是其中被利用的一个adobe reader的漏洞。特此复现,更好的研究和防范APT攻击。 本文仅仅是对相关漏洞利用的学习…...
【Python】如何在Ubuntu上设置Python脚本开机自启
你不知道我为什么狠下心 盘旋在你看不见的高空里 多的是 你不知道的事 蝴蝶眨几次眼睛 才学会飞行 夜空洒满了星星 但几颗会落地 我飞行 但你坠落之际 很靠近 还听见呼吸 对不起 我却没捉紧你 🎵 王力宏《你不知道的事》 前置要求 确保你的Ub…...

计算机视觉——OpenCV Python基于颜色识别的目标检测
1. 计算机视觉中的颜色空间 颜色空间在计算机视觉领域的应用非常广泛,它们在图像和视频处理、物体检测等任务中扮演着重要角色。颜色空间的主要作用是将颜色以数值形式表示出来,这样计算机算法就能够对其进行处理和分析。不同的颜色空间有着不同的特点和…...

2024中国内燃机展-北京汽车发动机零部件展
2024第二十三届中国国际内燃机与零部件展览会 由中国内燃机工业协会主办、中国机床专用技术设备有限公司、汽车工艺装备成套开发集团协办的2024中国国际内燃机及动力装备博览会(简称“动博会”)将于2024年10月11日-13日在亦创国际会展中心隆重举办。本届…...

【iOS】——SDWebImage源码学习
文章目录 一、SDWebIamge简介二、SDWebImage的调用流程SDWebImage源码分析1.UIImageViewWebCache层2.UIViewWebCache层3.SDWebManager层4.SDWebCache层5.SDWebImageDownloader层 一、SDWebIamge简介 SDWebImage是iOS中提供图片加载的第三方库,可以给UIKit框架中的控…...

树和二叉树(一)
一、树 非线性数据结构,在实际场景中,存在一对多,多对多的情况。 树( tree)是n (n>0)个节点的有限集。当n0时,称为空树。 在任意一个非空树中,有如下特点。 1.有且仅有一个特定的称为根的节点…...

RAID 磁盘阵列及RAID配置实战
目录 一.RAID磁盘阵列介绍 二.常用的RAID磁盘阵列的介绍 1.RAID 0 (条带化存储) 2.RAID 1(镜像存储) 3.RAID 5 4.RAID 6 5.RAID 10(先做镜像,再做条带) 6.RAID 01 (先做条带…...

listpack
目录 为什么有listpack? listpack结构 listpack的节点entry 长度length encoding编码方式 listpack的API 1.创建listpack 2.遍历操作 正向遍历 反向遍历 3.查找元素 4.插入/替换/删除元素 总结 为什么有listpack? ziplist是存储在连续内存空间,节省…...

多云管理“拦路虎”:深入解析网络互联、身份同步与成本可视化的技术复杂度
一、引言:多云环境的技术复杂性本质 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时,基础设施的技术债呈现指数级积累。网络连接、身份认证、成本管理这三大核心挑战相互嵌套:跨云网络构建数据…...
[2025CVPR]DeepVideo-R1:基于难度感知回归GRPO的视频强化微调框架详解
突破视频大语言模型推理瓶颈,在多个视频基准上实现SOTA性能 一、核心问题与创新亮点 1.1 GRPO在视频任务中的两大挑战 安全措施依赖问题 GRPO使用min和clip函数限制策略更新幅度,导致: 梯度抑制:当新旧策略差异过大时梯度消失收敛困难:策略无法充分优化# 传统GRPO的梯…...

(十)学生端搭建
本次旨在将之前的已完成的部分功能进行拼装到学生端,同时完善学生端的构建。本次工作主要包括: 1.学生端整体界面布局 2.模拟考场与部分个人画像流程的串联 3.整体学生端逻辑 一、学生端 在主界面可以选择自己的用户角色 选择学生则进入学生登录界面…...

《从零掌握MIPI CSI-2: 协议精解与FPGA摄像头开发实战》-- CSI-2 协议详细解析 (一)
CSI-2 协议详细解析 (一) 1. CSI-2层定义(CSI-2 Layer Definitions) 分层结构 :CSI-2协议分为6层: 物理层(PHY Layer) : 定义电气特性、时钟机制和传输介质(导线&#…...

vscode(仍待补充)
写于2025 6.9 主包将加入vscode这个更权威的圈子 vscode的基本使用 侧边栏 vscode还能连接ssh? debug时使用的launch文件 1.task.json {"tasks": [{"type": "cppbuild","label": "C/C: gcc.exe 生成活动文件"…...

AI,如何重构理解、匹配与决策?
AI 时代,我们如何理解消费? 作者|王彬 封面|Unplash 人们通过信息理解世界。 曾几何时,PC 与移动互联网重塑了人们的购物路径:信息变得唾手可得,商品决策变得高度依赖内容。 但 AI 时代的来…...

视频行为标注工具BehaviLabel(源码+使用介绍+Windows.Exe版本)
前言: 最近在做行为检测相关的模型,用的是时空图卷积网络(STGCN),但原有kinetic-400数据集数据质量较低,需要进行细粒度的标注,同时粗略搜了下已有开源工具基本都集中于图像分割这块,…...

SiFli 52把Imagie图片,Font字体资源放在指定位置,编译成指定img.bin和font.bin的问题
分区配置 (ptab.json) img 属性介绍: img 属性指定分区存放的 image 名称,指定的 image 名称必须是当前工程生成的 binary 。 如果 binary 有多个文件,则以 proj_name:binary_name 格式指定文件名, proj_name 为工程 名&…...
Go 语言并发编程基础:无缓冲与有缓冲通道
在上一章节中,我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道,它们在并发编程中各具特点和应用场景。 一、通道的基本分类 类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好࿰…...

R 语言科研绘图第 55 期 --- 网络图-聚类
在发表科研论文的过程中,科研绘图是必不可少的,一张好看的图形会是文章很大的加分项。 为了便于使用,本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中,获取方式: R 语言科研绘图模板 --- sciRplothttps://mp.…...