当前位置： 首页 > news >正文

大数据安全方案 验证

news 2025/12/31 11:37:53

一、背景

文档用于记录配置 Kerberos 和 Ranger 后，对 HDFS、Hive 认证和鉴权的功能测试。

二、Kerberos 验证

2.1、验证功能 1，HDFS 认证

2.1.1、访问 HDFS

Kerberos 验证前，访问 HDFS 失败。
在这里插入图片描述
Kerberos 验证后，访问 HDFS 成功。
在这里插入图片描述

2.2、验证功能 2，Hive 认证

2.2.1、访问 Hive

Kerberos 验证前，访问 Hive 失败。
在这里插入图片描述
Kerberos 验证后，访问 Hive 成功。
在这里插入图片描述

2.3、验证功能 3，HDFS 鉴权

认证通过之后，对鉴权进行测试。

2.3.1、测试对 HDFS 的查看权限

把用户 lexin_user_2 添加到 hadoop 组之前，有查看的权限，但没有写入和删除的权限。
在这里插入图片描述
linux层面权限设置。把用户 lexin_user_2 添加到 hadoop 组里。
在这里插入图片描述
HDFS层面权限设置。设置 hadoop 组对 HDFS 指定路径有查看和写入的权限。
在这里插入图片描述

2.3.2、测试对 HDFS 的写入权限

把用户 lexin_user_2 添加到 hadoop 组之后，测试写入权限成功。
在这里插入图片描述

2.4、验证功能 4，Hive 鉴权

2.4.1、测试对Hive的增删改查权限

Kerberos 只有认证的功能，如果有鉴权的需求，需要结合 Ranger。

三、Ranger 验证

3.1、验证功能 1，HDFS 鉴权

Ranger 设置权限之前，读写操作被禁止
在这里插入图片描述
Ranger 设置权限之后，
在这里插入图片描述

3.1.1、测试对 HDFS 的查看权限

在这里插入图片描述

3.1.2、测试对 HDFS 的写入权限

在这里插入图片描述

3.2、验证功能 2，Hive 鉴权

3.2.1、测试对 Hive 的查询权限

3.2.1.1、设置只对表 test_hive_row_number_1 有查询权限

在这里插入图片描述
在这里插入图片描述

3.2.1.1、设置对表 test_hive_row_number_2 也同时有查询权限

在这里插入图片描述
在这里插入图片描述

3.2.2、设置只对表 test_hive_row_number_1 有更新权限

在这里插入图片描述
在这里插入图片描述

相关文章：

大数据安全方案 验证

一、背景 文档用于记录配置 Kerberos 和 Ranger 后，对 HDFS、Hive 认证和鉴权的功能测试。 二、Kerberos 验证 2.1、验证功能 1，HDFS 认证 2.1.1、访问 HDFS Kerberos 验证前，访问 HDFS 失败。 Kerberos 验证后，访问 HDFS 成…...

编程日记 2024/11/2 7:42:08

电脑软件：推荐一款免费且实用的电脑开关机小工具

目录 一、软件简介 二、软件功能 三、软件特点 四、使用说明 五、软件下载 今天给大家推荐一款免费且实用的电脑开关机小工具KShutdown，有需要的朋友可以下载试一下！ 一、软件简介 KShutdown是一款精巧且实用的定时自动关机小工具，对于…...

编程日记 2024/11/2 7:41:03

php反序列化靶场随笔分析

项目地址：github.com/mcc0624/php_ser_Class 推荐使用docker部署：https://hub.docker.com/r/mcc0624/ser/tags 前面讲了以下php基础，我们直接从class6开始实验 class6 访问页面，传一个序列化的字符串，php代码将其反…...

编程日记 2024/11/2 7:39:00

动态规划 - 编辑距离

115. 不同的子序列 困难 给你两个字符串 s 和 t ，统计并返回在 s 的 子序列 中 t 出现的个数，结果需要对 10^9 7 取模。 算法思想：利用动态规划，分s[i - 1] 与 t[j - 1]相等，s[i - 1] 与 t[j - 1] 不相等两种情况具…...

编程日记 2024/11/2 7:36:58

力扣——113. 路径总和

113. 路径总和 II 给你二叉树的根节点 root 和一个整数目标和 targetSum ，找出所有 从根节点到叶子节点 路径总和等于给定目标和的路径。 叶子节点 是指没有子节点的节点。 示例 1： 输入：root [5,4,8,11,null,13,4,7,2,null,null,5,1], t…...

编程日记 2024/11/2 7:35:53

C02S04-Ubuntu基本使用

一、Ubuntu初始配置 1. 使用root用户 Ubuntu系统默认只能使用普通用户，要想使用root用户，需要先设置root用户密码。 进入终端，配置root用户密码。按照提示输入密码。 sudo passwd root配置完成后，执行下面的密码，切换…...

编程日记 2024/11/2 7:34:52

C语言 | Leetcode C语言题解之第525题连续数组

题目： 题解： struct HashTable {int key, val;UT_hash_handle hh; };int findMaxLength(int* nums, int numsSize) {int maxLength 0;struct HashTable* hashTable NULL;struct HashTable* tmp malloc(sizeof(struct HashTable));tmp->key 0, tm…...

编程日记 2024/11/2 7:33:51

Qml-Transition的使用

Qml-Transition的使用 Transition的概述 Transition：定义了当状态发生改变时应用的动画属性animations : list：(Transition)过渡的动画属性enabled : bool：状态发生变化时，是否使能此过渡（Transition）动画…...

编程日记 2024/11/2 7:32:50

Notepad++检索包含多个关键字的行

Notepad检索包含多个关键字的行 在Notepad中，你可以使用正则表达式来检索包含多个关键字的行。以下是具体步骤： 打开Notepad，打开要搜索的文件。 点击菜单栏上的“搜索”选项，然后选择“查找”。 在弹出的查找对话框中&#xf…...

编程日记 2024/11/2 7:30:48

C语言:水仙花树,要求三位以上的N位整数每位的N次方等于数本身,全部输出出来

#include <stdio.h> int main() { int n; scanf("%d",&n);//这里是说明多少n位整数 int first1; int i1; while(i<n){//此while循环可以得到n位数的最小位,例如3位的100. first*10; i; } ifirst; whil…...

编程日记 2024/11/2 7:28:46

金融贷款口子超市V2源码 Thinkphp开发的贷款和超市平台源码（亲测源码含安装视频教程）

金融贷款口子超市V2源码 Thinkphp开发的贷款和超市平台源码 源码下载&#xff1a;https://download.csdn.net/download/m0_66047725/89938268 更多资源下载&#xff1a;关注我。...

编程日记 2024/11/2 7:23:41

redis的三种客户端

在 Redis 中&#xff0c;常用的 Java 客户端有三种&#xff1a;Jedis、Lettuce 和 Redisson。它们各有特点&#xff0c;适用于不同的场景。以下是它们的详细介绍&#xff0c;以及如何在 Spring Boot 中集成 Redis。 一、Redis 三种常用客户端详解 1.1 Jedis Jedis 是 Redis 官…...

编程日记 2024/11/2 7:22:40

边缘计算【智能+安全检测】系列教程--agx orin解决RTC时间问题

因为是离线运行&#xff0c;首要问题是时间不准确&#xff0c;就在主板上加装了纽扣电池&#xff0c;但是会有一系列问题&#xff0c;比如无法将RTC时间回写到系统时间&#xff0c;或者无法将系统时间写到RTC中等等一些列问题。为解决这些问题&#xff0c;一劳永逸的方式&#…...

编程日记 2024/11/2 7:20:37

数据库动态扩容：Java实现与技术策略

引言 数据库动态扩容是应对数据量增长和业务需求变化的关键技术。它允许数据库系统在不停机的情况下&#xff0c;通过增加或减少资源来适应业务负载的变化。本文将详细介绍数据库动态扩容的工作原理、技术策略&#xff0c;并提供Java代码示例。 1. 数据库动态扩容的工作原理 …...

编程日记 2024/11/2 7:18:35

Golang | Leetcode Golang题解之第525题连续数组

题目&#xff1a; 题解&#xff1a; func findMaxLength(nums []int) (maxLength int) {mp : map[int]int{0: -1}counter : 0for i, num : range nums {if num 1 {counter} else {counter--}if prevIndex, has : mp[counter]; has {maxLength max(maxLength, i-prevIndex)} …...

编程日记 2024/11/2 7:17:34

低代码架构浅析

低代码的定义与应用场景 定义 低代码平台是一种通过可视化工具和预定义组件实现快速应用开发的环境&#xff0c;显著减少了编码量。它旨在简化开发流程&#xff0c;加快应用交付&#xff0c;提高开发效率&#xff0c;使非技术人员也能参与应用开发。 应用场景 企业内部应用 …...

编程日记 2024/11/2 7:16:33

mysql字段是datetime如何按照小时来统计

在 MySQL 中&#xff0c;如果你有一个包含 DATETIME 类型的列&#xff0c;并且你想按照小时来统计数据&#xff0c;可以使用 DATE_FORMAT 函数将 DATETIME 列格式化为仅包含日期和小时的形式&#xff0c;然后使用 GROUP BY 子句来分组。 假设你有一个名为 events 的表&#xf…...

编程日记 2024/11/2 7:15:32

nacos快速启动

预备环境准备&#xff1a; 确保是64 bit OS&#xff08;推荐Linux/Unix/Mac&#xff09;&#xff0c;安装64 bit JDK 1.8并下载&配置&#xff0c;安装Maven 3.2.x并下载&配置。 下载源码或者安装包&#xff1a; 从Github上下载源码方式&#xff1a; git clone https://…...

编程日记 2024/11/2 7:13:30

@Excel若依导出异常/解决BusinessBaseEntity里面的字段不支持导出

今天发现所有实体类继承BusinessBaseEntity里面的这些通用字段不支持导出&#xff0c;debug时发现是这样&#xff1a; 导出效果 这里我把能查到的方法都汇总了&#xff0c;如果你也遇到这个异常&#xff0c;可以去逐步排查 1.先看库里有没有数据 2.看字段名是否对齐 3.所需要…...

编程日记 2024/11/2 7:12:29

虚拟机 Email 恢复专用工具：Virtual Machine Email Recovery

天津鸿萌科贸发展有限公司从事数据安全服务二十余年&#xff0c;致力于为各领域客户提供专业的数据恢复、数据备份解决方案与服务&#xff0c;并针对企业面临的数据安全风险&#xff0c;提供专业的相关数据安全培训。 天津鸿萌科贸发展有限公司是 SysTools 系列数据恢复、取证及…...

编程日记 2024/11/2 7:11:28

HTML 语义化

目录 HTML 语义化HTML5 新特性HTML 语义化的好处语义化标签的使用场景最佳实践 HTML 语义化 HTML5 新特性 标准答案&#xff1a; 语义化标签&#xff1a; <header>&#xff1a;页头<nav>&#xff1a;导航<main>&#xff1a;主要内容<article>&#x…...

编程新知 2025/11/25 7:21:34

java_网络服务相关_gateway_nacos_feign区别联系

1. spring-cloud-starter-gateway 作用&#xff1a;作为微服务架构的网关&#xff0c;统一入口&#xff0c;处理所有外部请求。 核心能力&#xff1a; 路由转发&#xff08;基于路径、服务名等&#xff09;过滤器&#xff08;鉴权、限流、日志、Header 处理&#xff09;支持负…...

编程新知 2025/11/28 2:51:33

基于FPGA的PID算法学习———实现PID比例控制算法

基于FPGA的PID算法学习 前言一、PID算法分析二、PID仿真分析1. PID代码2.PI代码3.P代码4.顶层5.测试文件6.仿真波形 总结 前言 学习内容&#xff1a;参考网站&#xff1a; PID算法控制 PID即&#xff1a;Proportional&#xff08;比例&#xff09;、Integral&#xff08;积分&…...

编程新知 2025/12/22 21:48:33

【OSG学习笔记】Day 18: 碰撞检测与物理交互

物理引擎&#xff08;Physics Engine&#xff09; 物理引擎 是一种通过计算机模拟物理规律&#xff08;如力学、碰撞、重力、流体动力学等&#xff09;的软件工具或库。 它的核心目标是在虚拟环境中逼真地模拟物体的运动和交互&#xff0c;广泛应用于 游戏开发、动画制作、虚…...

编程新知 2025/12/28 10:52:10

练习（含atoi的模拟实现,自定义类型等练习）

一、结构体大小的计算及位段 &#xff08;结构体大小计算及位段 详解请看&#xff1a;自定义类型&#xff1a;结构体进阶-CSDN博客&#xff09; 1.在32位系统环境&#xff0c;编译选项为4字节对齐&#xff0c;那么sizeof(A)和sizeof(B)是多少&#xff1f; #pragma pack(4)st…...

编程新知 2025/12/30 17:20:18

Redis相关知识总结（缓存雪崩，缓存穿透，缓存击穿，Redis实现分布式锁，如何保持数据库和缓存一致）

文章目录 1.什么是Redis&#xff1f;2.为什么要使用redis作为mysql的缓存&#xff1f;3.什么是缓存雪崩、缓存穿透、缓存击穿&#xff1f;3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

编程新知 2025/12/31 0:07:12

线程同步：确保多线程程序的安全与高效！

全文目录&#xff1a; 开篇语前序前言第一部分&#xff1a;线程同步的概念与问题1.1 线程同步的概念1.2 线程同步的问题1.3 线程同步的解决方案 第二部分&#xff1a;synchronized关键字的使用2.1 使用 synchronized修饰方法2.2 使用 synchronized修饰代码块 第三部分&#xff…...

编程新知 2025/9/24 16:02:40

Auto-Coder使用GPT-4o完成：在用TabPFN这个模型构建一个预测未来3天涨跌的分类任务

通过akshare库&#xff0c;获取股票数据&#xff0c;并生成TabPFN这个模型 可以识别、处理的格式&#xff0c;写一个完整的预处理示例&#xff0c;并构建一个预测未来 3 天股价涨跌的分类任务 用TabPFN这个模型构建一个预测未来 3 天股价涨跌的分类任务&#xff0c;进行预测并输…...

编程新知 2025/9/20 4:34:47

WEB3全栈开发——面试专业技能点P2智能合约开发（Solidity）

一、Solidity合约开发 下面是 Solidity 合约开发 的概念、代码示例及讲解&#xff0c;适合用作学习或写简历项目背景说明。 &#x1f9e0; 一、概念简介&#xff1a;Solidity 合约开发 Solidity 是一种专门为 以太坊&#xff08;Ethereum&#xff09;平台编写智能合约的高级编…...

编程新知 2025/12/11 1:32:07

Redis数据倾斜问题解决

Redis 数据倾斜问题解析与解决方案 什么是 Redis 数据倾斜 Redis 数据倾斜指的是在 Redis 集群中&#xff0c;部分节点存储的数据量或访问量远高于其他节点&#xff0c;导致这些节点负载过高&#xff0c;影响整体性能。 数据倾斜的主要表现 部分节点内存使用率远高于其他节…...

编程新知 2025/12/31 2:19:57