【华为数据之道学习笔记】6-7打造业务自助分析的关键能力
华为公司将自助分析作为一种公共能力,在企业层面进行了统一构建。一方面,面向不同的消费用户提供了差异性的能力和工具支撑;另一方面,引入了“租户”概念,不同类型的用户可以在一定范围内分析数据、共享数据结果。
1. 针对三类角色提供的差异性服务
面向三类角色的分析架构能力。
(1)面向业务分析师,提供自助分析能力,业务人员通过“拖、拉、拽”即可快速产生分析报告
- 基于多租户环境,提供数据资产订阅、报表作品搜索、服务订阅等能力。
- 实现从数据查询到数据拖拽式分析的端到端的一站式自助作业,增强数据即席查询和数据建模等功能。
- 提供数据搜索、数据获取、自助分析、数据消费等一站式自助分析服务,缩短报表开发周期。
- 支持租户管理、工具集管理、日志管理功能,集成数据底座权限模型,提供稳定的分析环境。
(2)面向数据科学家,提供高效的数据接入能力和常用的数据分析组件,快速搭建数据探索和分析环境
- 集成数据可视化、数据建模能力,降低数据分析门槛,提高平台的易用性。
- 识别公共诉求,提供R Studio、Zeppelin等工具集,增强NLP基础服务、人工智能等分析装备对于机会点的支撑能力,支撑各种大数据分析应用场景。
- 提供源系统到分析平台的数据实时同步功能。
- 为数据科学家提供数据目录导航入口。
- 提供数据分析环境,支持权限申请和计算资源的分配,缩短建模周期。
(3)面向IT开发人员,提供云端数据开发、计算、分析、应用套件,支撑海量数据的分析与可视化,实现组件重用
- 整合数据接入、数据计算、数据挖掘、数据展现等能力,提供高效、安全的数据集成、数据开发、报告开发、数据管理等服务,减少重复建设,实现组件重用。
- 整合第三方资源,依托HIC能力通道,提供自助、按需、在线的基础数据服务,包括分布式处理、实时处理、内存计算等。
2. 以租户为核心的自助分析关键能力
(1)多租户管理能力
租户是指把数据、分析工具、计算资源有机组合的工作环境,用户可以在租户内自助完成数据搜索、数据加工、在线分析、报表共享等工作。
多租户技术也称多重租赁技术,是一种软件架构技术。多租户技术可以实现多个租户之间共享系统实例,同时也可以实现租户的系统保证系统共性的部分被共享,个性的部分被单独隔离。例如,按国家设定不同租户,这样在本租户内共享该国的经营分析结果,共同进行异常分析和经营改进;同时,该租户数据对其他国家屏蔽,避免了数据扩散等安全风险。
为了合理分配软硬件资源,满足各领域在线、自助、个性化的数据分析诉求,促进数据的安全共享和价值变现,明确了租户申请、租户命名、数据准备、数据同步、数据加工、数据申请、权限管理、安全与隐私、运维与运营等方面的要求,旨在通过正确的引导,确保数据消费的便捷、高效与安全合规,支持公司的数字化转型。
在多租户建设中,相对于技术层面的解决方案,租户管理的职责需要在企业里建立共识,将共识以标准规范的形式固化下来。。
租户的4个关键角色如下所示。
- 租户Owner:租户管理的第一责任人,由公司正式任命的管理者或者变革项目经理担任,是租户内数据消费的总责任人。
- 租户管理员:由租户Owner指定并授权,是对租户内资产、用户、报告的日常维护、配置、授权承担具体管理职责的人员。
- 查看者:申请并被允许加入租户,只对租户内的报告有查看权限的租户用户。
- 分析师:申请并被允许加入租户,对数据资产可执行申请数据入租户、申请租户授权通过分析工具分析数据、制作报告、查看报告、分享报告等操作的租户用户。
(2)数据加工能力
在同一个租户空间内,对数据进行关联、过滤等操作,满足最终分析报告的数据需求。
用户可将多个数据进行关联,构建自己的宽表,可对宽表进行数据过滤,选择合适的字段以及增加计算字段。
(3)数据分析能力
基于消费场景,利用租户内授权的数据资产,通过分析工具对数据进行分析并生成可视化报告。
用户可以选择即席查询自行配置各类条件后的结果数据,再基于这些数据直接链接到不同的分析工具,进行进一步的数据分析。
1)即席查询
提供通过筛选条件展示结果数据的能力。
提供生产环境的实时数据内容,有助于用户通过筛选后的结果数据判断能否满足最终的分析需求。
分析结果支持以文件服务器的方式下载,满足本地化处理的需求,同时避免数据被过度共享。
2)可视分析
查看已授权并加工好的数据的详情,进入可视化分析阶段,充分利用企业现有的分析工具,或打通主流的商业分析工具,减少开发成本,降低学习成本。
数据打通,已授权加工后的数据可以直接进入分析工具进行分析操作。最大程度利用各种分析工具的已有功能。
(4)自助分享能力
基于自助分享能力,可以对分析报告进行密级设定和权限管理,向租户个人或者群体分享报告,不仅可以分享给本租户内指定的用户,而且可以进行跨租户分享。这样一方面可以扩大报告的使用范围,降低报告重复建设过程中的成本,另一方面也有助于解决分析结果不一致的问题。
- 对报表提供浏览和编辑能力,查找需要浏览的报表,选择查看、编辑、分享、删除功能。
- 提供对生成的报告定义密级的能力,报告生成者作为报告的Owner,定义密级和管控分享范围。
相关文章:
【华为数据之道学习笔记】6-7打造业务自助分析的关键能力
华为公司将自助分析作为一种公共能力,在企业层面进行了统一构建。一方面,面向不同的消费用户提供了差异性的能力和工具支撑;另一方面,引入了“租户”概念,不同类型的用户可以在一定范围内分析数据、共享数据结果。 1. …...
K8S从harbor中拉取镜像的规则imagePullPolicy
1、参数 配制参数为:imagePullPolicy: 可以选择的值有:Always,IfNotPresent,Never 2、参数结果 如果pod的镜像拉取策略为imagePullPolicy: Always:当harbor不能运行后,pod会一直从harbor上拉…...
LeetCode刷题--- 优美的排列
个人主页:元清加油_【C】,【C语言】,【数据结构与算法】-CSDN博客元清加油_【C】,【C语言】,【数据结构与算法】-CSDN博客 个人专栏 力扣递归算法题 http://t.csdnimg.cn/yUl2I 【C】 http://t.csdnimg.cn/6AbpV 数据结构与算法 http://t.cs…...
关于edge浏览器以及插件推荐【亲测好用】
一.edge浏览器介绍 Edge 浏览器是由微软公司开发的一款新一代网络浏览器。它最初于2015年发布,是微软Windows 10 操作系统的默认浏览器,后来还推出了适用于 Android 和 iOS 等移动设备的版本。Edge 浏览器采用了全新的浏览器内核,称为 Micros…...
关于“Python”的核心知识点整理大全43
目录 编辑 15.2.3 使2散点图并设置其样式 scatter_squares.py 15.2.4 使用 scatter()绘制一系列点 scatter_squares.py 15.2.5 自动计算数据 scatter_squares.py 15.2.6 删除数据点的轮廓 15.2.7 自定义颜色 15.2.8 使用颜色映射 scatter_squares.py 注意 15.2.9…...
Android Framework一些问题思考
一,zygote通信为什么用socket,而不是binder? 1,binder通信依赖用户空间进程Servicemanager,socket通信不依赖用户空间进程。zygote与servicemanager, surfaceflinger等都是通过各自init.rc文件被init进程解析加载,时…...
2024年安全员-C证证考试题库及安全员-C证试题解析
题库来源:安全生产模拟考试一点通公众号小程序 2024年安全员-C证证考试题库及安全员-C证试题解析是安全生产模拟考试一点通结合(安监局)特种作业人员操作证考试大纲和(质检局)特种设备作业人员上岗证考试大纲随机出的…...
推广主要指标及定义
推广主要指标以直通车为例解释,如图所示 1.展示量:当消费者搜索某个词,推广计划在天猫直通车展示位上被买家看到的次数(去掉被消费者快进划过、主图未完金展现等情况产生的曝光); 2.点击量:消费者看到广告…...
【Proteus仿真】【Arduino单片机】水质监测报警系统设计
文章目录 一、功能简介二、软件设计三、实验现象联系作者 一、功能简介 本项目使用Proteus8仿真Arduino单片机控制器,使用按键、LED、蜂鸣器、LCD1602、ADC、PH传感器、浑浊度传感器、DS18B20温度传感器、继电器模块等。 主要功能: 系统运行后…...
随机问卷调查数据的处理(uniapp)
需求:问卷调查 1.返回的数据中包含单选、多选、多项文本框、单文本框、图片上传 2.需要对必填的选项进行校验 3.非必填的多项文本框内容 如果不填写 不提交 表单数据格式 res{"code": 0,"msg": null,"data": [{"executeDay&…...
开源分布式搜索引擎ElasticSearch结合内网穿透远程连接
文章目录 前言1. Windows 安装 Cpolar2. 创建Elasticsearch公网连接地址3. 远程连接Elasticsearch4. 设置固定二级子域名 前言 简单几步,结合Cpolar 内网穿透工具实现Java 远程连接操作本地分布式搜索和数据分析引擎Elasticsearch。 Cpolar内网穿透提供了更高的安全性和隐私保…...
Leetcode2928. 给小朋友们分糖果 I
Every day a Leetcode 题目来源:2928. 给小朋友们分糖果 I 解法1:暴力 枚举 3 位小朋友的糖果数,范围为 [0, limit],分别记为 i、j、k。 当满足 i j k n 时,答案 1。 代码: /** lc appleetcode.c…...
go-zero开发入门之网关往rpc服务传递数据2
go-zero 的网关服务实际是个 go-zero 的 API 服务,也就是一个 http 服务,或者说 rest 服务。http 转 grpc 使用了开源的 grpcurl 库,当网关需要往 rpc 服务传递额外的数据,比如鉴权数据的时候,通过 http 的 header 进行…...
Cron介绍,以及常见的cron表达式
目录 一.cron介绍 1.什么是Cron? 2.Cron语法 时间字段的取值范围如下: 时间字段支持以下特殊字符: 下面是一些示例: 3.虚拟机安装cron(centos7展示) 二.常见的cron表达式 一.cron介绍 1.什么是Cron? Cron是一个…...
智能优化算法应用:基于协作搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码
智能优化算法应用:基于协作搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于协作搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.协作搜索算法4.实验参数设定5.算法结果6.…...
分布式训练通信NCCL之Ring-Allreduce详解
🎀个人主页: https://zhangxiaoshu.blog.csdn.net 📢欢迎大家:关注🔍点赞👍评论📝收藏⭐️,如有错误敬请指正! 💕未来很长,值得我们全力奔赴更美好的生活&…...
os_util 工具类和方法的实现
一、前置说明 总体目录:《从 0-1 搭建企业级 APP 自动化测试框架》上节回顾:在 init_appium_and_devices 的实现思路分析 小节中,分析了实现 init_appium_and_devices 的思路,梳理出了必要的工具类和方法。本节目标:完…...
uview表单校验带星号
uView表单校验带星号可以通过设置required属性来实现。在uView中,可以使用组件来实现表单校验,具体步骤如下: 1、在需要校验的表单元素上添加required属性,例如: <u-form :model"detailInfo" ref"d…...
vue+element实现动态表格:根据后台返回的属性名和字段动态生成可变表格
现有一个胡萝卜厂生产不同品种的胡萝卜,为了便于客户了解产品,现需在官网展示胡萝卜信息。现有的萝卜信息:编号(id)、名称(name)、保质期(age)、特点(remark&…...
云渲染UE4像素流送搭建(winows、ubuntu单实例与多实例像素流送)
windows/ubuntu20.4下UE4.27.2像素流送 像素流送技术可以将服务器端打包的虚幻引擎应用程序在客户端的浏览器上运行,用户可以通过浏览器操作虚幻引擎应用程序,客户端无需下载虚幻引擎,本文实现两台机器通过物理介质网线实现虚幻引擎应用程序…...
日语学习-日语知识点小记-构建基础-JLPT-N4阶段(33):にする
日语学习-日语知识点小记-构建基础-JLPT-N4阶段(33):にする 1、前言(1)情况说明(2)工程师的信仰2、知识点(1) にする1,接续:名词+にする2,接续:疑问词+にする3,(A)は(B)にする。(2)復習:(1)复习句子(2)ために & ように(3)そう(4)にする3、…...
基于服务器使用 apt 安装、配置 Nginx
🧾 一、查看可安装的 Nginx 版本 首先,你可以运行以下命令查看可用版本: apt-cache madison nginx-core输出示例: nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...
【HTML-16】深入理解HTML中的块元素与行内元素
HTML元素根据其显示特性可以分为两大类:块元素(Block-level Elements)和行内元素(Inline Elements)。理解这两者的区别对于构建良好的网页布局至关重要。本文将全面解析这两种元素的特性、区别以及实际应用场景。 1. 块元素(Block-level Elements) 1.1 基本特性 …...
uniapp中使用aixos 报错
问题: 在uniapp中使用aixos,运行后报如下错误: AxiosError: There is no suitable adapter to dispatch the request since : - adapter xhr is not supported by the environment - adapter http is not available in the build 解决方案&…...
图表类系列各种样式PPT模版分享
图标图表系列PPT模版,柱状图PPT模版,线状图PPT模版,折线图PPT模版,饼状图PPT模版,雷达图PPT模版,树状图PPT模版 图表类系列各种样式PPT模版分享:图表系列PPT模板https://pan.quark.cn/s/20d40aa…...
Maven 概述、安装、配置、仓库、私服详解
目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...
用机器学习破解新能源领域的“弃风”难题
音乐发烧友深有体会,玩音乐的本质就是玩电网。火电声音偏暖,水电偏冷,风电偏空旷。至于太阳能发的电,则略显朦胧和单薄。 不知你是否有感觉,近两年家里的音响声音越来越冷,听起来越来越单薄? —…...
LangChain知识库管理后端接口:数据库操作详解—— 构建本地知识库系统的基础《二》
这段 Python 代码是一个完整的 知识库数据库操作模块,用于对本地知识库系统中的知识库进行增删改查(CRUD)操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 📘 一、整体功能概述 该模块…...
LCTF液晶可调谐滤波器在多光谱相机捕捉无人机目标检测中的作用
中达瑞和自2005年成立以来,一直在光谱成像领域深度钻研和发展,始终致力于研发高性能、高可靠性的光谱成像相机,为科研院校提供更优的产品和服务。在《低空背景下无人机目标的光谱特征研究及目标检测应用》这篇论文中提到中达瑞和 LCTF 作为多…...
DeepSeek源码深度解析 × 华为仓颉语言编程精粹——从MoE架构到全场景开发生态
前言 在人工智能技术飞速发展的今天,深度学习与大模型技术已成为推动行业变革的核心驱动力,而高效、灵活的开发工具与编程语言则为技术创新提供了重要支撑。本书以两大前沿技术领域为核心,系统性地呈现了两部深度技术著作的精华:…...
