DP 203 学习笔记
考试内容总览
| Learning Objects: | 工具 |
| Designing and implementing data storage | 1. Storage Azure Synapse Analytics Azure Databricks Azure Data Lake Storage Gen2(ADLS2，可代替Hadoop Distributed File System也就是HDFS) 2. Shard Partition data store in to multiple shards。分块技术提高效率 3. Serving Layer |
| Designing and developing data processing | 1. Investing and transforming data Transform data: Apache Spark和SQL Transform feature: Azure Data Factory(ADF) 可以从storage A导入数据，transform，存入storage B； Azure Synapse Pipelines是ADF的子集，集成在Azure Synapse Analytics里； Stream Analytics老，用SQL语句 2. Batch Processing Azure Data Factory(ADF) Azure Synapse Pipelines Azure Databricks Azure Data Lake Storage Gen2(ADLS2) 3. Stream Processing Stream Analytics Azure Databricks Azure Event Hubs 4. Manage batches and Pipelines Azure Data Factory(ADF) Azure Synapse Pipelines |
| Designing and implementing data security | 加密等等 |
| Monitoring and optimizing data storage and data processing | 1. Monitor Azure Monitor 2. Optimize Azure Data Factory(ADF) Azure Databricks Azure Synapse Analytics |
Storage方案
| Raw Storage | Azure Blob Storage Azure File Storage Azure Data Lake Storage Gen2 (ADLS2) |
| Relational DBs Storage | Azure SQL Database Azure DB for MySQL Azure DB for MariaDB Azure DB for PostgreSQL |
| NoSQL DBs | Azure Cosmos DB Azure Cache for Redis |
相关文章：
DP 203 学习笔记
考试内容总览 Learning Objects: 工具 Designing and implementing data storage 1. Storage Azure Synapse Analytics Azure Databricks Azure Data Lake Storage Gen2(ADLS2，可代替Hadoop Distributed File System也就是HDFS) 2. Shard Partition data store …...
SQLite 事务
SQLite 事务 SQLite 是一种轻量级的数据库管理系统，广泛用于各种应用程序中，特别是在移动设备和嵌入式系统中。它支持标准的 SQL 语法，包括事务处理。事务是数据库管理系统中的一个重要概念，它允许将一系列操作作为一个单独的工作单元来处理，以确保数据库的一致性和可靠性…...
LabVIEW和Alicat Scientific质量流量计实现精确流量控制
在现代工业自动化和科研实验中，精确的气体流量控制至关重要。这里将介绍一个使用LabVIEW与Alicat Scientific公司的质量流量计实现流量控制的项目。项目采用Alicat Scientific的质量流量计（型号：M-200SCCM-D），通过LabV…...
2024-07-19 Unity插件 Odin Inspector10 —— Misc Attributes
文章目录 1 说明2 其他特性2.1 CustomContextMenu2.2 DisableContextMenu2.3 DrawWithUnity2.4 HideDuplicateReferenceBox2.5 Indent2.6 InfoBox2.7 InlineProperty2.8 LabelText2.9 LabelWidth2.10 OnCollectionChanged2.11 OnInspectorDispose2.12 OnInspectorGUI2.13 OnIns…...
Go操作Redis详解
文章目录 Go操作Redis详解来源介绍Redis支持的数据结构Redis应用场景Redis与Memcached比较准备Redis环境go-redis库 安装连接普通连接连接Redis哨兵模式连接Redis集群基本使用set/get示例zset示例Pipeline事务WatchGo操作Redis详解 来源 https://www.liwenzhou.com/posts/Go/…...
钡铼Modbus TCP耦合器BL200实现现场设备与SCADA无缝对接
前言 深圳钡铼技术推出的Modbus TCP耦合器为SCADA系统与现场设备之间的连接提供了强大而灵活的解决方案，它不仅简化了设备接入的过程，还提升了数据传输的效率和可靠性，是工业自动化项目中不可或缺的关键设备。本文将从Modbus TC、SCADA的简要…...
数据分析入门：用Python和Numpy探索音乐流行趋势
一、引言 音乐是文化的重要组成部分，而音乐流行趋势则反映了社会文化的变迁和人们审美的变化。通过分析音乐榜单，我们可以了解哪些歌曲或歌手正在受到大众的欢迎，甚至预测未来的流行趋势。Python作为一种强大的编程语言，结合其丰…...
数仓工具—Hive语法之替换函数和示例
Hive 替换函数和示例 默认情况下，并没有可用的 Hive 替换函数。如果在处理字符串时需要替换特定值，例如垃圾值，字符串操作函数替换是非常需要的。在本文中，我们将检查 Hive 替换函数 的替代方法，以便在需要时使用。 如前所述，Apache Hive 不提供替换函数的支持。但是，…...
[SUCTF 2019]EasySQL1
这是一个简单的SQL注入题，但是因为我的SQL基础约等于0，所以做起来很难。 首先试试引号是否被过滤 可以看到单引号、双引号都被过滤了，试试其他的盲注都不行，基本上可以确定不能用这种方法。 在测试的过程中发现，输入…...
elasticsearch, kibana, 6.8.18 版本下的创建索引，指定timestamp，java CRUD，maven版本等
ELK 这一套的版本更迭很快， 而且es常有不兼容的东西出现， 经常是搜一篇文章，看似能用，拿到我这边就不能用了。 很是烦恼。 我这边的ELK版本目前是 6.8.18，这次的操作记录一下。 （涉密内容略有删改…...
无人机侦察：二维机扫雷达探测设备技术详解
二维机扫雷达探测设备采用机械扫描方式，通过天线在水平方向和垂直方向上的转动，实现对目标空域的全方位扫描。雷达发射机发射电磁波信号，遇到目标后产生反射，反射信号被雷达接收机接收并处理，进而得到目标的位置、速度…...
未来互联网的新篇章：深度解析Web3技术
随着技术的飞速发展，Web3作为新一代互联网技术范式，正在重新定义我们对互联网的认知和使用方式。本文将深入探讨Web3技术的核心概念、关键特征以及其在未来互联网发展中的潜力和影响，为读者打开Web3时代的大门。 Web3技术的核心概念和特征 1…...
vst 算法R语言手工实现 | Seurat4 筛选高变基因的算法
1. vst算法描述 （1）为什么需要矫正 image source: https://ouyanglab.com/singlecell/basic.html In this panel, we observe that there is a very strong positive relationship between a gene’s average expression and its observed variance. I…...
阿里通义千问大模型Qwen2-72B-Instruct通用能力登顶国内第一！
前言： 中国互联网协会副秘书长裴玮近日在2024中国互联网大会上发布《中国互联网发展报告(2024)》。《报告》指出， 在人工智能领域，2023年我国人工智能产业应用进程持续推进，核心产业规模达到5784亿元。 截至2024年3月ÿ…...
CH04_依赖项属性
第4章：依赖项属性 本章目标 理解依赖项属性理解属性验证 依赖项属性 属性与事件是.NET抽象模型的核心部分。WPF使用了更高级的依赖项属性（Dependency Property）功能来替换原来.NET的属性，实现了更高效率的保存机制…...
CentOS 7开启SSH连接
1. 安装openssh-server 1.1 检查是否安装openssh-server服务 yum list installed | grep openssh-server如果有显示内容，则已安装跳过安装步骤，否则进行第2步 1.2 安装openssh-server yum install openssh-server2. 开启SSH 22监听端口 2.1 打开ssh…...
代理伺服器分類詳解
代理伺服器的主要分類 代理伺服器可以根據不同的標準進行分類。以下是幾種常見的分類方式： 按協議分類按匿名性分類按使用場景分類 1. 按協議分類 根據支持的協議類型，代理伺服器可以分為以下幾類： HTTP代理：專門用於處理HTT…...
计数，桶与基数排序
目录 一. 计数排序 概念 步骤思路如下 实现代码如下 时间复杂度与空间复杂度 1. 时间复杂度 2. 空间复杂度 计数排序的特点 二. 桶排序 概念 步骤思路如下 实现代码如下 时间复杂度与空间复杂度 1. 时间复杂度 2. 空间复杂度 桶排序的特点 三. 基数排序 概念 步…...
unity渲染人物模型透明度问题
问题1：有独立的手和衣服的模型，但最终只渲染出来半透明衣服 问题2：透明度贴图是正确的但显示却不正确 这上面两个模型的问题都是因为人物模型是一个完整的，为啥有些地方可以正常显示，有些地方透明度却有问题。 其中…...
CH03_布局
第3章：布局 本章目标 理解布局的原则理解布局的过程理解布局的容器掌握各类布局容器的运用 理解 WPF 中的布局 WPF 布局原则 WPF 窗口只能包含单个元素。为在WPF 窗口中放置多个元素并创建更贴近实用的用户男面，需要在窗口上放置一个容器&#x…...
PowerShell自动化批量修改注册表路径：解决用户文件夹重命名后的遗留问题
1. 为什么需要批量修改注册表路径 最近帮同事处理了一个典型的Windows系统问题：他的用户文件夹最初使用了中文命名，导致各种开发工具和环境频繁报错。这个问题其实很常见，特别是当我们需要重命名用户文件夹时，虽然修改了系统路径&…...
RexUniNLU与MySQL集成：构建智能文本分析平台
RexUniNLU与MySQL集成：构建智能文本分析平台 1. 引言 电商平台每天产生海量用户评论，这些评论蕴含着宝贵的用户反馈和市场洞察。传统的人工分析方式效率低下，难以应对大规模数据的处理需求。比如一个中型电商平台，每天可能产生数…...
Kotlin协程flow缓冲buffer任务流，批次任务中选取优先级最高任务最先运行（十）
Kotlin协程flow缓冲buffer任务流，批次任务中选取优先级最高任务最先运行（十） 在 https://blog.csdn.net/zhangphil/article/details/159286201 基础上改进，简化LoadMgr提交简单任务的方法 。 Kotlin协程Flow结合缓冲(buffer)实现…...
智能告警管理平台如何帮助运维团队减少75%告警噪音：Keep AIOps平台实践指南
智能告警管理平台如何帮助运维团队减少75%告警噪音：Keep AIOps平台实践指南 【免费下载链接】keep The open-source alerts management and automation platform 项目地址: https://gitcode.com/GitHub_Trending/kee/keep 在现代IT环境中，运维团队…...
破解格力空调遥控的隐藏功能：用Arduino解码YB0F2协议实现自定义控制
格力空调YB0F2协议深度解析：用Arduino打造智能红外控制系统 在智能家居改造领域，空调控制一直是技术爱好者们热衷探索的方向。格力空调作为国内知名品牌，其YB0F2红外遥控协议因其稳定性和广泛适用性成为DIY项目的理想选择。本文将带您深入理解…...
别再手动删缓存了！Nginx缓存配置实战：从proxy_cache到purge模块的完整避坑指南
Nginx缓存自动化管理实战：从基础配置到智能清除的进阶之路 引言：为什么我们需要更优雅的缓存管理？ 每次手动清理服务器缓存目录时，你是否会感到一丝不安？那种直接操作文件系统的粗暴方式，就像用手术刀切西瓜…...
基于天棚控制原理的半主动悬架模型探索
基于天棚控制原理的半主动悬架模型 详细介绍：采用天棚阻尼控制的1/4主动悬架模型，以车身垂向加速度为控制目标，输入为B级随机路面，输出为车身垂向加速度、轮胎动载荷、悬架动挠度等平顺性评价指标，并计算了各个参数的均…...
5大核心优势揭秘：TradingAgents-CN如何用AI重构金融智能决策？
5大核心优势揭秘：TradingAgents-CN如何用AI重构金融智能决策？ 【免费下载链接】TradingAgents-CN 基于多智能体LLM的中文金融交易框架 - TradingAgents中文增强版 项目地址: https://gitcode.com/GitHub_Trending/tr/TradingAgents-CN 当个人投资…...
Blender 3D创作套件：5大核心技术解析与完全指南
Blender 3D创作套件：5大核心技术解析与完全指南 【免费下载链接】blender Official mirror of Blender 项目地址: https://gitcode.com/gh_mirrors/bl/blender Blender作为一款免费开源的3D创作套件，为艺术家、设计师和开发者提供了从建模、动画到…...
国风AI绘画从零开始：Guohua Diffusion部署与使用教程，生成专属水墨作品
国风AI绘画从零开始：Guohua Diffusion部署与使用教程，生成专属水墨作品 想亲手创作一幅意境悠远的水墨山水，或是描绘一幅灵动飘逸的工笔花鸟吗？过去，这需要多年的绘画功底。现在，借助AI的力量，…...