DP 203 学习笔记
考试内容总览
| Learning Objects: | 工具 |
| Designing and implementing data storage | 1. Storage Azure Synapse Analytics Azure Databricks Azure Data Lake Storage Gen2(ADLS2，可代替Hadoop Distributed File System也就是HDFS) 2. Shard Partition data store in to multiple shards。分块技术提高效率 3. Serving Layer |
| Designing and developing data processing | 1. Investing and transforming data Transform data: Apache Spark和SQL Transform feature: Azure Data Factory(ADF) 可以从storage A导入数据，transform，存入storage B； Azure Synapse Pipelines是ADF的子集，集成在Azure Synapse Analytics里； Stream Analytics老，用SQL语句 2. Batch Processing Azure Data Factory(ADF) Azure Synapse Pipelines Azure Databricks Azure Data Lake Storage Gen2(ADLS2) 3. Stream Processing Stream Analytics Azure Databricks Azure Event Hubs 4. Manage batches and Pipelines Azure Data Factory(ADF) Azure Synapse Pipelines |
| Designing and implementing data security | 加密等等 |
| Monitoring and optimizing data storage and data processing | 1. Monitor Azure Monitor 2. Optimize Azure Data Factory(ADF) Azure Databricks Azure Synapse Analytics |
Storage方案
| Raw Storage | Azure Blob Storage Azure File Storage Azure Data Lake Storage Gen2 (ADLS2) |
| Relational DBs Storage | Azure SQL Database Azure DB for MySQL Azure DB for MariaDB Azure DB for PostgreSQL |
| NoSQL DBs | Azure Cosmos DB Azure Cache for Redis |
相关文章：
DP 203 学习笔记
考试内容总览 Learning Objects: 工具 Designing and implementing data storage 1. Storage Azure Synapse Analytics Azure Databricks Azure Data Lake Storage Gen2(ADLS2，可代替Hadoop Distributed File System也就是HDFS) 2. Shard Partition data store …...
SQLite 事务
SQLite 事务 SQLite 是一种轻量级的数据库管理系统，广泛用于各种应用程序中，特别是在移动设备和嵌入式系统中。它支持标准的 SQL 语法，包括事务处理。事务是数据库管理系统中的一个重要概念，它允许将一系列操作作为一个单独的工作单元来处理，以确保数据库的一致性和可靠性…...
LabVIEW和Alicat Scientific质量流量计实现精确流量控制
在现代工业自动化和科研实验中，精确的气体流量控制至关重要。这里将介绍一个使用LabVIEW与Alicat Scientific公司的质量流量计实现流量控制的项目。项目采用Alicat Scientific的质量流量计（型号：M-200SCCM-D），通过LabV…...
2024-07-19 Unity插件 Odin Inspector10 —— Misc Attributes
文章目录 1 说明2 其他特性2.1 CustomContextMenu2.2 DisableContextMenu2.3 DrawWithUnity2.4 HideDuplicateReferenceBox2.5 Indent2.6 InfoBox2.7 InlineProperty2.8 LabelText2.9 LabelWidth2.10 OnCollectionChanged2.11 OnInspectorDispose2.12 OnInspectorGUI2.13 OnIns…...
Go操作Redis详解
文章目录 Go操作Redis详解来源介绍Redis支持的数据结构Redis应用场景Redis与Memcached比较准备Redis环境go-redis库 安装连接普通连接连接Redis哨兵模式连接Redis集群基本使用set/get示例zset示例Pipeline事务WatchGo操作Redis详解 来源 https://www.liwenzhou.com/posts/Go/…...
钡铼Modbus TCP耦合器BL200实现现场设备与SCADA无缝对接
前言 深圳钡铼技术推出的Modbus TCP耦合器为SCADA系统与现场设备之间的连接提供了强大而灵活的解决方案，它不仅简化了设备接入的过程，还提升了数据传输的效率和可靠性，是工业自动化项目中不可或缺的关键设备。本文将从Modbus TC、SCADA的简要…...
数据分析入门：用Python和Numpy探索音乐流行趋势
一、引言 音乐是文化的重要组成部分，而音乐流行趋势则反映了社会文化的变迁和人们审美的变化。通过分析音乐榜单，我们可以了解哪些歌曲或歌手正在受到大众的欢迎，甚至预测未来的流行趋势。Python作为一种强大的编程语言，结合其丰…...
数仓工具—Hive语法之替换函数和示例
Hive 替换函数和示例 默认情况下，并没有可用的 Hive 替换函数。如果在处理字符串时需要替换特定值，例如垃圾值，字符串操作函数替换是非常需要的。在本文中，我们将检查 Hive 替换函数 的替代方法，以便在需要时使用。 如前所述，Apache Hive 不提供替换函数的支持。但是，…...
[SUCTF 2019]EasySQL1
这是一个简单的SQL注入题，但是因为我的SQL基础约等于0，所以做起来很难。 首先试试引号是否被过滤 可以看到单引号、双引号都被过滤了，试试其他的盲注都不行，基本上可以确定不能用这种方法。 在测试的过程中发现，输入…...
elasticsearch, kibana, 6.8.18 版本下的创建索引，指定timestamp，java CRUD，maven版本等
ELK 这一套的版本更迭很快， 而且es常有不兼容的东西出现， 经常是搜一篇文章，看似能用，拿到我这边就不能用了。 很是烦恼。 我这边的ELK版本目前是 6.8.18，这次的操作记录一下。 （涉密内容略有删改…...
无人机侦察：二维机扫雷达探测设备技术详解
二维机扫雷达探测设备采用机械扫描方式，通过天线在水平方向和垂直方向上的转动，实现对目标空域的全方位扫描。雷达发射机发射电磁波信号，遇到目标后产生反射，反射信号被雷达接收机接收并处理，进而得到目标的位置、速度…...
未来互联网的新篇章：深度解析Web3技术
随着技术的飞速发展，Web3作为新一代互联网技术范式，正在重新定义我们对互联网的认知和使用方式。本文将深入探讨Web3技术的核心概念、关键特征以及其在未来互联网发展中的潜力和影响，为读者打开Web3时代的大门。 Web3技术的核心概念和特征 1…...
vst 算法R语言手工实现 | Seurat4 筛选高变基因的算法
1. vst算法描述 （1）为什么需要矫正 image source: https://ouyanglab.com/singlecell/basic.html In this panel, we observe that there is a very strong positive relationship between a gene’s average expression and its observed variance. I…...
阿里通义千问大模型Qwen2-72B-Instruct通用能力登顶国内第一！
前言： 中国互联网协会副秘书长裴玮近日在2024中国互联网大会上发布《中国互联网发展报告(2024)》。《报告》指出， 在人工智能领域，2023年我国人工智能产业应用进程持续推进，核心产业规模达到5784亿元。 截至2024年3月ÿ…...
CH04_依赖项属性
第4章：依赖项属性 本章目标 理解依赖项属性理解属性验证 依赖项属性 属性与事件是.NET抽象模型的核心部分。WPF使用了更高级的依赖项属性（Dependency Property）功能来替换原来.NET的属性，实现了更高效率的保存机制…...
CentOS 7开启SSH连接
1. 安装openssh-server 1.1 检查是否安装openssh-server服务 yum list installed | grep openssh-server如果有显示内容，则已安装跳过安装步骤，否则进行第2步 1.2 安装openssh-server yum install openssh-server2. 开启SSH 22监听端口 2.1 打开ssh…...
代理伺服器分類詳解
代理伺服器的主要分類 代理伺服器可以根據不同的標準進行分類。以下是幾種常見的分類方式： 按協議分類按匿名性分類按使用場景分類 1. 按協議分類 根據支持的協議類型，代理伺服器可以分為以下幾類： HTTP代理：專門用於處理HTT…...
计数，桶与基数排序
目录 一. 计数排序 概念 步骤思路如下 实现代码如下 时间复杂度与空间复杂度 1. 时间复杂度 2. 空间复杂度 计数排序的特点 二. 桶排序 概念 步骤思路如下 实现代码如下 时间复杂度与空间复杂度 1. 时间复杂度 2. 空间复杂度 桶排序的特点 三. 基数排序 概念 步…...
unity渲染人物模型透明度问题
问题1：有独立的手和衣服的模型，但最终只渲染出来半透明衣服 问题2：透明度贴图是正确的但显示却不正确 这上面两个模型的问题都是因为人物模型是一个完整的，为啥有些地方可以正常显示，有些地方透明度却有问题。 其中…...
CH03_布局
第3章：布局 本章目标 理解布局的原则理解布局的过程理解布局的容器掌握各类布局容器的运用 理解 WPF 中的布局 WPF 布局原则 WPF 窗口只能包含单个元素。为在WPF 窗口中放置多个元素并创建更贴近实用的用户男面，需要在窗口上放置一个容器&#x…...
工业安全零事故的智能守护者：一体化AI智能安防平台
前言： 通过AI视觉技术，为船厂提供全面的安全监控解决方案，涵盖交通违规检测、起重机轨道安全、非法入侵检测、盗窃防范、安全规范执行监控等多个方面，能够实现对应负责人反馈机制，并最终实现数据的统计报表。提升船厂…...
Oracle查询表空间大小
1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...
五年级数学知识边界总结思考-下册
目录 一、背景二、过程1.观察物体小学五年级下册“观察物体”知识点详解：由来、作用与意义**一、知识点核心内容****二、知识点的由来：从生活实践到数学抽象****三、知识的作用：解决实际问题的工具****四、学习的意义：培养核心素养…...
微信小程序 - 手机震动
一、界面 <button type"primary" bindtap"shortVibrate">短震动</button> <button type"primary" bindtap"longVibrate">长震动</button> 二、js逻辑代码 注：文档 https://developers.weixin.qq…...
linux 错误码总结
1，错误码的概念与作用 在Linux系统中，错误码是系统调用或库函数在执行失败时返回的特定数值，用于指示具体的错误类型。这些错误码通过全局变量errno来存储和传递，errno由操作系统维护，保存最近一次发生的错误信息。值得注意的是，errno的值在每次系统调用或函数调用失败时…...
屋顶变身“发电站” ，中天合创屋面分布式光伏发电项目顺利并网！
5月28日，中天合创屋面分布式光伏发电项目顺利并网发电，该项目位于内蒙古自治区鄂尔多斯市乌审旗，项目利用中天合创聚乙烯、聚丙烯仓库屋面作为场地建设光伏电站，总装机容量为9.96MWp。 项目投运后，每年可节约标煤3670…...
学习STC51单片机31（芯片为STC89C52RCRC）OLED显示屏1
每日一言 生活的美好，总是藏在那些你咬牙坚持的日子里。 硬件：OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写，"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...
06 Deep learning神经网络编程基础 激活函数 --吴恩达
深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...
Go 并发编程基础：通道（Channel）的使用
在 Go 中，Channel 是 Goroutine 之间通信的核心机制。它提供了一个线程安全的通信方式，用于在多个 Goroutine 之间传递数据，从而实现高效的并发编程。 本章将介绍 Channel 的基本概念、用法、缓冲、关闭机制以及 select 的使用。 一、Channel…...
: 一刀斩断视频片头广告)
快刀集(1): 一刀斩断视频片头广告
一刀流：用一个简单脚本，秒杀视频片头广告，还你清爽观影体验。 1. 引子 作为一个爱生活、爱学习、爱收藏高清资源的老码农，平时写代码之余看看电影、补补片，是再正常不过的事。 电影嘛，要沉浸，…...