当前位置： 首页 > news >正文

AWS Glue Pyspark+Athena基础学习汇总

news 2025/8/29 1:15:22

Pyspark 基础学习汇总篇🍎

一、AWS 架构

① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度）

② Amazon S3 数据湖（数仓):数据的存储

③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用）

④ QucikSight:报表展示

二、QuickSight开户授权操作

点击用户头像，–管理QuickSight --邀请用户 --通过邮箱 --选择共享文件夹 --指定文件夹选择授权用户

三、什么是S aas

SaaS 行业电商、医疗、地产、物流,一般都会用到hubspot

从产品角度来看，Hubspot有三款产品，Marketing、CRM和Sales，共同实现Inbound Marketing（集客营销）全流程服务。

其中，Marketing是核心，提供SEO、社交媒体、网页制作及优化、网站评分等工具产品；CRM实现数据可视化，并自动追踪客户行为；Sales作为联系销售人员与客户的工具。

四、创建临时视图：















相关文章：
















AWS Glue Pyspark+Athena基础学习汇总




Pyspark 基础学习汇总篇🍎 一、AWS 架构 ① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度） ② Amazon S3 数据湖（数仓):数据的存储 ③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用） ④ Q…...






编程日记
2023/9/11 7:43:30



















智能合约安全新范式，超越 `require`和`assert`




智能合约安全新范式，超越 require_assert 
摘要 
不要只为特定的函数写 require 语句；为你的协议写 require 语句。函数遵循检查(requirements)-生效(Effects)-交互(INteractions)协议不变性(Invariants)或 FREI-PI 模式可以帮助你的合约更加安全&#x…...






编程日记
2023/9/11 7:42:29



















【ESP-S3-BOX-Lite花屏问题】：Github下载源码（出厂源码factory_demo）编译调试到ESP-S3-BOX-Lite中出现花屏现象




项目场景： 最近拿到了一块乐鑫的  ESP-S3-BOX-Lite  （esp-box: ESP-BOX 是乐鑫信息科技） 详细资料（esp32_s3_box_lite） 
版本信息 
ESP-BOX依赖的 ESP-IDF分支信息支持状态master> release/v5.1 commit id: 22cfbf3…...






编程日记
2023/9/11 7:41:28



















Redis集群3.2.11离线安装详细版本(使用Ruby)




1.安装软件准备 
1.Redis版本下载 
Index of /releases/http://download.redis.io/releases/ 
1.2gcc环境准备 GCC（GNU Compiler Collection，GNU编译器套件）是一套用于编译程序代码的开源编译器工具集。它的主要用途是将高级编程语言（如C、C++、Fortran等）编写的源代码转换…...






编程日记
2023/9/11 7:40:27



















Ansible自动化运维




目录 
前言 
一、概述 
常见的开源自动化运维工具比较 
二、ansible环境搭建 
三、ansible模块 
（一）、hostname模块 
（二）、file模块 
（三）、copy模块 
（四）、fetch模块 
&#xff…...






编程日记
2023/9/11 7:39:26



















MSTP + Eth-Trunk配置实验 华为实验手册




1.1 实验介绍 
1.1.1 关于本实验 
以太网是当今现有局域网LAN（Local Area Network）采用的最通用的通信协议标准，以太网作为一种原理简单、便于实现同时又价格低廉的局域网技术已经成为业界的主流。 本实验主要介绍了LAN网络中的Eth-Trunk技术…...






编程日记
2023/9/11 7:38:25



















滚动菜单 flutter




想实现这个功能： 下面的代码可以实现： 
import package:flutter/material.dart;void main() > runApp(MyApp());class MyApp extends StatelessWidget {static const String _title  Flutter Code Sample;overrideWidget build(BuildContext context)…...






编程日记
2023/9/11 7:37:23



















javaee springMVC数字类型转换之通过注解的方式




po 
在属性上增加注解 NumberFormat(pattern  “#,#.#”) 
package com.test.pojo;import org.springframework.format.annotation.DateTimeFormat;
import org.springframework.format.annotation.NumberFormat;import java.util.Date;public class Users {private int uid;pr…...






编程日记
2023/9/11 7:36:23



















SQL中CASE的用法




在SQL中，CASE语句是一种条件表达式，用于根据条件执行不同的操作。它有两种形式：简单CASE表达式和搜索CASE表达式。 简单CASE表达式的语法如下： 
CASE expressionWHEN value1 THEN result1WHEN value2 THEN result2...ELSE result
…...






编程日记
2023/9/11 7:35:22



















自己的碎碎念集合




自己的碎碎念集合 2023-09-07 c++叠加三目运算符闰年计算法2023-08-13 一个小题目 A+B problem一、问题及解答关碍总结2023-07-26 C的2至36进制转换函数一、itoa()函数的示例代码总结2023-07-19 平面坐标下判断三角形以及输出周长和面积一. 基本知识总结2023-06-25 达芬奇去除白…...






编程日记
2023/9/11 7:34:21



















暂定名「码道功成：Coder启示录」




听人劝、吃饱饭，奉劝各位小伙伴，不要订阅该文所属专栏。  作者：不渴望力量的哈士奇(哈哥)，十余年工作经验, 跨域学习者，从事过全栈研发、产品经理等工作，现任研发部门 CTO 。荣誉：2022年度博客之星Top4、博客专家认证、全栈领域优质创作者、新星计划导师，“星荐官共赢计…...






编程日记
2023/9/11 7:33:20



















Apache HTTPD （CVE-2017-15715）换行解析漏洞复现




Apache HTTPD 换行解析漏洞 
CVE-2017-15715漏洞简介 
组件版本漏洞名称 
Apache HTTPD 换行解析漏洞（CVE-2017-15715） 
漏洞描述 
​ Apache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞&…...






编程日记
2023/9/11 7:32:19



















Spring Boot集成JasperReport生成文档




由于工作需要，要实现后端根据模板动态填充数据生成PDF文档，通过技术选型，使用Ireport5.6来设计模板，结合JasperReports5.6工具库来调用渲染生成PDF文档。 
一、使用Ireport designer 5.6设计模板 
ireport的使用由于时间关系不便多…...






编程日记
2023/9/11 7:31:18



















02-Tomcat打破双亲委派机制




上一篇：01-从JDK源码级别剖析JVM类加载机制 
Tomcat 如果使用默认的双亲委派类加载机制行不行？ 
我们思考一下：Tomcat是个web容器， 那么它要解决什么问题： 
一个web容器可能需要部署两个应用程序，不同的应用…...






编程日记
2023/9/11 7:30:17



















怎么理解flink的异步检查点机制




背景 
flink的checkpoint监控页面那里有两个指标Sync Duration 和Async Duration，一个是开始进行同步checkpoint所需的时间，一个是异步checkpoint过程所需的时间，你是否也有过疑惑，是否只是同步过程中的时间才会阻塞正常的数据处理…...






编程日记
2023/9/11 7:29:14



















SpringMVC ＜url-pattern/＞解读




1. < url-pattern/>的值 
(1).使用拓展名的方式&#xff0c;语法*.xxx&#xff0c;xxx是自定义的拓展名&#xff0c;常用的方式*.do&#xff0c;*.action,不能使用*.jsp.
(2).使用斜杠 "/"当项目中使用了 / &#xff0c;他会替代tomcat中的default。导致所有的…...






编程日记
2023/9/11 7:28:13



















大学毕业设计的益处：培养实践能力、深入专业领域、展示自信与建立联系




大学生做毕业设计有许多好处&#xff0c;以下是一些主要的原因和好处&#xff1a; 实践应用能力&#xff1a;毕业设计通常需要学生将所学的知识和技能应用到一个具体的项目中&#xff0c;这有助于他们将理论知识转化为实际应用能力。  独立思考和解决问题&#xff1a;毕业设计要…...






编程日记
2023/9/11 7:27:12



















ChatGPT：概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法




ChatGPT&#xff1a;概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法 我将输入一段Vue代码&#xff0c;请你记住&#xff1a; created() {console.log(this.queryInfo)this.getClueList();},data() {return {allQueryInfo: {str: ,//线索标题查询信息},/…...






编程日记
2023/9/11 7:26:11



















SpringBoot【基础篇】




一、快速上手 按照要求&#xff0c;左侧选择web&#xff0c;然后在中间选择Spring Web即可&#xff0c;选完右侧就出现了新的内容项&#xff0c;这就表示勾选成功了 
关注&#xff1a;此处选择的SpringBoot的版本使用默认的就可以了&#xff0c;需要说一点&#xff0c;SpringBo…...






编程日记
2023/9/11 7:25:10



















Vuex - state 状态(获取和使用共享数据)




文章目录 一、state是什么&#xff1f;二、state状态的作用三、如何使用store数据呢&#xff1f;使用数据的两种方式&#xff1a;1. 通过store 直接访问2. 通过辅助函数访问(简化) 一、state是什么&#xff1f; 
state是状态&#xff08;数据&#xff09; &#xff0c; 类似于v…...






编程日记
2023/9/11 7:24:08





















未来机器人的大脑：如何用神经网络模拟器实现更智能的决策？




编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…...






编程新知
2025/8/27 13:11:22



















超短脉冲激光自聚焦效应




前言与目录 
强激光引起自聚焦效应机理 
超短脉冲激光在脆性材料内部加工时引起的自聚焦效应&#xff0c;这是一种非线性光学现象&#xff0c;主要涉及光学克尔效应和材料的非线性光学特性。 
自聚焦效应可以产生局部的强光场&#xff0c;对材料产生非线性响应&#xff0c;可能…...






编程新知
2025/8/24 19:33:56



















【碎碎念】宝可梦 Mesh GO : 基于MESH网络的口袋妖怪 宝可梦GO游戏自组网系统




目录 游戏说明《宝可梦 Mesh GO》 —— 局域宝可梦探索Pokmon GO 类游戏核心理念应用场景Mesh 特性  宝可梦玩法融合设计游戏构想要素1. 地图探索&#xff08;基于物理空间  广播范围&#xff09;2. 野生宝可梦生成与广播3. 对战系统4. 道具与通信5. 延伸玩法 安全性设计 技术选…...






编程新知
2025/8/29 0:20:47



















python执行测试用例，allure报乱码且未成功生成报告




allure执行测试用例时显示乱码&#xff1a;‘allure’ &#xfffd;&#xfffd;&#xfffd;&#xfffd;&#xfffd;ڲ&#xfffd;&#xfffd;&#xfffd;&#xfffd;ⲿ&#xfffd;&#xfffd;&#xfffd;Ҳ&#xfffd;&#xfffd;&#xfffd;ǿ&#xfffd;&am…...






编程新知
2025/8/25 1:10:04



















AI+无人机如何守护濒危物种？YOLOv8实现95%精准识别




【导读】 
野生动物监测在理解和保护生态系统中发挥着至关重要的作用。然而&#xff0c;传统的野生动物观察方法往往耗时耗力、成本高昂且范围有限。无人机的出现为野生动物监测提供了有前景的替代方案&#xff0c;能够实现大范围覆盖并远程采集数据。尽管具备这些优势&#xf…...






编程新知
2025/8/22 5:43:44



















DingDing机器人群消息推送




文章目录 1 新建机器人2 API文档说明3 代码编写 1 新建机器人 
点击群设置 下滑到群管理的机器人&#xff0c;点击进入 添加机器人 选择自定义Webhook服务 点击添加 设置安全设置&#xff0c;详见说明文档 成功后&#xff0c;记录Webhook  
2 API文档说明 
点击设置说明 查看自…...






编程新知
2025/8/25 6:06:33



















scikit-learn机器学习




# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可: 
# Also add the following code, 
# so that every time the environment (kernel) starts, 
# just run the following code: 
import sys 
sys.path.append(/home/aistudio/external-libraries)机…...






编程新知
2025/7/5 19:39:42



















uniapp 字符包含的相关方法




在uniapp中&#xff0c;如果你想检查一个字符串是否包含另一个子字符串&#xff0c;你可以使用JavaScript中的includes()方法或者indexOf()方法。这两种方法都可以达到目的&#xff0c;但它们在处理方式和返回值上有所不同。 
使用includes()方法 
includes()方法用于判断一个字…...






编程新知
2025/7/9 20:53:30



















五子棋测试用例




一.项目背景 
1.1 项目简介 传统棋类文化的推广 
五子棋是一种古老的棋类游戏&#xff0c;有着深厚的文化底蕴。通过将五子棋制作成网页游戏&#xff0c;可以让更多的人了解和接触到这一传统棋类文化。无论是国内还是国外的玩家&#xff0c;都可以通过网页五子棋感受到东方棋类…...






编程新知
2025/8/21 14:31:48



















深度解析：etcd 在 Milvus 向量数据库中的关键作用




目录 
&#x1f680; 深度解析&#xff1a;etcd 在 Milvus 向量数据库中的关键作用 
&#x1f4a1; 什么是 etcd&#xff1f; 
&#x1f9e0; Milvus 架构简介 
&#x1f4e6; etcd 在 Milvus 中的核心作用 
&#x1f527; 实际工作流程示意 
⚠️ 如果 etcd 出现问题会怎样&am…...






编程新知
2025/7/20 14:29:43