当前位置： 首页 > news >正文

AWS Glue Pyspark+Athena基础学习汇总

news 2026/1/22 17:38:58

Pyspark 基础学习汇总篇🍎

一、AWS 架构

① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度）

② Amazon S3 数据湖（数仓):数据的存储

③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用）

④ QucikSight:报表展示

二、QuickSight开户授权操作

点击用户头像，–管理QuickSight --邀请用户 --通过邮箱 --选择共享文件夹 --指定文件夹选择授权用户

三、什么是S aas

SaaS 行业电商、医疗、地产、物流,一般都会用到hubspot

从产品角度来看，Hubspot有三款产品，Marketing、CRM和Sales，共同实现Inbound Marketing（集客营销）全流程服务。

其中，Marketing是核心，提供SEO、社交媒体、网页制作及优化、网站评分等工具产品；CRM实现数据可视化，并自动追踪客户行为；Sales作为联系销售人员与客户的工具。

四、创建临时视图：















相关文章：
















AWS Glue Pyspark+Athena基础学习汇总




Pyspark 基础学习汇总篇🍎 一、AWS 架构 ① AWS Glue:工作平台，包括脚本的编写以及管理脚本的运行状态以及调度等（主要：数据库配置、ETL和数据转换脚本编写、调度） ② Amazon S3 数据湖（数仓):数据的存储 ③ Athena:（雅典娜）SQL直接编写查询工作台（会产生费用） ④ Q…...






编程日记
2023/9/11 7:43:30



















智能合约安全新范式，超越 `require`和`assert`




智能合约安全新范式，超越 require_assert 
摘要 
不要只为特定的函数写 require 语句；为你的协议写 require 语句。函数遵循检查(requirements)-生效(Effects)-交互(INteractions)协议不变性(Invariants)或 FREI-PI 模式可以帮助你的合约更加安全&#x…...






编程日记
2023/9/11 7:42:29



















【ESP-S3-BOX-Lite花屏问题】：Github下载源码（出厂源码factory_demo）编译调试到ESP-S3-BOX-Lite中出现花屏现象




项目场景： 最近拿到了一块乐鑫的  ESP-S3-BOX-Lite  （esp-box: ESP-BOX 是乐鑫信息科技） 详细资料（esp32_s3_box_lite） 
版本信息 
ESP-BOX依赖的 ESP-IDF分支信息支持状态master> release/v5.1 commit id: 22cfbf3…...






编程日记
2023/9/11 7:41:28



















Redis集群3.2.11离线安装详细版本(使用Ruby)




1.安装软件准备 
1.Redis版本下载 
Index of /releases/http://download.redis.io/releases/ 
1.2gcc环境准备 GCC（GNU Compiler Collection，GNU编译器套件）是一套用于编译程序代码的开源编译器工具集。它的主要用途是将高级编程语言（如C、C++、Fortran等）编写的源代码转换…...






编程日记
2023/9/11 7:40:27



















Ansible自动化运维




目录 
前言 
一、概述 
常见的开源自动化运维工具比较 
二、ansible环境搭建 
三、ansible模块 
（一）、hostname模块 
（二）、file模块 
（三）、copy模块 
（四）、fetch模块 
&#xff…...






编程日记
2023/9/11 7:39:26



















MSTP + Eth-Trunk配置实验 华为实验手册




1.1 实验介绍 
1.1.1 关于本实验 
以太网是当今现有局域网LAN（Local Area Network）采用的最通用的通信协议标准，以太网作为一种原理简单、便于实现同时又价格低廉的局域网技术已经成为业界的主流。 本实验主要介绍了LAN网络中的Eth-Trunk技术…...






编程日记
2023/9/11 7:38:25



















滚动菜单 flutter




想实现这个功能： 下面的代码可以实现： 
import package:flutter/material.dart;void main() > runApp(MyApp());class MyApp extends StatelessWidget {static const String _title  Flutter Code Sample;overrideWidget build(BuildContext context)…...






编程日记
2023/9/11 7:37:23



















javaee springMVC数字类型转换之通过注解的方式




po 
在属性上增加注解 NumberFormat(pattern  “#,#.#”) 
package com.test.pojo;import org.springframework.format.annotation.DateTimeFormat;
import org.springframework.format.annotation.NumberFormat;import java.util.Date;public class Users {private int uid;pr…...






编程日记
2023/9/11 7:36:23



















SQL中CASE的用法




在SQL中，CASE语句是一种条件表达式，用于根据条件执行不同的操作。它有两种形式：简单CASE表达式和搜索CASE表达式。 简单CASE表达式的语法如下： 
CASE expressionWHEN value1 THEN result1WHEN value2 THEN result2...ELSE result
…...






编程日记
2023/9/11 7:35:22



















自己的碎碎念集合




自己的碎碎念集合 2023-09-07 c++叠加三目运算符闰年计算法2023-08-13 一个小题目 A+B problem一、问题及解答关碍总结2023-07-26 C的2至36进制转换函数一、itoa()函数的示例代码总结2023-07-19 平面坐标下判断三角形以及输出周长和面积一. 基本知识总结2023-06-25 达芬奇去除白…...






编程日记
2023/9/11 7:34:21



















暂定名「码道功成：Coder启示录」




听人劝、吃饱饭，奉劝各位小伙伴，不要订阅该文所属专栏。  作者：不渴望力量的哈士奇(哈哥)，十余年工作经验, 跨域学习者，从事过全栈研发、产品经理等工作，现任研发部门 CTO 。荣誉：2022年度博客之星Top4、博客专家认证、全栈领域优质创作者、新星计划导师，“星荐官共赢计…...






编程日记
2023/9/11 7:33:20



















Apache HTTPD （CVE-2017-15715）换行解析漏洞复现




Apache HTTPD 换行解析漏洞 
CVE-2017-15715漏洞简介 
组件版本漏洞名称 
Apache HTTPD 换行解析漏洞（CVE-2017-15715） 
漏洞描述 
​ Apache HTTPD是一款HTTP服务器，它可以通过mod_php来运行PHP网页。其2.4.0~2.4.29版本中存在一个解析漏洞&…...






编程日记
2023/9/11 7:32:19



















Spring Boot集成JasperReport生成文档




由于工作需要，要实现后端根据模板动态填充数据生成PDF文档，通过技术选型，使用Ireport5.6来设计模板，结合JasperReports5.6工具库来调用渲染生成PDF文档。 
一、使用Ireport designer 5.6设计模板 
ireport的使用由于时间关系不便多…...






编程日记
2023/9/11 7:31:18



















02-Tomcat打破双亲委派机制




上一篇：01-从JDK源码级别剖析JVM类加载机制 
Tomcat 如果使用默认的双亲委派类加载机制行不行？ 
我们思考一下：Tomcat是个web容器， 那么它要解决什么问题： 
一个web容器可能需要部署两个应用程序，不同的应用…...






编程日记
2023/9/11 7:30:17



















怎么理解flink的异步检查点机制




背景 
flink的checkpoint监控页面那里有两个指标Sync Duration 和Async Duration，一个是开始进行同步checkpoint所需的时间，一个是异步checkpoint过程所需的时间，你是否也有过疑惑，是否只是同步过程中的时间才会阻塞正常的数据处理…...






编程日记
2023/9/11 7:29:14



















SpringMVC ＜url-pattern/＞解读




1. < url-pattern/>的值 
(1).使用拓展名的方式&#xff0c;语法*.xxx&#xff0c;xxx是自定义的拓展名&#xff0c;常用的方式*.do&#xff0c;*.action,不能使用*.jsp.
(2).使用斜杠 "/"当项目中使用了 / &#xff0c;他会替代tomcat中的default。导致所有的…...






编程日记
2023/9/11 7:28:13



















大学毕业设计的益处：培养实践能力、深入专业领域、展示自信与建立联系




大学生做毕业设计有许多好处&#xff0c;以下是一些主要的原因和好处&#xff1a; 实践应用能力&#xff1a;毕业设计通常需要学生将所学的知识和技能应用到一个具体的项目中&#xff0c;这有助于他们将理论知识转化为实际应用能力。  独立思考和解决问题&#xff1a;毕业设计要…...






编程日记
2023/9/11 7:27:12



















ChatGPT：概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法




ChatGPT&#xff1a;概述Vue.js中data函数初始化和created钩子函数调用的顺序和问题解决方法 我将输入一段Vue代码&#xff0c;请你记住&#xff1a; created() {console.log(this.queryInfo)this.getClueList();},data() {return {allQueryInfo: {str: ,//线索标题查询信息},/…...






编程日记
2023/9/11 7:26:11



















SpringBoot【基础篇】




一、快速上手 按照要求&#xff0c;左侧选择web&#xff0c;然后在中间选择Spring Web即可&#xff0c;选完右侧就出现了新的内容项&#xff0c;这就表示勾选成功了 
关注&#xff1a;此处选择的SpringBoot的版本使用默认的就可以了&#xff0c;需要说一点&#xff0c;SpringBo…...






编程日记
2023/9/11 7:25:10



















Vuex - state 状态(获取和使用共享数据)




文章目录 一、state是什么&#xff1f;二、state状态的作用三、如何使用store数据呢&#xff1f;使用数据的两种方式&#xff1a;1. 通过store 直接访问2. 通过辅助函数访问(简化) 一、state是什么&#xff1f; 
state是状态&#xff08;数据&#xff09; &#xff0c; 类似于v…...






编程日记
2023/9/11 7:24:08





















(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)




题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 
C版本&#xff1a; 
class Solution {
public:int maxDifference(string s) {int a[26]…...






编程新知
2026/1/19 18:59:41



















模型参数、模型存储精度、参数与显存




模型参数量衡量单位 
M&#xff1a;百万&#xff08;Million&#xff09; 
B&#xff1a;十亿&#xff08;Billion&#xff09; 1 B  1000 M 1B  1000M 1B1000M 
参数存储精度 
模型参数是固定的&#xff0c;但是一个参数所表示多少字节不一定&#xff0c;需要看这个参数以什么…...






编程新知
2025/12/20 12:32:08



















Python实现prophet 理论及参数优化




文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候&#xff0c;写过一篇简单实现&#xff0c;后期随着对该模型的深入研究&#xff0c;本次记录涉及到prophet 的公式以及参数调优&#xff0c;从公式可以更直观…...






编程新知
2026/1/21 6:50:12



















Go 语言并发编程基础：无缓冲与有缓冲通道




在上一章节中&#xff0c;我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道&#xff0c;它们在并发编程中各具特点和应用场景。 一、通道的基本分类 
类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好&#xff0…...






编程新知
2025/9/13 17:45:05



















uniapp手机号一键登录保姆级教程（包含前端和后端）




目录 前置条件创建uniapp项目并关联uniClound云空间开启一键登录模块并开通一键登录服务编写云函数并上传部署获取手机号流程(第一种) 前端直接调用云函数获取手机号&#xff08;第三种&#xff09;后台调用云函数获取手机号 错误码常见问题 前置条件 
手机安装有sim卡手机开启…...






编程新知
2026/1/15 9:41:07



















STM32---外部32.768K晶振（LSE）无法起振问题




晶振是否起振主要就检查两个1、晶振与MCU是否兼容&#xff1b;2、晶振的负载电容是否匹配 
目录 
一、判断晶振与MCU是否兼容 
二、判断负载电容是否匹配 
1. 晶振负载电容&#xff08;CL&#xff09;与匹配电容&#xff08;CL1、CL2&#xff09;的关系 
2. 如何选择 CL1 和 CL…...






编程新知
2026/1/17 2:18:43



















Spring AI Chat Memory 实战指南：Local 与 JDBC 存储集成




一个面向 Java 开发者的 Sring-Ai 示例工程项目&#xff0c;该项目是一个 Spring AI 快速入门的样例工程项目&#xff0c;旨在通过一些小的案例展示 Spring AI 框架的核心功能和使用方法。 项目采用模块化设计&#xff0c;每个模块都专注于特定的功能领域&#xff0c;便于学习和…...






编程新知
2025/10/16 14:46:22



















软件工程 期末复习




瀑布模型&#xff1a;计划 
螺旋模型&#xff1a;风险低 
原型模型: 用户反馈 
喷泉模型:代码复用 高内聚 低耦合&#xff1a;模块内部功能紧密 模块之间依赖程度小 高内聚&#xff1a;指的是一个模块内部的功能应该紧密相关。换句话说&#xff0c;一个模块应当只实现单一的功能…...






编程新知
2026/1/21 9:59:07



















【版本控制】GitHub Desktop 入门教程与开源协作全流程解析




目录 0 引言1 GitHub Desktop 入门教程1.1 安装与基础配置1.2 核心功能使用指南仓库管理日常开发流程分支管理 2 GitHub 开源协作流程详解2.1 Fork & Pull Request 模型2.2 完整协作流程步骤步骤 1: Fork&#xff08;创建个人副本&#xff09;步骤 2: Clone&#xff08;克隆…...






编程新知
2026/1/21 2:04:20



















PostgreSQL 与 SQL 基础：为 Fast API 打下数据基础




在构建任何动态、数据驱动的Web API时&#xff0c;一个稳定高效的数据存储方案是不可或缺的。对于使用Python FastAPI的开发者来说&#xff0c;深入理解关系型数据库的工作原理、掌握SQL这门与数据库“对话”的语言&#xff0c;以及学会如何在Python中操作数据库&#xff0c;是…...






编程新知
2025/10/29 9:07:06