当前位置：首页 > news >正文

大数据系列之：统计hive表的详细信息，生成csv统计表

news 2025/10/30 5:34:18

大数据系列之：统计hive表的详细信息，生成csv统计表

一、获取源数据库、源数据库类型、hive数据库名称
二、获取hive数据库名、hive表名、数仓层级、空间、维护者信息
三、统计hive表信息
四、统计源库信息
五、合并hive表信息
六、生成csv统计表
七、完整代码

一、获取源数据库、源数据库类型、hive数据库名称

获取信息如下所示：

database_source_name,database_source_type,database_url,hive_database_name
optics_prod,mysql,jdbc:mysql://10.22.33.45:3306/admin,optics_prod

查询语句

%sql
select a.database_source_name,
a.database_source_type,
a.database_url,
b.database_name as hive_database_name
from tianchi.database_source

大数据系列之：统计hive表的详细信息，生成csv统计表

大数据系列之：统计hive表的详细信息，生成csv统计表一、获取源数据库、源数据库类型、hive数据库名称二、获取hive数据库名、hive表名、数仓层级、空间、维护者信息三、统计hive表信息四、统计源库信息五、合并hive表信息六、生成csv统计表七、完整代码一、获取源数据库、源数…...

编程日记 2024/8/15 11:17:20

import package:flutter/material.dart; import dart:math;const double spacingAngle 45.0; // 每两个文字之间的角度 // 自定义绘制器，ArcTextPainter 用于在圆弧上绘制文字 class ArcTextPainter extends CustomPainter {final double rotationAngle; // 动画旋…...

编程日记 2024/8/15 11:16:19

图像识别，图片线条检测

import cv2 import numpy as np # 读取图片 img cv2.imread(1.png)# 灰度化 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)# 边缘检测 edges cv2.Canny(gray, 100, 200) 当某个像素点的梯度强度低于 threshold1 时，该像素点被认为是非边缘；当梯度强度…...

编程日记 2024/8/15 11:15:18

python crawler web page

npm install or pip install 插件 import json import time from openpyxl import load_workbook from pip._vendor import requests from bs4 import BeautifulSoup import pandas as pd import re import xlsxwriter 設置request header header {user-agent: Mozilla/5.0…...

编程日记 2024/8/15 11:14:16

基于QT实现的TCP连接的网络通信（客户端）

上篇介绍了QT实现网络通信的服务器端，还没看服务器的朋友们先去上篇了解，这篇我来实现一下客户端的实现。首先还是新建一个项目选择mainwindow类在通信前将.pro文件的第一行代码中追加network 窗口搭建在mainwindow.ui中完成一下窗口的搭建首先在…...

编程日记 2024/8/15 11:13:14

Vue2中watch与Vue3中watch对比

上一节说到了 computed计算属性对比 ，虽然计算属性在大多数情况下更合适，但有时也需要一个自定义的侦听器。这就是为什么 Vue 通过 watch 选项提供了一个更通用的方法，来响应数据的变化。当需要在数据变化时执行异步或开销较大的操作时&#…...

编程日记 2024/8/15 11:12:13

Web 3 一些常见术语

目录 Provider 提供者Signer 签名者Transaction 交易Contract 合约Receipt 收据首先，从高层次上对可用对象的类型及其负责的内容有一个基本的了解是很有用的。 Provider 提供者一个 Provider 是与区块链的只读连接，允许查询区块链状态，例…...

编程日记 2024/8/15 11:09:10

揭开数据分析中的规范性分析：从入门到精通

目录引言1. 规范性分析的基本概念2. 规范性分析的方法论2.1 线性规划：资源利用最大化2.2 决策树分析：直观的选择路径2.3 贝叶斯网络：应对不确定性的利器2.4 多目标优化：平衡多重目标的艺术 3. 规范性分析的实际应用3.1 商业决策中…...

编程日记 2024/8/15 11:07:08

Linux文件IO

目录前言一.文件操作系统调用接口 1.打开文件 2.关闭文件 3.读取文件 4.写入文件二.文件描述符重定向三.动静态库前言在Linux操作系统中，文件I/O是一个核心概念，涉及如何读写文件、与设备通信以及如何管理数据流。Linux下一切皆文件, …...

编程日记 2024/8/15 11:04:02

ccfcsp-202309（1、2、3）

202309-1 坐标变换（其一） #include <bits/stdc.h> using namespace std; int main() {ios::sync_with_stdio(false);cin.tie(0);cout.tie(0);int n, m;cin >> n >> m;int x, y;int opx 0, opy 0;for(int i 0; i < n; i){cin &g…...

编程日记 2024/8/15 11:00:57

数据结构--数据结构概述

一、数据结构三要素 1. 数据的逻辑结构数据的逻辑结构是指数据元素之间的关系和组织方式，通常分为线性结构和非线性结构。线性结构：例如线性表，其中数据元素按照顺序排列，彼此之间存在一对一的关系。非线性结构：…...

编程日记 2024/8/15 10:58:53

Spring中的BeanFactoryAware

BeanFactoryAware 是 Spring 框架中的一个接口，用于在 Spring 容器中获取 BeanFactory 实例。实现这个接口的类可以在其属性被设置后获取到 BeanFactory，从而可以访问 Spring 容器中的其他 bean。 BeanFactoryAware 接口概述 BeanFactoryAware 接口位于…...

编程日记 2024/8/15 10:54:49

Neo4j service is not installed

问题： Starting Neo4j. Neo4j service is not installed Unable to start. See user log for details. Run with --verbose for a more detailed error message.解决： neo4j windows-service install neo4j start ok了...

编程日记 2024/8/15 10:50:41

LeetCode 3132.找出与数组相加的整数 II：排序+3次尝试(nlog n)

【LetMeFly】3132.找出与数组相加的整数 II：排序3次尝试(nlog n) 力扣题目链接：https://leetcode.cn/problems/find-the-integer-added-to-array-ii/ 给你两个整数数组 nums1 和 nums2。从 nums1 中移除两个元素，并且所有其他元素都与变量…...

编程日记 2024/8/15 10:48:39

微信小程序--26(全局配置-1)

一、全局配置文件 1.标志 app.json 2.配置项 pages 记录当前小程序所有页面的存放路径 window 全局配置小程序窗口配置 tabBar 设置小程序底部的tabBar效果 style 是否启用新版本的组将样式 3.window 导航栏区域 navigationBar …...

编程日记 2024/8/15 10:47:38

汽车4S店管理系统-计算机毕设Java|springboot实战项目

🍊作者：计算机毕设残哥 🍊简介：毕业后就一直专业从事计算机软件程序开发，至今也有8年工作经验。擅长Java、Python、微信小程序、安卓、大数据、PHP、.NET|C#、Golang等。擅长：按照需求定制化开发项目、源…...

编程日记 2024/8/15 10:45:35

bug的常见排查和分析思路以及相关的原因分类

作为开发人员，经常会收到来自用户和QA，领导反馈的各种问题。为了快速问题，我们有时需要站在更高的角度，更全面的看待问题。才能更快锁定问题。具体的bug还需要结合企业实际业务情况，相关的框架，依赖库&…...

编程日记 2024/8/15 10:43:32

Nature：7个提升科研产出的实用建议

我是娜姐迪娜学姐 ，一个SCI医学期刊编辑，探索用AI工具提效论文写作和发表。一个值得思考的问题是：层出不穷的效率工具到底是提升还是降低了科研产出？ 大学教授萨拉 (Sara) 描述了她典型的工作日场景："…...

编程日记 2024/8/15 10:42:30

react-native从入门到实战系列教程-页面之间的跳转

路由的跳转，是app开发中需要处理的问题，一个页面不可能装下那么多的内容。在react-native中，我们使用的路由组件跟reactjs中还是有区别的，这里贴出官网的文档:https://reactnavigation.org/docs/navigating 实现效果安装按照官网的指导安装即可。代码实现 app.jsx中改造…...

编程日记 2024/8/15 10:41:28

HarmonyOS应用开发者高级认证（一）

1、依次点击A、B、C、D四个按钮，其中不会触发UI刷新的是： 答案： Button("C").onClick(() > {this.nameList[0].name "Jim"})分析：直接更新非一级数据不会触发UI刷新 2、如果要实现Row组件内的子元素均匀…...

编程日记 2024/8/15 10:40:26

应用升级/灾备测试时使用guarantee 闪回点迅速回退

1.场景应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。相对于RMAN恢复需要很长时间， 数据库闪回只需要几分钟。 2.技术实现数据库设置 2个db_recovery参数创建guarantee闪回点，不需要开启数据库闪回。…...

编程新知 2025/7/30 7:20:17

C++：std::is_convertible

C++标志库中提供is_convertible，可以测试一种类型是否可以转换为另一只类型： template <class From, class To> struct is_convertible; 使用举例： #include <iostream> #include <string>using namespace std;struct A { }; struct B : A { };int main…...

编程新知 2025/6/11 15:23:57

Oracle查询表空间大小

1 查询数据库中所有的表空间以及表空间所占空间的大小 SELECTtablespace_name,sum( bytes ) / 1024 / 1024 FROMdba_data_files GROUP BYtablespace_name; 2 Oracle查询表空间大小及每个表所占空间的大小 SELECTtablespace_name,file_id,file_name,round( bytes / ( 1024 …...

编程新知 2025/10/10 10:23:21

学习STC51单片机31（芯片为STC89C52RCRC）OLED显示屏1

每日一言生活的美好，总是藏在那些你咬牙坚持的日子里。硬件：OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写，"1306" 是产品编号。驱动 OLED 屏幕的 IIC 总线数据传输格式示意图 …...

编程新知 2025/10/27 13:41:17

视觉slam十四讲实践部分记录——ch2、ch3

ch2 一、使用g++编译.cpp为可执行文件并运行(P30) g++ helloSLAM.cpp ./a.out运行二、使用cmake编译 mkdir build cd build cmake .. makeCMakeCache.txt 文件仍然指向旧的目录。这表明在源代码目录中可能还存在旧的 CMakeCache.txt 文件，或者在构建过程中仍然引用了旧的路…...

编程新知 2025/10/25 12:42:32