Pspark从hive读数据写到Pgsql数据库

前提条件

      要使用PySpark从Hive读取数据并写入到PostgreSQL数据库，你需要确保以下几点：

1. 你的PySpark环境已经配置好，并且能够连接到你的Hive数据。

2. PostgreSQL JDBC驱动程序已经添加到你的PySpark环境中。

3. 你已经在PostgreSQL中创建好了相应的数据库和表。

二、实现代码

from pyspark.sql import SparkSession
from pyspark.sql.functions import *# 创建SparkSession，确保启用Hive支持
spark = SparkSession.builder \.appName("HiveToPostgreSQL") \.config("spark.sql.warehouse.dir", "<your_warehouse_directory>") \.enableHiveSupport() \.getOrCreate()# 使用Hive表名称来创建Spark DataFrame
hive_table = "hive_database.hive_table"
df = spark.table(hive_table)# 配置JDBC连接参数
url = "jdbc:postgresql://<pgsql_host>:<port>/<database>"
properties = {"user": "<username>","password": "<password>","driver": "org.postgresql.Driver"
}# 将DataFrame写入PostgreSQL
df.write.jdbc(url, "target_table", properties=properties)# 停止SparkSession
spark.stop()