当前位置：首页 > news >正文

循环执行时数据的同步方式

news 2025/9/15 11:03:41

在dataX-web中循环执行时数据的同步方式

解决中文comment中文乱码

在mysql中

# （0）修改库注释
alter table DBS modify column `desc` varchar(256) character set utf8;
alter table DATABASE_PARAMS modify column PARAM_VALUE varchar(256) character set utf8;# （1）修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;# （2）修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;# （3）修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

前置操作：

启动datax-web

cd /export/server/datax-web-2.1.2
./bin/start-all.sh

登陆主页面

http://hadoop01:9527/index.html
输入用户名 admin 密码 123456 就可以直接访问系统。

在datax-web项目管理中添加项目

在这里插入图片描述

在任务模板中添加任务模板

在这里插入图片描述

添加数据源

在这里插入图片描述

全量覆盖

不分区，同步时全部覆盖

适用于数据较少，不会发生变更，仅会新增列或行的情况

在这里插入图片描述

例子：全量覆盖----日期维度表

第一步: 在mysql的日期表准备了 700多条数据
第二步: 在hive中建表
第三步: 使用datax 将mysql中的数据 导入到 hive的日期表
第四步: 验证: select count(*) from hive.日期表; -- 700多条
第五步: 通过运行sql脚本 插入2024和2025年的日期数据 -- 365 + 365 = 730 + 730 = 1460 多表
第六步: 使用datax 将mysql中的数据 导入到 hive的日期表
第七步: 验证 select count(*) from hive.日期表; -- 1400多条

建表语句：hive

create table dim.test_dim_base_date_full(
trade_date            string   comment '日期编码',year_code             int       comment '年编码',month_code            int       comment '月份编码',day_code              int       comment '日编码',quanter_code          int       comment '季度编码',quanter_name          string   comment '季度名称',week_trade_date       string  comment '周一时间',month_trade_date      string  comment '月一时间',week_end_date         string  comment '周末时间',month_end_date        string  comment '月末时间',last_week_trade_date  string  comment '上周一时间',last_month_trade_date string  comment '上月一时间',last_week_end_date    string  comment '上周末时间',last_month_end_date   string  comment '上月末时间',year_week_code        int       comment '一年中第几周',week_day_code         int       comment '周几code',day_year_num          int       comment '一年第几天',month_days            int       comment '本月有多少天',is_weekend            int       comment '是否周末（周六和周日）',days_after1           string  comment '1天后的日期',days_after2           string  comment '2天后的日期',days_after3           string  comment '3天后的日期',days_after4           string  comment '4天后的日期',days_after5           string  comment '5天后的日期',days_after6           string  comment '6天后的日期',days_after7           string  comment '7天后的日期'
)
row format delimited fields terminated by ','
stored as orc
tblproperties ('orc.compress'='ZLIB');

方式一：datax步骤

构建任务将mysql中dim库的base_data表数据导入到hive中dim库的test_dim_base_date_full中

在这里插入图片描述

path 路径：
hive中执行
desc formatted dim.test_dim_base_date_full;
hdfs://hadoop01:8020
/user/hive/warehouse/dim.db/test_dim_base_date_full

在这里插入图片描述

构建任务选择模板

在这里插入图片描述

结果验证

数据库中查看

在这里插入图片描述

在hdfs中也可以查看

在这里插入图片描述

再次执行之后结果还是跟mysql中一样说明是全量覆盖

方式二：linux步骤

将 json文件内容拷贝出来且修改

vim /export/server/datax/job/01_mysql_2_hive_date_full.json

{"job": {"setting": {"speed": {"channel": 3,"byte": 1048576},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "root","password": "123456","column": ["`trade_date`","`year_code`","`month_code`","`day_code`","`quanter_code`","`quanter_name`","`week_trade_date`","`month_trade_date`","`week_end_date`","`month_end_date`","`last_week_trade_date`","`last_month_trade_date`","`last_week_end_date`","`last_month_end_date`","`year_week_code`","`week_day_code`","`day_year_num`","`month_days`","`is_weekend`","`days_after1`","`days_after2`","`days_after3`","`days_after4`","`days_after5`","`days_after6`","`days_after7`"],"splitPk": "","connection": [{"table": ["base_date"],"jdbcUrl": ["jdbc:mysql://hadoop01:3306/dim"]}]}},"writer": {"name": "hdfswriter","parameter": {"defaultFS": "hdfs://hadoop01:8020","fileType": "orc","path": "/user/hive/warehouse/dim.db/test_dim_base_date_full","fileName": "base_date","writeMode": "truncate","fieldDelimiter": ",","column": [{"name": "trade_date","type": "string"},{"name": "year_code","type": "int"},{"name": "month_code","type": "int"},{"name": "day_code","type": "int"},{"name": "quanter_code","type": "int"},{"name": "quanter_name","type": "string"},{"name": "week_trade_date","type": "string"},{"name": "month_trade_date","type": "string"},{"name": "week_end_date","type": "string"},{"name": "month_end_date","type": "string"},{"name": "last_week_trade_date","type": "string"},{"name": "last_month_trade_date","type": "string"},{"name": "last_week_end_date","type": "string"},{"name": "last_month_end_date","type": "string"},{"name": "year_week_code","type": "int"},{"name": "week_day_code","type": "int"},{"name": "day_year_num","type": "int"},{"name": "month_days","type": "int"},{"name": "is_weekend","type": "int"},{"name": "days_after1","type": "string"},{"name": "days_after2","type": "string"},{"name": "days_after3","type": "string"},{"name": "days_after4","type": "string"},{"name": "days_after5","type": "string"},{"name": "days_after6","type": "string"},{"name": "days_after7","type": "string"}]}}}]}
}

执行

[root@hadoop01 job]# /usr/bin/python /export/server/datax/bin/datax.py /export/server/datax/job/01_mysql_2_hive_date_full.json

结果验证

在这里插入图片描述

将执行命令编写到shell脚本中

vim  /export/server/datax/job/g.sh

#!/bin/bash/usr/bin/python /export/server/datax/bin/datax.py /export/server/datax/job/g_mysql_2_hive_date_full.json

- chmod 777  /export/server/datax/job/g.sh
- /export/server/datax/job/g.sh

全量同步

每天新增一个日期分区，同步存储当天的全量数据

适用于保存周期型快照事实表

在这里插入图片描述

例子：全量同步----门店商品库存天表

将sqlserver中stock库里的dbo中的store_goods_stock_data_day表数据同步到hive中ods库中test_stock_store_goods_stock_data_day_i表中

建表语句：hive 创建分区表

CREATE TABLE IF NOT EXISTS ods.test_stock_store_goods_stock_data_day_i(id                  INT    COMMENT '主键',store_no            STRING COMMENT '店铺编码',goods_no            STRING COMMENT '商品NO',is_saleable         BIGINT COMMENT '是否可售：0否，1是',stock_qty           DECIMAL(27,3) COMMENT '库存数量',stock_price         DECIMAL(27,2) COMMENT '成本价',stock_amount        DECIMAL(27,2) COMMENT '库存金额',last_update_time    TIMESTAMP COMMENT '更新时间'
)
comment '门店商品库存天表'
partitioned by(dt STRING COMMENT '统计时间')
row format delimited fields terminated by ','
stored as orc
tblproperties ('orc.compress'='SNAPPY');

datax步骤

任务构建

在这里插入图片描述

查看路径
desc formatted ods.test_stock_store_goods_stock_data_day_i;
hdfs://hadoop01:8020
/user/hive/warehouse/ods.db/test_stock_store_goods_stock_data_day_i

在这里插入图片描述

编辑任务

在这里插入图片描述

结果验证

在这里插入图片描述

但是在hive中查不到数据是因为创建的外部看不到分区

解决方案

set hive.exec.dynamic.partition.mode=nonstrict; -- 先设置一下动态分区模式
MSCK REPAIR TABLE ods.test_stock_store_goods_stock_data_day_i --修复分区

然后就可以查到数据咯

在这里插入图片描述

也可以通过postsql将下列语句加到任务中

"postSql":["MSCK REPAIR TABLE ods.ods_stock_store_goods_stock_data_day_i"
],

在这里插入图片描述

仅增量同步

每天新增一个日期分区，同步并存储当天的新增数据

适用于事务型事实表，只会新增不会更新的数据，如退货订单表

在这里插入图片描述

例子：仅增量同步----门店销售支付表

首次执行，同步全量数据并且导入到多个对应分区先将mysql中sale库里的store_sale_pay表数据导入到临时表中（hive里ods库的test_sale_store_sale_pay_i_temp表中）然后通过insert overwrite插入到正式表中（test_sale_store_sale_pay_i）

建表语句：

hive创建分区表

CREATE TABLE IF NOT EXISTS ods.test_sale_store_sale_pay_i(id              BIGINT COMMENT '主键',order_no        STRING COMMENT '单据唯一编号',order_id        BIGINT COMMENT '单据唯一编号',store_no        STRING COMMENT '门店编码',store_name      STRING COMMENT '门店名称',trade_date      TIMESTAMP COMMENT '交易日期',pay_date        TIMESTAMP COMMENT '支付日期',deal_date       TIMESTAMP COMMENT '库存处理时间',pos_no          STRING COMMENT 'POS机编号',ser_id          BIGINT COMMENT '交易序号',trade_id        BIGINT COMMENT '销售类型:1-销售，2-退货，3-拒收，4-取消',parent_order_sn STRING COMMENT '母单号，如果单据是子单有值',source_order_sn STRING COMMENT '原始单据，退款的单据，则代表是原始销售单据',source_type     BIGINT COMMENT '销售渠道：1-门店POS，2-商城小程序，3-团购销售',create_time     STRING COMMENT '记录创建时间',business_code   STRING COMMENT '业务类型//预售、及时达、B2C',pay_type_id     STRING COMMENT '支付类别ID',third_party_id  STRING COMMENT '第三方支付类别ID',third_party_name STRING COMMENT '第三方类别',pay_amount      DECIMAL(27, 2) COMMENT '支付金额',third_trade_no  STRING COMMENT '三方交易单号',trade_no        STRING COMMENT '交易单号',source_trade_no STRING COMMENT '原始交易单号',item            BIGINT COMMENT '序号,同一种支付方式可能多个条记录',ratio           DECIMAL(27, 4) COMMENT '支付费率',memo            STRING COMMENT '备注'
) 
comment '门店销售支付表'
partitioned by (dt STRING COMMENT '销售日期')
row format delimited fields terminated by ','
stored as orc
tblproperties ('orc.compress'='ZLIB');

hive临时表

CREATE TABLE IF NOT EXISTS ods.test_sale_store_sale_pay_i_temp(id              BIGINT COMMENT '主键',order_no        STRING COMMENT '单据唯一编号',order_id        BIGINT COMMENT '单据唯一编号',store_no        STRING COMMENT '门店编码',store_name      STRING COMMENT '门店名称',trade_date      TIMESTAMP COMMENT '交易日期',pay_date        TIMESTAMP COMMENT '支付日期',deal_date       TIMESTAMP COMMENT '库存处理时间',pos_no          STRING COMMENT 'POS机编号',ser_id          BIGINT COMMENT '交易序号',trade_id        BIGINT COMMENT '销售类型:1-销售，2-退货，3-拒收，4-取消',parent_order_sn STRING COMMENT '母单号，如果单据是子单有值',source_order_sn STRING COMMENT '原始单据，退款的单据，则代表是原始销售单据',source_type     BIGINT COMMENT '销售渠道：1-门店POS，2-商城小程序，3-团购销售',create_time     STRING COMMENT '记录创建时间',business_code   STRING COMMENT '业务类型//预售、及时达、B2C',pay_type_id     STRING COMMENT '支付类别ID',third_party_id  STRING COMMENT '第三方支付类别ID',third_party_name STRING COMMENT '第三方类别',pay_amount      DECIMAL(27, 2) COMMENT '支付金额',third_trade_no  STRING COMMENT '三方交易单号',trade_no        STRING COMMENT '交易单号',source_trade_no STRING COMMENT '原始交易单号',item            BIGINT COMMENT '序号,同一种支付方式可能多个条记录',ratio           DECIMAL(27, 4) COMMENT '支付费率',memo            STRING COMMENT '备注'
) 
comment '门店销售支付临时表'
row format delimited fields terminated by ','
stored as orc
tblproperties ('orc.compress'='ZLIB');

构建任务

在这里插入图片描述

json文件记得修改为truncate

执行任务

数据从临时表导入到分区表

执行hivesql将全量数据从临时表导入到分区表。

set hive.exec.dynamic.partition.mode=nonstrict;insert overwrite table ods.test_sale_store_sale_pay_i partition(dt)
select *,date_format(pay_date,'yyyy-MM-dd') as dt from ods.test_sale_store_sale_pay_i_temp t
;

查看数据

在这里插入图片描述

删除临时表 hive中

drop table ods.test_sale_store_sale_pay_i_temp

每天执行，同步前一天数据，放到前一天的分区

在mysql中插入数据

-- 模拟store_sale_pay 增量数据(上一天的数据)
insert into sale.store_sale_pay
select * from (select null as id, order_no, order_id, store_no, store_name, trade_date,concat(date_sub(current_date, interval 1 day), substr(pay_date, 11)) as pay_date, deal_date, pos_no, ser_id, trade_id, parent_order_sn,source_order_sn, source_type, create_time, business_code, pay_type_id,third_party_id, third_party_name, pay_amount, third_trade_no, trade_no, source_trade_no, item, ratio, memofrom sale.store_sale_paywhere id<3
) as t1
;select * from sale.store_sale_pay
where date(pay_date)=date_sub(current_date, interval 1 day)

任务构建在where中要加上条件

pay_date >= date_sub(curdate(),interval 1 day) and pay_date < curdate()

在这里插入图片描述

编辑任务

在这里插入图片描述

查看结果前一天数据成功导入

在这里插入图片描述

新增及更新同步

每天新增一个日期分区，同步并存储当天的新增和更新数据

适用于既有新增又有更新的数据，最常见的就是累计型快照快照事实表，比如订单表

也适用于关心数据变化的维表，比如后续需要维护一个拉链表时，需要知道每天新增和更新的数据

在这里插入图片描述

例子：商城订单表

将mysql里sale库里的shop_order表数据导入到hive里ods库中的临时表中

创建表

CREATE TABLE IF NOT EXISTS ods.test_sale_shop_order_i(id                        BIGINT COMMENT '编号',parent_order_no           STRING COMMENT '父单订单号',order_id                  STRING COMMENT '订单编号',is_split                  BIGINT COMMENT '是否拆单：0-不需要拆单；1-待拆单；2-已拆单',platform_id               BIGINT COMMENT '平台id：1-有赞，2-京东到家，3-美团外卖，4-饿了么',tid                       STRING COMMENT '平台订单号',source_type               BIGINT COMMENT '订单来源：10,20,30,40,41,50,60,70',source_name               STRING COMMENT '订单来源名称：10-有赞，20-京东到家，30-美团外卖，40-饿了么，41-百度外卖，50-传智鲜精选，60-黑马优选，70-抖店',store_no                  STRING COMMENT '门店编码',city_id                   BIGINT COMMENT '城市编号',city_name                 STRING COMMENT '城市名称',region_code               STRING COMMENT '区域编码',order_status              BIGINT,order_status_desc         STRING COMMENT '主订单状态描述：0-新建; 1-待出票；2-待备货；3-待揽件；4-待自提; 5-配送中；6-已完成；7-已取消',pay_type                  BIGINT COMMENT '支付类型：1-线下支付；2-线上支付',trade_type                STRING COMMENT '交易类型。取值范围：fixed(一口价) gift(送礼）bulk_purchase（来自分销商的采购）present （赠品领取）group （拼团订单） pifa （批发订单） cod （货到付款） peer （代付） qrcode（扫码商家二维码直接支付的交易）qrcode_3rd（线下收银台二维码交易)',is_deleted                BIGINT COMMENT '是否有效，1：已删除，0：正常',order_create_time         TIMESTAMP COMMENT '平台订单创建时间',order_pay_time            TIMESTAMP COMMENT '订单支付时间',create_time               TIMESTAMP COMMENT '创建时间',print_status              BIGINT COMMENT '打印状态：0-未打票;1-已打票',print_time                TIMESTAMP COMMENT '出票时间',stock_up_status           BIGINT COMMENT '门店处理状态：0-待备货/1-已备货',stock_up_time             TIMESTAMP COMMENT '备货完成时间',order_type                BIGINT COMMENT '配送类型（真正的订单类型由业务类型来决定）：1-及时送；2-隔日送；3-自提单',express_type              BIGINT COMMENT '配送方式：0-三方平台配送；1-自配送；2-快递；3-自提',receive_time              TIMESTAMP COMMENT '要求送达/自提时间',express_code              STRING COMMENT '配送单号',delivery_status           BIGINT COMMENT '配送状态：0-待配送；1-配送中；2-已送达',delivery_time             TIMESTAMP COMMENT '配送时间',pick_up_status            BIGINT COMMENT '自提状态：0-待自提；1-已自提',qr_code                   STRING COMMENT 'qr提货码',pick_up_time              TIMESTAMP COMMENT '自提时间',complete_time             TIMESTAMP COMMENT '订单完结时间',is_cancel                 BIGINT COMMENT '是否取消',cancel_time               TIMESTAMP COMMENT '取消时间',cancel_reason             STRING COMMENT '取消原因',refund_status             BIGINT COMMENT '退款状态：0未退款，1部分退款，2已全额退款',refund_time               TIMESTAMP COMMENT '已退款时间',last_update_time          TIMESTAMP COMMENT '最新更新时间',order_total_amount        DECIMAL(27, 2) COMMENT '订单总金额',product_total_amount      DECIMAL(27, 2) COMMENT '商品总金额（原价）',pack_amount               DECIMAL(27, 2) COMMENT '餐盒费/打包费',delivery_amount           DECIMAL(27, 2) COMMENT '配送费',discount_amount           DECIMAL(27, 2) COMMENT '订单优惠金额=商家承担优惠金额+平台补贴金额',seller_discount_amount    DECIMAL(27, 2) COMMENT '商家承担优惠金额',platform_allowance_amount DECIMAL(27, 2) COMMENT '平台补贴金额',real_paid_amount          DECIMAL(27, 2) COMMENT '实付金额',product_discount          DECIMAL(27, 2) COMMENT '商品优惠金额',real_product_amount       DECIMAL(27, 2) COMMENT '商品实际金额',buyer_id                  BIGINT COMMENT '买家id',buyer_phone               STRING COMMENT '买家电话',buyer_remark              STRING COMMENT '买家备注',r_name                    STRING COMMENT '收货人姓名',r_tel                     STRING COMMENT '收货人电话',r_province                STRING COMMENT '收货人省份',r_city                    STRING COMMENT '收货人城市',r_district                STRING COMMENT '收货人区域',r_address                 STRING COMMENT '收货人地址',r_zipcode                 STRING COMMENT '收货人邮编',is_tuan_head              BIGINT COMMENT '是否为团长订单',store_leader_id           BIGINT COMMENT '团长id',order_group_no            STRING COMMENT '团单号',commision_amount          DECIMAL(27, 2) COMMENT '抽佣金额',settle_amount             DECIMAL(27, 2) COMMENT '结算金额',points_amount             DECIMAL(27, 2) COMMENT '积分抵扣金额',pay_point                 BIGINT COMMENT '消费积分数',balance_amount            DECIMAL(27, 2) COMMENT '余额扣除金额',pay_channel_amount        DECIMAL(27, 2) COMMENT '通过支付渠道支付的金额',point_amount              DECIMAL(27, 2) COMMENT '消费赠送积分',sync_erp_status           BIGINT COMMENT '同步erp状态',sync_erp_msg              STRING COMMENT '同步erp失败消息'
)
COMMENT '商城订单表(更新表)'
partitioned by (dt STRING COMMENT '更新日期')
row format delimited fields terminated by ','
stored as orc
tblproperties ('orc.compress'='ZLIB');

CREATE TABLE IF NOT EXISTS ods.test_sale_shop_order_i_temp(id                      BIGINT COMMENT '编号',parent_order_no         STRING COMMENT '父单订单号',order_id                STRING COMMENT '订单编号',is_split                BIGINT COMMENT '是否拆单：0-不需要拆单；1-待拆单；2-已拆单',platform_id             BIGINT COMMENT '平台id：1-有赞，2-京东到家，3-美团外卖，4-饿了么',tid                     STRING COMMENT '平台订单号',source_type             BIGINT COMMENT '订单来源：10,20,30,40,41,50,60,70',source_name             STRING COMMENT '订单来源名称：10-有赞，20-京东到家，30-美团外卖，40-饿了么，41-百度外卖，50-传智鲜精选，60-黑马优选，70-抖店',store_no                STRING COMMENT '门店编码',city_id                 BIGINT COMMENT '城市编号',city_name               STRING COMMENT '城市名称',region_code             STRING COMMENT '区域编码',order_status            BIGINT,order_status_desc       STRING COMMENT '主订单状态描述：0-新建; 1-待出票；2-待备货；3-待揽件；4-待自提; 5-配送中；6-已完成；7-已取消',pay_type                BIGINT COMMENT '支付类型：1-线下支付；2-线上支付',trade_type              STRING COMMENT '交易类型。取值范围：fixed(一口价) gift(送礼）bulk_purchase（来自分销商的采购）present （赠品领取）group （拼团订单） pifa （批发订单） cod （货到付款） peer （代付） qrcode（扫码商家二维码直接支付的交易）qrcode_3rd（线下收银台二维码交易)',is_deleted              BIGINT COMMENT '是否有效，1：已删除，0：正常',order_create_time       TIMESTAMP COMMENT '平台订单创建时间',order_pay_time          TIMESTAMP COMMENT '订单支付时间',create_time             TIMESTAMP COMMENT '创建时间',print_status            BIGINT COMMENT '打印状态：0-未打票;1-已打票',print_time              TIMESTAMP COMMENT '出票时间',stock_up_status         BIGINT COMMENT '门店处理状态：0-待备货/1-已备货',stock_up_time           TIMESTAMP COMMENT '备货完成时间',order_type              BIGINT COMMENT '配送类型（真正的订单类型由业务类型来决定）：1-及时送；2-隔日送；3-自提单',express_type            BIGINT COMMENT '配送方式：0-三方平台配送；1-自配送；2-快递；3-自提',receive_time            TIMESTAMP COMMENT '要求送达/自提时间',express_code            STRING COMMENT '配送单号',delivery_status         BIGINT COMMENT '配送状态：0-待配送；1-配送中；2-已送达',delivery_time           TIMESTAMP COMMENT '配送时间',pick_up_status          BIGINT COMMENT '自提状态：0-待自提；1-已自提',qr_code                 STRING COMMENT 'qr提货码',pick_up_time            TIMESTAMP COMMENT '自提时间',complete_time           TIMESTAMP COMMENT '订单完结时间',is_cancel               BIGINT COMMENT '是否取消',cancel_time             TIMESTAMP COMMENT '取消时间',cancel_reason           STRING COMMENT '取消原因',refund_status           BIGINT COMMENT '退款状态：0未退款，1部分退款，2已全额退款',refund_time             TIMESTAMP COMMENT '已退款时间',last_update_time        TIMESTAMP COMMENT '最新更新时间',order_total_amount      DECIMAL(27, 2) COMMENT '订单总金额',product_total_amount    DECIMAL(27, 2) COMMENT '商品总金额（原价）',pack_amount             DECIMAL(27, 2) COMMENT '餐盒费/打包费',delivery_amount         DECIMAL(27, 2) COMMENT '配送费',discount_amount         DECIMAL(27, 2) COMMENT '订单优惠金额=商家承担优惠金额+平台补贴金额',seller_discount_amount  DECIMAL(27, 2) COMMENT '商家承担优惠金额',platform_allowance_amount DECIMAL(27, 2) COMMENT '平台补贴金额',real_paid_amount        DECIMAL(27, 2) COMMENT '实付金额',product_discount        DECIMAL(27, 2) COMMENT '商品优惠金额',real_product_amount     DECIMAL(27, 2) COMMENT '商品实际金额',buyer_id                BIGINT COMMENT '买家id',buyer_phone             STRING COMMENT '买家电话',buyer_remark            STRING COMMENT '买家备注',r_name                  STRING COMMENT '收货人姓名',r_tel                   STRING COMMENT '收货人电话',r_province              STRING COMMENT '收货人省份',r_city                  STRING COMMENT '收货人城市',r_district              STRING COMMENT '收货人区域',r_address               STRING COMMENT '收货人地址',r_zipcode               STRING COMMENT '收货人邮编',is_tuan_head            BIGINT COMMENT '是否为团长订单',store_leader_id         BIGINT COMMENT '团长id',order_group_no          STRING COMMENT '团单号',commision_amount        DECIMAL(27, 2) COMMENT '抽佣金额',settle_amount           DECIMAL(27, 2) COMMENT '结算金额',points_amount           DECIMAL(27, 2) COMMENT '积分抵扣金额',pay_point               BIGINT COMMENT '消费积分数',balance_amount          DECIMAL(27, 2) COMMENT '余额扣除金额',pay_channel_amount      DECIMAL(27, 2) COMMENT '通过支付渠道支付的金额',point_amount            DECIMAL(27, 2) COMMENT '消费赠送积分',sync_erp_status         BIGINT COMMENT '同步erp状态',sync_erp_msg            STRING COMMENT '同步erp失败消息'
)
comment '商城订单临时表'
row format delimited fields terminated by ','
stored as orc
tblproperties ('orc.compress'='ZLIB');

任务构建

在这里插入图片描述

将临时表中的数据加载到正式表中在hive中

set hive.exec.dynamic.partition.mode=nonstrict;insert overwrite table  ods.test_sale_shop_order_i partition(dt)
select *,date_format(t.create_time,'yyyy-MM-dd') as dt from ods.test_sale_shop_order_i_temp t

查看分区表

在这里插入图片描述

删除临时表

drop table ods.test_sale_shop_order_i_temp;

循环执行任务构建

每次只同步前一天数据新增和变化的数据，所以构建reader时，where后加上条件

(create_time >= date_sub(curdate(),interval 1 day) and create_time < curdate())
or (last_update_time >= date_sub(curdate(),interval 1 day) and last_update_time < curdate())

在这里插入图片描述

查看结果前一天数据已导入

在这里插入图片描述