大数据之Oracle同步Doris数据不一致问题

数据同步架构如下：

出现的问题：

 doris中的数据条数

源库中的数据条数

 

总数完全不一致。

出现问题的原因：

  在Dinky中建立表结构时，缺少对主键属性的限制

  primary key(ID) not enforced

 加上如上语句，数据条数解决一致

第二：数据完整性内容不一致

   

方案一虽然解决了数据总数的问题，但是数据完整性的方案解决因为如下原因：

原本的数据推送kafka中的before和after字段为表字段，类似与如下：

但是在oracle中数据推送的过程中，after中少了字段，导致数据不全

解决方案：

 oralce重新推送相关表数据的数据结构，保证数据字段的完整性，参考ogg官网