MySQL核心业务大表归档过程

      记录一下2年前的MySQL大表的归档，当时刚到公司，发现MySQL的业务核心库，超过亿条的有7张表，最大的表有9亿多条，有37张表超过5百万条，部分表行数如下：

       

      在测试的MySQL环境  ：

      pt-archiver 工具，测试200的dev实例，5800万条数据，纯删除1000万条数据，花费约9分多钟。  

  pt-archiver --source h=172.17.0.1,u=dev_op,p='pwd',P=3306,D=test,t=cc  --statistics --no-check-charset --where " id<=13000000" --limit 60000   --commit-each 
--progress 1000000 --bulk-delete  --primary-key-only   --purge

    和研发，产品讨论如何删除这些大表的没用的数据，确定后，是删除部分没有续约和不合作客户的数据，这些企业的id，由产品部门确认后，给了给列表。

 查询后，这些大表都有比较大的数据行数删除，最大的9亿多条表可以删除出2.3亿条数据，如何备份和删除这2.3亿条数据？

      1，使用腾讯云的数据迁移工具，把整个表备份后，通过pt-archiver 工具删除。 大表不适用

     这样备份可以批量进行，删除可以慢慢删除，小表备份可以，但是对于大表，就多备份了6,7亿条数据。占用空间

      2，可以使用mysqldump工具通过查询备份删除的数据，在通过pt-archiver 工具删除。 小表不适用

     千万级别以下小表就比较麻烦。对于亿级别以上的大表就比较好，如下：    

-- 导出单表
mysqldump -udba_op -p'pwd'  -h172.17.16.126 -P3306 --set-gtid-purged=OFF -t --default-character-set=utf8mb4  --skip-lock-tables  de_db  exam_detail  --where=" exam_id in (select exam_id from  exam   where app_id in (select app_id from bak.t_app_2022)) " >/data1/ex.sql-- 在备份MySQL还原
source /data1/ex.sql

   pt-archiver删除数据：

   例子： -从库4和5延迟30秒，暂停停止删除   

pt-archiver --source h=172.17.16.12,u=dba_op,p='pwd',P=3306,D=de_db,t=user_detail  --statistics --no-check-charset --where " exam_id in (select exam_id from  exam   where app_id in ('gzdsl'))" --limit 100000  --max-lag=30 --check-slave-lag  u=dba_op,p='pwd',h=172.17.16.106,P=3306 --check-slave-lag  u=dba_op,p='pwd',h=172.17.16.4,P=3306 --commit-each --progress 3000000 --bulk-delete --primary-key-only --purge

--primary-key-only  指定进行DELETE清除时最有效，因为只需读取主键一个字段而无需读取行所有字段
--purge  指定执行的删除操作
--limit 100000   每次删除10万行，可以根据情况调整
--dry-run  打印查询需要清除数据的执行语句，做好确认之后再执行

最后处理：

 1，对于9亿条的数据，修改pt脚本，确定执行最长时间--run-time和延迟时间20秒，减少对系统的影响，类似修改如下：

pt-archiver --source h=172.17.16.12,u=dba_op,p='pwd',P=3306,D=de_db,t=gp_mem  --statistics --no-check-charset --where " sys_user_id in  (select sys_user_id from db_bak.t1)  " --limit 200000  --max-lag=20 --check-slave-lag  u=dba_op,p='pwd',h=172.17.16.106,P=3306  --commit-each --progress 3000000 --bulk-delete --primary-key-only --run-time=100m  --purge

        2，每个表写一个shell文件，调度执行

        3，删除完成后，重建表释放表的空间      

pt-online-schema-change  --alter " engine=innodb  " h=172.17.16.78,P=3306,p='pwd',u=dev_op,D=sg_bak,t=user_detail --charset=utf8mb4 --no-check-replication-filters --recursion-method=none --execute