处理合并目录下的Excel文件数据并指定列去重

处理合并目录下的Excel文件数据并指定列去重

需求：读取指定目录下的Excel文件并给数据做合并与去重处理

Python代码实现

import os
import pandas as pd
import warnings
import time
from tqdm import tqdm #进度条展示def read_excel(path):dfs = []for file in tqdm(os.listdir(path), desc="Reading Excel Files"):if file.endswith(".xlsx"):dfs.append(pd.read_excel(os.path.join(path, file)))return pd.concat(dfs, ignore_index=True)if __name__ == '__main__':start_time = time.time()print("程序开始时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(start_time)))warnings.filterwarnings('ignore')file_path = '策略列表'file_names = os.listdir(file_path)# 打印所有文件名for file_name in file_names:print(file_name)path = r"策略列表"print("正在合并表...")df = read_excel(path)# 根据账号去重数据df.drop_duplicates(subset='账号', inplace=True)df.to_excel("py合并后数据/合并策略数据-1207.xlsx", sheet_name='Sheet0', header=True, index=False)print("合并成功")end_time = time.time()print("程序结束时间:", time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(end_time)))run_time = end_time - start_timeprint("程序运行耗时:%0.2f" % run_time, "s")