标签：csv index 获取文件 dex pandas dmi 文件名 实现 frame
?场景：当我们导出数据后发现数据是多个文件，这个时候我们需要把文件进行合并。
实现思路：
１、通过ｏｓ文件获取文件的路径；
２、把文件的路径放入一个列表；
３、导入数据；
４、把文件合并后导出。
５、注意：合并时需要把重复的追加数据删除。
步骤：
import pandas as pd import os pd.set_option(‘expand_frame_repr‘, False) # 1、首先找到存储路径、 file_location = r‘C:\Users\ADMIN\Desktop\crawl_stock_data\DATA\test‘ # ２、批量获取文件名称 file_list = [] for root,dirs,files in os.walk(file_location): for filename in files: if filename.endswith(‘.csv‘): file_path = os.path.join(root,filename) file_path = os.path.abspath(file_path) file_list.append(file_path) # ３、遍历名称导入数据 all_data = pd.DataFrame() for fp in file_list: df = pd.read_csv(fp, skiprows=1, encoding=‘gbk‘) all_data = all_data.append(df,ignore_index=True) # ４、去除重复，导出数据 all_data.sort_values(by=[‘交易日期‘,‘股票代码‘],inplace=True) all_data.drop_duplicates().to_csv(r‘C:\Users\ADMIN\Desktop\crawl_stock_data\DATA.csv‘)
标签：csv index 获取文件 dex pandas dmi 文件名 实现 frame
原文地址：https://www.cnblogs.com/hanjiangs/p/14233122.html
