我有几个大的。text文件,我想合并成一个。csv文件。但是,每个文件都太大了,无法单独导入Excel,更不用说一起导入了。 我想创建一个使用熊猫来分析数据,但不知道如何在一个地方得到所有的文件。 如何将数据直接读入Python,或读入Excel以获得.csv文件? 被质疑的数据是FEC网站上的2019-2020年个人贡献。 问题来源StackOverflow 地址:/questions/59386133/how-do-i-convert-several-large-text-files-into-one-csv-file-if-they-are-too-larg
您可以将每个文件转换为csv,并将它们连接到fom最终的csv文件
import pandas as pd
csv_path = 'pathtonewcsvfolder' # use your path
all_files=os.listdir("path/to/textfiles")
x=0
for filename in all_files:
df = pd.read_fwf(filename)
df.to_csv(os.path.join(csv_path,'log'+str(x)+'.csv'))
x+=1
all_csv_files = glob.iglob(os.path.join(csv_path, "*.csv"))
converted_df=pd.concat((pd.read_csv(f) for f in all_csv_files), ignore_index=True)
converted_df.to_csv('converted.csv')
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。