开发者社区> 问答> 正文

如何将几个大的文本文件转换成一个CSV文件,如果它们太大而不能单独转换?

我有几个大的。text文件,我想合并成一个。csv文件。但是,每个文件都太大了,无法单独导入Excel,更不用说一起导入了。 我想创建一个使用熊猫来分析数据,但不知道如何在一个地方得到所有的文件。 如何将数据直接读入Python,或读入Excel以获得.csv文件? 被质疑的数据是FEC网站上的2019-2020年个人贡献。 问题来源StackOverflow 地址:/questions/59386133/how-do-i-convert-several-large-text-files-into-one-csv-file-if-they-are-too-larg

展开
收起
kun坤 2019-12-25 22:07:56 436 0
1 条回答
写回答
取消 提交回答
  • 您可以将每个文件转换为csv,并将它们连接到fom最终的csv文件

    import pandas as pd
    csv_path = 'pathtonewcsvfolder'                    # use your path
    all_files=os.listdir("path/to/textfiles")
    x=0
    for filename in all_files:
        df = pd.read_fwf(filename)
        df.to_csv(os.path.join(csv_path,'log'+str(x)+'.csv'))
        x+=1
    all_csv_files = glob.iglob(os.path.join(csv_path, "*.csv"))
    
    converted_df=pd.concat((pd.read_csv(f) for f in all_csv_files), ignore_index=True)
    converted_df.to_csv('converted.csv')
    
    2019-12-25 22:08:00
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载