开发者社区> 问答> 正文

mapreduce一次读取一个txt文件:报错

如果有n个txt文件,1.txt、2.txt、3.txt、4.txt、5.txt.......运行mapreduce,一般来说,默认map一次读取一行txt文件,如果我要map一次读入一个txt文件,不是一行,这样可以么?如果可行的话,该如何设置。

展开
收起
kun坤 2020-06-07 20:39:18 559 0
1 条回答
写回答
取消 提交回答
  • 重写 InputFormat和RecordReader,建议参考考虑下CombineFileInputFormat和CombineFileSplit
    ######谢谢哇很有帮助

    2020-06-07 20:39:23
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大批量处理excel文件到ODPS中方案 立即下载
低代码开发师(初级)实战教程 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载