开发者社区> 问答> 正文

POI导入单个包含百万级数据量的Excle如何设计

需求
通过WEB界面向数据库中
不定期的全量导入一份包含百万级数据量的Excle表
现在应用在本机测试过程中,开发机内存16G,导入无压力
服务器部署后,远程web导入,页面假死,查看服务端进程已down
服务器配置:centos6.5 1核1g
JDK1.6
导入控件:poi
求小伙伴指导如何解决

展开
收起
蛮大人123 2016-02-25 18:04:14 4335 0
2 条回答
写回答
取消 提交回答
  • 查看服务端进程已down=说明你为了插入excel而创建的对象过多,JVM挂了

    2019-07-17 18:47:48
    赞同 展开评论 打赏
  • 我说我不帅他们就打我,还说我虚伪

    1、首先确认是上传还是导入时导致页面假死。我推测应该是上传,因为你的excel文件应该不小,通过网络上传需要花费大量的时间,有可能导致web服务器超时设置,本地测试,上传肯定要比网络快N倍。
    2、如果不是上传问题,那就是应该是导入数据库出现问题,如果你是一条条的插入,那效率肯定不高,可以采用batch insert 或者 load data infile 的方式。

    2019-07-17 18:47:48
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
大批量处理excel文件到ODPS中方案 立即下载
实战-如何基于HBase构建图片视频数据的统一存储检索方案 立即下载
PostgresChina2018_黄晓涛_通过FDW对大容量非结构化文件的管理和访问 立即下载

相关实验场景

更多