1 Excel导入导出的应用场景
1.1、数据导入
减轻录入工作量
1.2、数据导出
统计信息归档
1.3、数据传输
异构系统之间数据传输
2 EasyExcel简介
2.1、官方网站
https://github.com/alibaba/easyexcel
快速开始:https://www.yuque.com/easyexcel/doc/easyexcel
2.2、EasyExcel特点
Java领域解析、生成Excel比较有名的框架有Apache poi、jxl等。但他们都存在一个严重的问题就是非常的耗内存。如果你的系统并发量不大的话可能还行,但是一旦并发上来后一定会OOM或者JVM频繁的full gc。
EasyExcel是阿里巴巴开源的一个excel处理框架,以使用简单、节省内存著称。EasyExcel能大大减少占用内存的主要原因是在解析Excel时没有将文件数据一次性全部加载到内存中,而是从磁盘上一行行读取数据,逐个解析。
EasyExcel采用一行一行的解析模式,并将一行的解析结果以观察者的模式通知处理(AnalysisEventListener)。
package com.atguigu.easyexcel; public class ExcelReadTest { /** * 最简单的读 */ @Test public void simpleRead07() { String fileName = "d:/excel/01-simpleWrite-07.xlsx"; // 这里默认读取第一个sheet EasyExcel.read(fileName, ExcelStudentData.class, new ExcelStudentDataListener()).sheet().doRead(); } @Test public void simpleRead03() { String fileName = "d:/excel/01-simpleWrite-03.xls"; // 这里默认读取第一个sheet EasyExcel.read(fileName, ExcelStudentData.class, new ExcelStudentDataListener()).excelType(ExcelTypeEnum.XLS).sheet().doRead(); }
3 最简单的读
3.1、参考文档
https://www.yuque.com/easyexcel/doc/read
3.2、创建监听器
package com.atguigu.easyexcel.listener; @Slf4j public class ExcelStudentDataListener extends AnalysisEventListener<ExcelStudentData> { /** * 每隔5条存储数据库,实际使用中可以3000条,然后清理list ,方便内存回收 */ private static final int BATCH_COUNT = 5; List<ExcelStudentData> list = new ArrayList<>(); /** * 这个每一条数据解析都会来调用 * * @param data * one row value. Is is same as {@link AnalysisContext#readRowHolder()} * @param context */ @Override public void invoke(ExcelStudentData data, AnalysisContext context) { log.info("解析到一条数据:{}", data); list.add(data); // 达到BATCH_COUNT了,需要去存储一次数据库,防止数据几万条数据在内存,容易OOM if (list.size() >= BATCH_COUNT) { log.info("存数据库"); // 存储完成清理 list list.clear(); } } /** * 所有数据解析完成了 都会来调用 * * @param context */ @Override public void doAfterAllAnalysed(AnalysisContext context) { log.info("所有数据解析完成!"); } }
3.3、测试用例
package com.atguigu.easyexcel; public class ExcelReadTest { /** * 最简单的读 */ @Test public void simpleRead07() { String fileName = "d:/excel/01-simpleWrite-07.xlsx"; // 这里默认读取第一个sheet EasyExcel.read(fileName, ExcelStudentData.class, new ExcelStudentDataListener()).sheet().doRead(); } @Test public void simpleRead03() { String fileName = "d:/excel/01-simpleWrite-03.xls"; // 这里默认读取第一个sheet EasyExcel.read(fileName, ExcelStudentData.class, new ExcelStudentDataListener()).excelType(ExcelTypeEnum.XLS).sheet().doRead(); } }