解析记录达到 10 万条的 Excel 出现内存溢出怎么办

2019-09-01

在解答这个问题之前，首先要明白 Excel2003 和 Excel2007 两个版本的区别。最明显的是两个版本的最大行数和列数不同，2003 版最大行数是 65536 行，最大列数是 256 列，2007 版及以后的版本最大行数是 1048576 行，最大列数是 16384 列。

本文并非原创，参考文章：POI 读写大数据量 Excel，解决超过几万行而导致的内存溢出问题

Step 1

程序所需 jar 包如下。

用红框框住的 jar 包是一个容易漏掉的包，这里强调一下。

Step 2

使用 POI 工具解析 Excel，若使用其用户模式，则解析包含少量数据的 Excel 文档没有任何问题，但是一旦解析包含大量数据的 Excel 时就会出现内存溢出异常。这里我测试的 Excel 文档为 2007 版本，包含 10 万条记录。

采用用户模式的解析测试程序：

/**
 * 
 */
package com.excel.parser;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;

import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.usermodel.WorkbookFactory;

import com.excel.bean.MaterialGroupBean;

/**
 * @description 解析类
 * @author Daniel Ge
 * @date 2019-8-13
 */
public class OutOfMemoryTest {

	/**
	 * @Description: 本地测试 main 方法
	 * @param args
	 * @return void  
	 * @throws
	 * @author Daniel Ge
	 * @date 2019-8-13
	 */
	public static void main(String[] args) {

		try {
			File root = new File("E:\\TestFile\\ExcelPOITest\\outOfMemoryTest");
			File[] fs = root.listFiles();

			for (int i = 0; i < fs.length; i++) {
				System.out.println(fs[i].getAbsolutePath());
				File f = new File(fs[i].getAbsolutePath());
				OutOfMemoryTest parser = new OutOfMemoryTest();
				parser.parseFile(f);
			}

		} catch (Exception e) {
			e.printStackTrace();

		} 
	}

	protected boolean parseFile(File f)
			throws Exception {

		List<MaterialGroupBean> tempList = new ArrayList<MaterialGroupBean>();
		MaterialGroupBean info = null;// 相关 bean 根据具体情况自己创建就好
		InputStream fis = null;
		// 根据指定的文件输入流导入 Excel 从而产生Workbook对象
		Workbook wb = null;

		/**
		 * WorkbookFactory.create(fis)
		 * 
		 * 此方法的源码已经帮我们判断了文件的版本类型， HSSFWorkbook 和 XSSFWorkbook 都实现了 Workbook 接口。
		 */
		try {
			fis = new FileInputStream(f);
			wb = WorkbookFactory.create(fis);

			// 获取 Excel 文档中的第一个表单
			Sheet sht0 = wb.getSheetAt(0);
			
			// 解析开始时间
			Long beginTime = System.currentTimeMillis();
			
			// 对 Sheet 中的每一行进行遍历
			for (Row r : sht0) {
				// 第 1 行是表头，从第 2 行开始读
				if (r.getRowNum() < 1) {
					continue;
				}
				// 创建实体类
				info = new MaterialGroupBean();

				// 依次取出当前行的单元格中的数据，并封装在 info 实体中
				info.setSpras(r.getCell(0).getStringCellValue());
				info.setMatkl(r.getCell(1).getStringCellValue());
				info.setWgbez(r.getCell(2).getStringCellValue());	

				tempList.add(info);
			}

			// 解析结束时间
			Long endTime = System.currentTimeMillis();
			System.out.println("解析用时：" + (endTime - beginTime));

		} catch (FileNotFoundException e1) {
			e1.printStackTrace();
			return false;

		} catch (Exception e) {
			e.printStackTrace();
			return false;

		} finally {
			if (fis != null) {
				try {
					fis.close();
				} catch (Exception e) {
					e.printStackTrace();
				}
			}
		}
		
		MaterialGroupBean oneInfo = new MaterialGroupBean();
		Iterator<MaterialGroupBean> iterator = tempList.iterator();
		while (iterator.hasNext()) {
		oneInfo = iterator.next();
		System.out.println(oneInfo.getSpras() + " "
				+ oneInfo.getMatkl() + " "
				+ oneInfo.getWgbez() + " ");
		}
		return true;
	}
}

运行结果：

Step 3

因此我们采用 SAX 事件驱动模式来解析 Excel 文档，下面是具体的类的源码。

针对 Excel2003 版本的处理类：

/**
 * 
 */
package com.kindpetro.excel.utils;

import org.apache.poi.hssf.eventusermodel.*;
import org.apache.poi.hssf.eventusermodel.dummyrecord.LastCellOfRowDummyRecord;
import org.apache.poi.hssf.eventusermodel.dummyrecord.MissingCellDummyRecord;
import org.apache.poi.hssf.model.HSSFFormulaParser;
import org.apache.poi.hssf.record.*;
import org.apache.poi.hssf.usermodel.HSSFDataFormatter;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.poifs.filesystem.POIFSFileSystem;


import java.io.FileInputStream;
import java.util.ArrayList;
import java.util.List;

/**
 * @description 用于解决.xls2003版本大数据量问题
 * @author Daniel Ge
 * @date 2019-8-29
 */
public class ExcelXlsReader implements HSSFListener {

    private int minColums = -1;

    private POIFSFileSystem fs;

    /**
     * 总行数
     */
    private int totalRows=0;

    /**
     * 上一行row的序号
     */
    private int lastRowNumber;

    /**
     * 上一单元格的序号
     */
    private int lastColumnNumber;

    /**
     * 是否输出formula，还是它对应的值
     */
    private boolean outputFormulaValues = true;

    /**
     * 用于转换formulas
     */
    private EventWorkbookBuilder.SheetRecordCollectingListener workbookBuildingListener;

    //excel2003工作簿
    private HSSFWorkbook stubWorkbook;

    private SSTRecord sstRecord;

    private FormatTrackingHSSFListener formatListener;

    private final HSSFDataFormatter formatter = new HSSFDataFormatter();

    /**
     * 文件的绝对路径
     */
    private String filePath = "";

    //表索引
    private int sheetIndex = 0;

    private BoundSheetRecord[] orderedBSRs;

    @SuppressWarnings("unchecked")
    private ArrayList boundSheetRecords = new ArrayList();

    private int nextRow;

    private int nextColumn;

    private boolean outputNextStringRecord;

    //当前行
    private int curRow = 0;

    //存储一行记录所有单元格的容器
    private List<String> cellList = new ArrayList<String>();
    
    /**
     * 所有行集合，也就是整张表的数据
     */
    private List<List<String>> allCellList = new ArrayList<List<String>>();

    /**
     * 判断整行是否为空行的标记
     */
    private boolean flag = false;

    @SuppressWarnings("unused")
    private String sheetName;

    /**
     * 遍历excel下所有的sheet
     *
     * @param fileName
     * @throws Exception
     */
    public List<List<String>> process(String fileName) throws Exception {
        filePath = fileName;
        this.fs = new POIFSFileSystem(new FileInputStream(fileName));
        MissingRecordAwareHSSFListener listener = new MissingRecordAwareHSSFListener(this);
        formatListener = new FormatTrackingHSSFListener(listener);
        HSSFEventFactory factory = new HSSFEventFactory();
        HSSFRequest request = new HSSFRequest();
        if (outputFormulaValues) {
            request.addListenerForAllRecords(formatListener);
        } else {
            workbookBuildingListener = new EventWorkbookBuilder.SheetRecordCollectingListener(formatListener);
            request.addListenerForAllRecords(workbookBuildingListener);
        }
        factory.processWorkbookEvents(request, fs);

        return allCellList;
    }
    
    /**
     * HSSFListener 监听方法，处理Record
     * 处理每个单元格
     * @param record
     */
    @SuppressWarnings("unchecked")
    public void processRecord(Record record) {
        int thisRow = -1;
        int thisColumn = -1;
        String thisStr = null;
        String value = null;
        switch (record.getSid()) {
            case BoundSheetRecord.sid:
                boundSheetRecords.add(record);
                break;
            case BOFRecord.sid: //开始处理每个sheet
                BOFRecord br = (BOFRecord) record;
                if (br.getType() == BOFRecord.TYPE_WORKSHEET) {
                    //如果有需要，则建立子工作簿
                    if (workbookBuildingListener != null && stubWorkbook == null) {
                        stubWorkbook = workbookBuildingListener.getStubHSSFWorkbook();
                    }

                    if (orderedBSRs == null) {
                        orderedBSRs = BoundSheetRecord.orderByBofPosition(boundSheetRecords);
                    }
                    sheetName = orderedBSRs[sheetIndex].getSheetname();
                    sheetIndex++;
                }
                break;
            case SSTRecord.sid:
                sstRecord = (SSTRecord) record;
                break;
            case BlankRecord.sid: //单元格为空白
                BlankRecord brec = (BlankRecord) record;
                thisRow = brec.getRow();
                thisColumn = brec.getColumn();
                thisStr = "";
                cellList.add(thisColumn, thisStr);
                break;
            case BoolErrRecord.sid: //单元格为布尔类型
                BoolErrRecord berec = (BoolErrRecord) record;
                thisRow = berec.getRow();
                thisColumn = berec.getColumn();
                thisStr = berec.getBooleanValue() + "";
                cellList.add(thisColumn, thisStr);
                checkRowIsNull(thisStr);  //如果里面某个单元格含有值，则标识该行不为空行
                break;
            case FormulaRecord.sid://单元格为公式类型
                FormulaRecord frec = (FormulaRecord) record;
                thisRow = frec.getRow();
                thisColumn = frec.getColumn();
                if (outputFormulaValues) {
                    if (Double.isNaN(frec.getValue())) {
                        outputNextStringRecord = true;
                        nextRow = frec.getRow();
                        nextColumn = frec.getColumn();
                    } else {
                        thisStr = '"' + HSSFFormulaParser.toFormulaString(stubWorkbook, frec.getParsedExpression()) + '"';
                    }
                } else {
                    thisStr = '"' + HSSFFormulaParser.toFormulaString(stubWorkbook, frec.getParsedExpression()) + '"';
                }
                cellList.add(thisColumn, thisStr);
                checkRowIsNull(thisStr);  //如果里面某个单元格含有值，则标识该行不为空行
                break;
            case StringRecord.sid: //单元格中公式的字符串
                if (outputNextStringRecord) {
                    StringRecord srec = (StringRecord) record;
                    thisStr = srec.getString();
                    thisRow = nextRow;
                    thisColumn = nextColumn;
                    outputNextStringRecord = false;
                }
                break;
            case LabelRecord.sid:
                LabelRecord lrec = (LabelRecord) record;
                curRow = thisRow = lrec.getRow();
                thisColumn = lrec.getColumn();
                value = lrec.getValue().trim();
                value = value.equals("") ? "" : value;
                cellList.add(thisColumn, value);
                checkRowIsNull(value);  //如果里面某个单元格含有值，则标识该行不为空行
                break;
            case LabelSSTRecord.sid: //单元格为字符串类型
                LabelSSTRecord lsrec = (LabelSSTRecord) record;
                curRow = thisRow = lsrec.getRow();
                thisColumn = lsrec.getColumn();
                if (sstRecord == null) {
                    cellList.add(thisColumn, "");
                } else {
                    value = sstRecord.getString(lsrec.getSSTIndex()).toString().trim();
                    value = value.equals("") ? "" : value;
                    cellList.add(thisColumn, value);
                    checkRowIsNull(value);  //如果里面某个单元格含有值，则标识该行不为空行
                }
                break;
            case NumberRecord.sid: //单元格为数字类型
                NumberRecord numrec = (NumberRecord) record;
                curRow = thisRow = numrec.getRow();
                thisColumn = numrec.getColumn();

                //第一种方式
                //value = formatListener.formatNumberDateCell(numrec).trim();//这个被写死，采用的m/d/yy h:mm格式，不符合要求

                //第二种方式，参照formatNumberDateCell里面的实现方法编写
                Double valueDouble=((NumberRecord)numrec).getValue();
                String formatString=formatListener.getFormatString(numrec);
                if (formatString.contains("m/d/yy")){
                    formatString="yyyy-MM-dd hh:mm:ss";
                }
                int formatIndex=formatListener.getFormatIndex(numrec);
                value=formatter.formatRawCellContents(valueDouble, formatIndex, formatString).trim();

                value = value.equals("") ? "" : value;
                //向容器加入列值
                cellList.add(thisColumn, value);
                checkRowIsNull(value);  //如果里面某个单元格含有值，则标识该行不为空行
                break;
            default:
                break;
        }

        //遇到新行的操作
        if (thisRow != -1 && thisRow != lastRowNumber) {
            lastColumnNumber = -1;
        }

        //空值的操作
        if (record instanceof MissingCellDummyRecord) {
            MissingCellDummyRecord mc = (MissingCellDummyRecord) record;
            curRow = thisRow = mc.getRow();
            thisColumn = mc.getColumn();
            cellList.add(thisColumn, "");
        }

        //更新行和列的值
        if (thisRow > -1)
            lastRowNumber = thisRow;
        if (thisColumn > -1)
            lastColumnNumber = thisColumn;

        //行结束时的操作
        if (record instanceof LastCellOfRowDummyRecord) {
            if (minColums > 0) {
                //列值重新置空
                if (lastColumnNumber == -1) {
                    lastColumnNumber = 0;
                }
            }
            lastColumnNumber = -1;

            if (flag&&curRow!=0) { //该行不为空行且该行不是第一行，发送（第一行为列名，不需要）
                ExcelReaderUtil.sendRows(filePath, sheetName, sheetIndex, curRow + 1, cellList); //每行结束时，调用sendRows()方法
                allCellList.add(cellList);
                totalRows++;
            }
            //清空容器
            cellList.clear();
            flag=false;
        }
    }

    /**
     * 如果里面某个单元格含有值，则标识该行不为空行
     * @param value
     */
    public void checkRowIsNull(String value){
        if (value != null && !"".equals(value)) {
            flag = true;
        }
    }
}

针对 Excel2007 版本的处理类：

/**
 * 
 */
package com.kindpetro.excel.utils;

import java.io.InputStream;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.ss.usermodel.BuiltinFormats;
import org.apache.poi.ss.usermodel.DataFormatter;
import org.apache.poi.xssf.eventusermodel.XSSFReader;
import org.apache.poi.xssf.model.SharedStringsTable;
import org.apache.poi.xssf.model.StylesTable;
import org.apache.poi.xssf.usermodel.XSSFCellStyle;
import org.apache.poi.xssf.usermodel.XSSFRichTextString;
import org.xml.sax.Attributes;
import org.xml.sax.InputSource;
import org.xml.sax.SAXException;
import org.xml.sax.XMLReader;
import org.xml.sax.helpers.DefaultHandler;
import org.xml.sax.helpers.XMLReaderFactory;


/**
 * @description
 * POI 读取 Excel 有两种模式，一种是用户模式，一种是事件驱动模式，
 * 采用 SAX 事件驱动模式解决 XLSX 文件，可以有效解决用户模式内存溢出的问题，
 * 该模式是 POI 官方推荐的读取大数据的模式，
 * 在用户模式下，数据量较大，Sheet 较多，或者是有很多无用的空行的情况下，容易出现内存溢出，
 * <p>
 * 用于解决.xlsx2007版本大数据量问题
 * @author Daniel Ge
 * @date 2019-8-29
 */
public class ExcelXlsxReader extends DefaultHandler {

	/**
     * 单元格中的数据可能的数据类型
     */
    enum CellDataType {
        BOOL, ERROR, FORMULA, INLINESTR, SSTINDEX, NUMBER, DATE, NULL
    }

    /**
     * 共享字符串表
     */
    private SharedStringsTable sst;

    /**
     * 上一次的索引值
     */
    private String lastIndex;

    /**
     * 文件的绝对路径
     */
    private String filePath = "";

    /**
     * 工作表索引
     */
    private int sheetIndex = 0;

    /**
     * sheet名
     */
    private String sheetName = "";

    /**
     * 总行数
     */
    private int totalRows=0;

    /**
     * 一行内cell集合
     */
    private List<String> cellList = new ArrayList<String>();
    
    /**
     * 一行内cell集合，临时存储 cellList，因为后面会清除 cellList
     */
    private List<String> tempCellList = new ArrayList<String>();
    
    /**
     * 所有行集合，也就是整张表的数据
     */
    private List<List<String>> allCellList = new ArrayList<List<String>>();

    /**
     * 判断整行是否为空行的标记
     */
    private boolean flag = false;

    /**
     * 当前行
     */
    private int curRow = 1;

    /**
     * 当前列
     */
    private int curCol = 0;

    /**
     * T元素标识
     */
    private boolean isTElement;

    /**
     * 异常信息，如果为空则表示没有异常
     */
    private String exceptionMessage;

    /**
     * 单元格数据类型，默认为字符串类型
     */
    private CellDataType nextDataType = CellDataType.SSTINDEX;

    private final DataFormatter formatter = new DataFormatter();

    /**
     * 单元格日期格式的索引
     */
    private short formatIndex;

    /**
     * 日期格式字符串
     */
    private String formatString;

    //定义前一个元素和当前元素的位置，用来计算其中空的单元格数量，如A6和A8等
    private String preRef = null, ref = null;

    //定义该文档一行最大的单元格数，用来补全一行最后可能缺失的单元格
    private String maxRef = null;

    /**
     * 单元格
     */
    private StylesTable stylesTable;

    /**
     * 遍历工作簿中所有的电子表格
     * 并缓存在mySheetList中
     *
     * @param filename
     * @throws Exception
     */
    public List<List<String>> process(String filename) throws Exception {
        filePath = filename;
        OPCPackage pkg = OPCPackage.open(filename);
        XSSFReader xssfReader = new XSSFReader(pkg);
        stylesTable = xssfReader.getStylesTable();
        SharedStringsTable sst = xssfReader.getSharedStringsTable();
        XMLReader parser = XMLReaderFactory.createXMLReader("org.apache.xerces.parsers.SAXParser");
        this.sst = sst;
        parser.setContentHandler(this);
        XSSFReader.SheetIterator sheets = (XSSFReader.SheetIterator) xssfReader.getSheetsData();
        
        while (sheets.hasNext()) { //遍历sheet
            curRow = 1; //标记初始行为第一行
            sheetIndex++;
            InputStream sheet = sheets.next(); //sheets.next()和sheets.getSheetName()不能换位置，否则sheetName报错
            sheetName = sheets.getSheetName();
            InputSource sheetSource = new InputSource(sheet);
            parser.parse(sheetSource); //解析excel的每条记录，在这个过程中startElement()、characters()、endElement()这三个函数会依次执行
            sheet.close();
        }
        return allCellList;
    }

    /**
     * 第一个执行
     *
     * @param uri
     * @param localName
     * @param name
     * @param attributes
     * @throws SAXException
     */
    @Override
    public void startElement(String uri, String localName, String name, Attributes attributes) throws SAXException {
        //c => 单元格
        if ("c".equals(name)) {
            //前一个单元格的位置
            if (preRef == null) {
                preRef = attributes.getValue("r");
            } else {
                preRef = ref;
            }

            //当前单元格的位置
            ref = attributes.getValue("r");
            //设定单元格类型
            this.setNextDataType(attributes);
        }

        //当元素为t时
        if ("t".equals(name)) {
            isTElement = true;
        } else {
            isTElement = false;
        }

        //置空
        lastIndex = "";
    }

    /**
     * 第二个执行
     * 得到单元格对应的索引值或是内容值
     * 如果单元格类型是字符串、INLINESTR、数字、日期，lastIndex则是索引值
     * 如果单元格类型是布尔值、错误、公式，lastIndex则是内容值
     * @param ch
     * @param start
     * @param length
     * @throws SAXException
     */
    @Override
    public void characters(char[] ch, int start, int length) throws SAXException {
        lastIndex += new String(ch, start, length);
    }

    /**
     * 第三个执行
     *
     * @param uri
     * @param localName
     * @param name
     * @throws SAXException
     */
    @Override
    public void endElement(String uri, String localName, String name) throws SAXException {

        //t元素也包含字符串
        if (isTElement) {//这个程序没经过
            //将单元格内容加入rowlist中，在这之前先去掉字符串前后的空白符
            String value = lastIndex.trim();
            cellList.add(curCol, value);
            curCol++;
            isTElement = false;
            
            //如果里面某个单元格含有值，则标识该行不为空行
            if (value != null && !"".equals(value)) {
                flag = true;
            }
            
        } else if ("v".equals(name)) {
            //v => 单元格的值，如果单元格是字符串，则v标签的值为该字符串在SST中的索引
        	//根据索引值获取对应的单元格值
            String value = this.getDataValue(lastIndex.trim(), "");
            //补全单元格之间的空单元格
            if (!ref.equals(preRef)) {
                int len = countNullCell(ref, preRef);
                for (int i = 0; i < len; i++) {
                    cellList.add(curCol, "");
                    curCol++;
                }
            }
            cellList.add(curCol, value);
            curCol++;
            //如果里面某个单元格含有值，则标识该行不为空行
            if (value != null && !"".equals(value)) {
                flag = true;
            }
            
        } else {
            //如果标签名称为row，这说明已到行尾，调用optRows()方法
            if ("row".equals(name)) {
                //默认第一行为表头，以该行单元格数目为最大数目
                if (curRow == 1) {
                    maxRef = ref;
                }
                //补全一行尾部可能缺失的单元格
                if (maxRef != null) {
                    int len = countNullCell(maxRef, ref);
                    for (int i = 0; i <= len; i++) {
                        cellList.add(curCol, "");
                        curCol++;
                    }
                }

                if (flag&&curRow!=1){ //该行不为空行且该行不是第一行，则发送（第一行为列名，不需要）
                    ExcelReaderUtil.sendRows(filePath, sheetName, sheetIndex, curRow, cellList);
                    
                    tempCellList = new ArrayList<String>();
                    Iterator<String> it = cellList.iterator();
                    while (it.hasNext()) {
                    	tempCellList.add(it.next());
                    }
                    
                    allCellList.add(tempCellList);// 添加进整表集合
                    totalRows++;
                }

                cellList.clear();
                curRow++;
                curCol = 0;
                preRef = null;
                ref = null;
                flag = false;
            }
        }
    }

    /**
     * 处理数据类型
     *
     * @param attributes
     */
    public void setNextDataType(Attributes attributes) {
        nextDataType = CellDataType.NUMBER; //cellType为空，则表示该单元格类型为数字
        formatIndex = -1;
        formatString = null;
        String cellType = attributes.getValue("t"); //单元格类型
        String cellStyleStr = attributes.getValue("s"); //
        String columnData = attributes.getValue("r"); //获取单元格的位置，如A1,B1

        if ("b".equals(cellType)) { //处理布尔值
            nextDataType = CellDataType.BOOL;
        } else if ("e".equals(cellType)) {  //处理错误
            nextDataType = CellDataType.ERROR;
        } else if ("inlineStr".equals(cellType)) {
            nextDataType = CellDataType.INLINESTR;
        } else if ("s".equals(cellType)) { //处理字符串
            nextDataType = CellDataType.SSTINDEX;
        } else if ("str".equals(cellType)) {
            nextDataType = CellDataType.FORMULA;
        }

        if (cellStyleStr != null) { //处理日期
            int styleIndex = Integer.parseInt(cellStyleStr);
            XSSFCellStyle style = stylesTable.getStyleAt(styleIndex);
            formatIndex = style.getDataFormat();
            formatString = style.getDataFormatString();

            if (formatString.contains("m/d/yy")) {
                nextDataType = CellDataType.DATE;
                formatString = "yyyy-MM-dd hh:mm:ss";
            }

            if (formatString == null) {
                nextDataType = CellDataType.NULL;
                formatString = BuiltinFormats.getBuiltinFormat(formatIndex);
            }
        }
    }

    /**
     * 对解析出来的数据进行类型处理
     * @param value   单元格的值，
     *                value代表解析：BOOL的为0或1， ERROR的为内容值，FORMULA的为内容值，INLINESTR的为索引值需转换为内容值，
     *                SSTINDEX的为索引值需转换为内容值， NUMBER为内容值，DATE为内容值
     * @param thisStr 一个空字符串
     * @return
     */
    @SuppressWarnings("deprecation")
    public String getDataValue(String value, String thisStr) {
        switch (nextDataType) {
            // 这几个的顺序不能随便交换，交换了很可能会导致数据错误
            case BOOL: //布尔值
                char first = value.charAt(0);
                thisStr = first == '0' ? "FALSE" : "TRUE";
                break;
            case ERROR: //错误
                thisStr = "\"ERROR:" + value.toString() + '"';
                break;
            case FORMULA: //公式
                thisStr = '"' + value.toString() + '"';
                break;
            case INLINESTR:
                XSSFRichTextString rtsi = new XSSFRichTextString(value.toString());
                thisStr = rtsi.toString();
                rtsi = null;
                break;
            case SSTINDEX: //字符串
                String sstIndex = value.toString();
                try {
                    int idx = Integer.parseInt(sstIndex);
                    XSSFRichTextString rtss = new XSSFRichTextString(sst.getEntryAt(idx));//根据idx索引值获取内容值
                    thisStr = rtss.toString();
                    rtss = null;
                } catch (NumberFormatException ex) {
                    thisStr = value.toString();
                }
                break;
            case NUMBER: //数字
                if (formatString != null) {
                    thisStr = formatter.formatRawCellContents(Double.parseDouble(value), formatIndex, formatString).trim();
                } else {
                    thisStr = value;
                }
                thisStr = thisStr.replace("_", "").trim();
                break;
            case DATE: //日期
                thisStr = formatter.formatRawCellContents(Double.parseDouble(value), formatIndex, formatString);
                // 对日期字符串作特殊处理，去掉T
                thisStr = thisStr.replace("T", " ");
                break;
            default:
                thisStr = " ";
                break;
        }
        return thisStr;
    }

    public int countNullCell(String ref, String preRef) {
        //excel2007最大行数是1048576，最大列数是16384，最后一列列名是XFD
        String xfd = ref.replaceAll("\\d+", "");
        String xfd_1 = preRef.replaceAll("\\d+", "");

        xfd = fillChar(xfd, 3, '@', true);
        xfd_1 = fillChar(xfd_1, 3, '@', true);

        char[] letter = xfd.toCharArray();
        char[] letter_1 = xfd_1.toCharArray();
        int res = (letter[0] - letter_1[0]) * 26 * 26 + (letter[1] - letter_1[1]) * 26 + (letter[2] - letter_1[2]);
        return res - 1;
    }

    public String fillChar(String str, int len, char let, boolean isPre) {
        int len_1 = str.length();
        if (len_1 < len) {
            if (isPre) {
                for (int i = 0; i < (len - len_1); i++) {
                    str = let + str;
                }
            } else {
                for (int i = 0; i < (len - len_1); i++) {
                    str = str + let;
                }
            }
        }
        return str;
    }

    /**
     * @return the exceptionMessage
     */
    public String getExceptionMessage() {
        return exceptionMessage;
    }
}

两个工具类：

/**
 * 
 */
package com.kindpetro.excel.utils;

import java.util.ArrayList;
import java.util.List;


/**
 * @description TODO
 * @author Daniel Ge
 * @date 2019-8-29
 */
public class ExcelReaderUtil {
    //excel2003扩展名
    public static final String EXCEL03_EXTENSION = ".xls";
    //excel2007扩展名
    public static final String EXCEL07_EXTENSION = ".xlsx";

    /**
     * 每获取一条记录，即打印
     * 在flume里每获取一条记录即发送，而不必缓存起来，可以大大减少内存的消耗，这里主要是针对flume读取大数据量excel来说的
     * @param sheetName
     * @param sheetIndex
     * @param curRow
     * @param cellList
     */
    public static void sendRows(String filePath, String sheetName, int sheetIndex, int curRow, List<String> cellList) {
            StringBuffer oneLineSb = new StringBuffer();
            oneLineSb.append(filePath);
            oneLineSb.append("--");
            oneLineSb.append("sheet" + sheetIndex);
            oneLineSb.append("::" + sheetName);//加上sheet名
            oneLineSb.append("--");
            oneLineSb.append("row" + curRow);
            oneLineSb.append("::");
            for (String cell : cellList) {
                oneLineSb.append(cell.trim());
                oneLineSb.append("|");
            }
            String oneLine = oneLineSb.toString();
            if (oneLine.endsWith("|")) {
                oneLine = oneLine.substring(0, oneLine.lastIndexOf("|"));
            }// 去除最后一个分隔符

            System.out.println(oneLine);
    }

    public static List<List<String>> readExcel(String fileName) throws Exception {
    	
    	List<List<String>> dataList = new ArrayList<List<String>>();
    	
        if (fileName.endsWith(EXCEL03_EXTENSION)) { //处理excel2003文件
            ExcelXlsReader excelXls=new ExcelXlsReader();
            dataList =excelXls.process(fileName);
        } else if (fileName.endsWith(EXCEL07_EXTENSION)) {//处理excel2007文件
            ExcelXlsxReader excelXlsxReader = new ExcelXlsxReader();
            dataList = excelXlsxReader.process(fileName);
        } else {
            throw new Exception("文件格式错误，fileName的扩展名只能是xls或xlsx。");
        }
        
        System.out.println("发送的总行数：" + dataList.size());
        
        return dataList;
    }

}

package com.kindpetro.excel.utils;

import org.apache.commons.lang.StringUtils;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;

/**
 * @description Excel 解析工具类
 * @author Daniel Ge
 * @date 2019-8-9
 */
public class ExcelTool {
	
	public static final int EXC_NUMERIC = 0;
	public static final int EXC_STRING = 1;
	public static final int EXC_FORMULA = 2;
	public static final int EXC_BLANK = 3;
	public static final int EXC_BOOLEAN = 4;
	public static final int EXC_ERROR = 5;

	/**
	 * @Description: 检查单元格的值是否为空
	 * @param row
	 *            哪一行
	 * @param columnIndex
	 *            哪一列
	 * @return
	 * @return String
	 * @throws
	 * @author Daniel Ge
	 * @date 2019-8-9
	 */
	public static String checkCellIsNull(Row row, int columnIndex) {
		String result = " ";
		Cell cell = row.getCell(columnIndex);
		
		if (cell != null) {
			switch (row.getCell(columnIndex).getCellType()) {
				case EXC_NUMERIC:
					result = cell.getNumericCellValue() + "";// 这行还需要优化
					break;
				case EXC_STRING:
					result = cell.getStringCellValue();
					/**
					 * 当文本类型单元格值为空（""）时，转换为空格（" "）处理，
					 * 因为数据库表结构要求每列 not null。
					 */
					if (StringUtils.isBlank(result)) {
						result = " ";
					}
					break;
				default:
					break;
			}	
		}
		return result;
	}
	
	
	/**
	 * @Description: 检查字符串是否为 null
	 * @param dataStr
	 * @return
	 * @return String  
	 * @throws
	 * @author Daniel Ge
	 * @date 2019-9-3
	 */
	public static String checkIsNull(String dataStr) {
		if (dataStr == null || dataStr.length() == 0) {
			return " ";
		}
		return dataStr;
	}

}

采用 SAX 事件驱动模式的解析测试程序：

/**
 * 
 */
package com.kindpetro.excel.parser;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;

import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.usermodel.WorkbookFactory;

import com.kindpetro.excel.bean.MaterialGroupBean;
import com.kindpetro.excel.utils.ExcelReaderUtil;
import com.kindpetro.excel.utils.ExcelTool;

/**
 * @description 物料解析类,用于解析表：物料.xlsx
 * @author Daniel Ge
 * @date 2019-8-13
 */
public class OutOfMemoryTest {

	/**
	 * @Description: 本地测试 main 方法
	 * @param args
	 * @return void  
	 * @throws
	 * @author Daniel Ge
	 * @date 2019-8-13
	 */
	public static void main(String[] args) {

		String DRIVER = "oracle.jdbc.driver.OracleDriver";
		String URL = "jdbc:oracle:thin:@192.168.1.46:1521:orcl";
		String USER = "bisuser_kt";
		String PASSWORD = "bisuser1234";
		Connection conn = null;

		try {
			Class.forName(DRIVER);
			conn = DriverManager.getConnection(URL, USER, PASSWORD);

			File root = new File("E:\\TestFile\\ExcelPOITest\\outOfMemoryTest");
			File[] fs = root.listFiles();

			for (int i = 0; i < fs.length; i++) {
				System.out.println(fs[i].getAbsolutePath());
				File f = new File(fs[i].getAbsolutePath());
				OutOfMemoryTest parser = new OutOfMemoryTest();

				/**
				 * map 这个参数对于此功能来说用不到，但是这个方法是继承父类而来， 不可改变， 所以这里的处理是依然传 map
				 * 参数，不做后续的处理即可。
				 */
				HashMap map = new HashMap();
				map.put("XTBH", "OTS");
				parser.parseFile(conn, f, map);
			}

		} catch (Exception e) {
			e.printStackTrace();

		} finally {
			if (conn != null) {
				try {
					conn.close();

				} catch (SQLException e) {
					e.printStackTrace();
				}
			}
		}
	}

	protected boolean parseFile(Connection pConn, File f, HashMap pParamMap)
			throws Exception {
		
		System.out.println("绝对路径（getAbsolutePath）：" + f.getAbsolutePath() 
				+ "\n路径（getPath）：" + f.getPath());
		
		List<List<String>> tempList = new ArrayList<List<String>>();
		tempList = ExcelReaderUtil.readExcel(f.getAbsolutePath());

		try {
			// 保存至数据库
			saveTestInfo(pConn, tempList);
			return true;

		} catch (Exception e) {
			e.printStackTrace();
			return false;

		} finally {
			
		}
		
	}

	/**
	 * @Description: 将物料表数据保存至数据库
	 * @param pConn
	 * @param excelDataList
	 * @return
	 * @return boolean
	 * @throws
	 * @author Daniel Ge
	 * @date 2019-8-13
	 */
	protected boolean saveTestInfo(Connection pConn, List<List<String>> excelDataList) {

		MaterialGroupBean bean = null;
		List<String> lineList = new ArrayList<String>();
		
		// 插入数据库开始时间
		Long beginTimeDB = System.currentTimeMillis();
		Long endTimeDB = 0L;
		
		StringBuffer sbInsertSql = new StringBuffer("insert into gedingcai(")
			      .append("myname, nickname ")
			      .append(") values(")
			      .append("?, ? ")
			      .append(")");

		String insertSql = sbInsertSql.toString();
		boolean autoCommit = true;
		PreparedStatement preStmt = null;

		try {
			autoCommit = pConn.getAutoCommit();
			pConn.setAutoCommit(false);
			preStmt = pConn.prepareStatement(insertSql);
			
			for (int i = 0; i < excelDataList.size(); i++) {
				
				// 每满 10000 条数据则批量插入一次数据库
				if ((i != 0) && (i % 10000 == 0)) {
					preStmt.executeBatch();
					try {
						pConn.commit();
					} catch (Exception e) {
						pConn.rollback();
						e.printStackTrace();
					}
				} 
				
				lineList = excelDataList.get(i);
				preStmt.setString(1,  ExcelTool.checkIsNull(lineList.get(0)));
			    preStmt.setString(2,  ExcelTool.checkIsNull(lineList.get(1)));
			    preStmt.addBatch();
			}

			// 将剩余的数据插入数据库
			preStmt.executeBatch();
			pConn.commit(); // 全部完成后再提交
			System.out.println("成功插入数据库！");
			
			// 插入数据库结束时间
			endTimeDB = System.currentTimeMillis();
			System.out.println("插入数据库用时：" + (endTimeDB - beginTimeDB) + " ms");

			return true;

		} catch (Exception e) {
			if (pConn != null) {
				try {
					pConn.rollback();
				} catch (SQLException e1) {
					e1.printStackTrace();
				}
			}

			e.printStackTrace();
			return false;

		} finally {
			if (preStmt != null) {
				try {
					preStmt.close();
				} catch (Exception e) {
					e.printStackTrace();
				}
			}
			if (pConn != null) {
				try {
					pConn.setAutoCommit(autoCommit);
					pConn.close();
				} catch (Exception e) {
					e.printStackTrace();
				}
			}
		}
	}

}

运行结果：