上篇文章中使用opencsv包读取csv格式，如果csv文件内容过大，会导致jvm产生oom的问题，

顾修改代码如下

由之前readall 形式改为readnext()一行行读取形式，按行加载至arrayList,按需处理完在对list进行clear()操作，释放内存，再进行readnext加载。。

excel篇：

之前采用 poi用户模式读取excel，会极大的消耗内存,查阅资料poi官方推荐使用事件模式读取

贴上代码

xls

xlsx

* 用于解决.xlsx2007版本大数据量问题 **/public class ExcelXlsxReaderWithDefaultHandler extends DefaultHandler { private static final Logger logger = LogManager.getLogger(ExcelXlsxReaderWithDefaultHandler.class); /** * 单元格中的数据可能的数据类型 */ enum CellDataType { BOOL, ERROR, FORMULA, INLINESTR, SSTINDEX, NUMBER, DATE, NULL } /** * 共享字符串表 */ private SharedStringsTable sst; /** * 上一次的索引值 */ private String lastIndex; /** * 文件的绝对路径 */ private String filePath = ""; /** * 工作表索引 */ private int sheetIndex = 0; /** * sheet名 */ private String sheetName = ""; /** * 总行数 */ private int totalRows = 0; /** * 一行内cell集合 */ private ArrayList cellList = new ArrayList(); /** * */ private List cellLists = new ArrayList(); /** */ private ArrayList columnList = new ArrayList(); /** * 判断整行是否为空行的标记 */ private boolean flag = false; /** * 当前行 */ private int curRow = 1; /** * 当前列 */ private int curCol = 0; /** * T元素标识 */ private boolean isTElement; /** * 判断上一单元格是否为文本空单元格 */ private boolean endElementFlag = false; private boolean charactersFlag = false; /** * 异常信息，如果为空则表示没有异常 */ private String exceptionMessage; /** * 单元格数据类型，默认为字符串类型 */ private CellDataType nextDataType = CellDataType.SSTINDEX; private final DataFormatter formatter = new DataFormatter(); /** * 单元格日期格式的索引 */ private short formatIndex; /** * 日期格式字符串 */ private String formatString; //定义前一个元素和当前元素的位置，用来计算其中空的单元格数量，如A6和A8等 private String preRef = null, ref = null; //定义该文档一行最大的单元格数，用来补全一行最后可能缺失的单元格 private String maxRef = null; /** * 单元格 */ private StylesTable stylesTable; private String companyId = ""; private String containerLogId = ""; private JSONObject config; private int resultRows = 0; //private int testResult = 0; /** * 遍历工作簿中所有的电子表格 * 并缓存在mySheetList中 * * @param filename * @throws Exception */ public int process(String filename, String companyId, String containerLogId, JSONObject config) throws Exception { filePath = filename; this.companyId = companyId; this.containerLogId = containerLogId; this.config = config; OPCPackage pkg = OPCPackage.open(filename); XSSFReader xssfReader = new XSSFReader(pkg); stylesTable = xssfReader.getStylesTable(); SharedStringsTable sst = xssfReader.getSharedStringsTable(); XMLReader parser = XMLReaderFactory.createXMLReader("org.apache.xerces.parsers.SAXParser"); this.sst = sst; parser.setContentHandler(this); XSSFReader.SheetIterator sheets = (XSSFReader.SheetIterator) xssfReader.getSheetsData();// while (sheets.hasNext()) { //遍历sheet curRow = 1; //标记初始行为第一行 sheetIndex++; InputStream sheet = sheets.next(); //sheets.next()和sheets.getSheetName()不能换位置，否则sheetName报错 sheetName = sheets.getSheetName(); InputSource sheetSource = new InputSource(sheet); parser.parse(sheetSource); //解析excel的每条记录，在这个过程中startElement()、characters()、endElement()这三个函数会依次执行 sheet.close();// } if (cellLists.size() > 0) { cellLists.clear(); } //组装数据并发送 UserData data = new UserData(); data.setCompanyId(companyId); data.setContainerLogId(containerLogId); data.setUserDataList(new ArrayList()); data.setIsEnd(true); return resultRows; //返回该excel文件的总行数，不包括首列和空行 } /** * 第一个执行 * * @param uri * @param localName * @param name * @param attributes * @throws SAXException */ @Override public void startElement(String uri, String localName, String name, Attributes attributes) throws SAXException { //c => 单元格 if ("c".equals(name)) { //前一个单元格的位置 if (preRef == null) { preRef = attributes.getValue("r"); } else { //判断前一次是否为文本空字符串，true则表明不是文本空字符串，false表明是文本空字符串跳过把空字符串的位置赋予preRef if (endElementFlag) { preRef = ref; } } //当前单元格的位置 ref = attributes.getValue("r"); //设定单元格类型 this.setNextDataType(attributes); endElementFlag = false; charactersFlag = false; } //当元素为t时 if ("t".equals(name)) { isTElement = true; } else { isTElement = false; } //置空 lastIndex = ""; } /** * 第二个执行 * 得到单元格对应的索引值或是内容值 * 如果单元格类型是字符串、INLINESTR、数字、日期，lastIndex则是索引值 * 如果单元格类型是布尔值、错误、公式，lastIndex则是内容值 * * @param ch * @param start * @param length * @throws SAXException */ @Override public void characters(char[] ch, int start, int length) throws SAXException { charactersFlag = true; lastIndex += new String(ch, start, length); } /** * 第三个执行 * * @param uri * @param localName * @param name * @throws SAXException */ @Override public void endElement(String uri, String localName, String name) throws SAXException { try { //t元素也包含字符串 if (isTElement) {//这个程序没经过 //将单元格内容加入rowlist中，在这之前先去掉字符串前后的空白符 String value = lastIndex.trim(); cellList.add(curCol, value); endElementFlag = true; curCol++; isTElement = false; //如果里面某个单元格含有值，则标识该行不为空行 if (value != null && !"".equals(value)) { flag = true; } } else if ("v".equals(name)) { //v => 单元格的值，如果单元格是字符串，则v标签的值为该字符串在SST中的索引 String value = this.getDataValue(lastIndex.trim(), "");//根据索引值获取对应的单元格值 //补全单元格之间的空单元格 if (!ref.equals(preRef)) { int len = countNullCell(ref, preRef); for (int i = 0; i < len; i++) { cellList.add(curCol, ""); curCol++; } } cellList.add(curCol, value); curCol++; endElementFlag = true; //如果里面某个单元格含有值，则标识该行不为空行 if (value != null && !"".equals(value)) { flag = true; } } else { //如果标签名称为row，这说明已到行尾，调用optRows()方法 if ("row".equals(name)) { //默认第一行为表头，以该行单元格数目为最大数目 if (curRow == 1) { maxRef = ref; } //补全一行尾部可能缺失的单元格 if (maxRef != null) { int len = -1; //前一单元格，true则不是文本空字符串，false则是文本空字符串 if (charactersFlag) { len = countNullCell(maxRef, ref); } else { len = countNullCell(maxRef, preRef); } for (int i = 0; i