会用Java读取文本文件就够了吗?文件超大怎么办?
Java读取文本文件的几个方法。
读到内存(适合小文件)
Guava方法:
Files.readLines(new File(path), Charsets.UTF_8);Apache Commons IO方法:
FileUtils.readLines(new File(path));这种方法的问题在于所有内容都保留在内存中。如果文件太大,这将迅速导致OutOfMemory错误。
此外,通常我们并不需要把一个大文件一次性全部读出来。 一方面,我们可能会对文件逐行做处理;一方面即便是直接显示也会分段呈现。想象一下,一次性给前端(不管是web还是桌面)返回1G的数据,怎么显示?
文件流Scanner
try(Scanner scanner = new Scanner(new File(pathname))) { while ( scanner.hasNextLine() ) { String line = scanner.nextLine(); // 逐行处理 }}Apache Commons IO的Stream
LineIterator it = FileUtils.lineIterator(theFile, "UTF-8");try { while (it.hasNext()) { String line = it.nextLine(); // 逐行处理 }} finally { LineIterator.closeQuietly(it);}Java8的Stream
Files.lines(Paths.get(pathname)); 利用Files.lines()得到一个Stream,然后逐行处理。
进阶
读取文件总行数// 总行数long lineCount = Files.lines(Paths.get(pathname)).count();读取指定行或起止行try (Stream
利用上面这两段代码,可以用类似分页的方式来读取整个文件。
总页数 = 总行数 / 每页条数 + (总行数 % 每页条数 == 0 ? 0 : 1);每页内容 = lines.skip( (第几页-1)*每页条数 ).limit(每页条数);