在內存中讀取
讀取文件行的標準方式是在內存中讀取，Guava 和Apache Commons IO都提供了以下所示快速讀取文件行的方法：
Files.readLines(new File(path), Charsets.UTF_8);
FileUtils.readLines(new File(path));這類方法帶來的問題是文件的所有行都被寄存在內存中，當文件足夠大時很快就會致使程序拋出OutOfMemoryError 異常。
讀取1個大約1G的文件
public void readFiles() throws IOException {
String path = "...";
Files.readLines(new File(path), Charsets.UTF_8);
}這類方式剛開始只占用了很少許的內存，但是，當文件全部讀入內存后，我們可以看到，占用了大量的內存（約2個G）
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 2666 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 490 Mb這意味著這1進程消耗了大約2.1G的內存，由于文件的所有行都被存儲在了內存中，把文件所有的內容都放在內存中很快會耗盡可用內存――不論實際可用內存有多大，這點是不言而喻的。
另外，我們通常不需要把文件的所有行1次性地放入內存中――相反，我們只需要遍歷文件的每行，然后做相應的處理，處理完以后把它扔掉。所以，這正是我們將要做的――通過行迭代，而不是把所有行都放在內存中。
文件流
現在我們來看看下面這類解決方法，我們用Java.util.Scanner 掃描文件的每行，1行1行連續的讀取：
FileInputStream inputStream = null;
Scanner sc = null;
try {
inputStream = new FileInputStream(path);
sc = new Scanner(inputStream, "UTF⑻");
while (sc.hasNextLine()) {
String line = sc.nextLine();
// System.out.println(line);
}
// note that Scanner suppresses exceptions
if (sc.ioException() != null) {
throw sc.ioException();
}
} finally {
if (inputStream != null) {
inputStream.close();
}
if (sc != null) {
sc.close();
}
}這類方案會遍歷文件中的所有行，允許對每行進行處理，而不保持對它的援用，總之沒有把他們寄存在內存中，我們可以看到，大約消耗了150MB內存。
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Total Memory: 763 Mb
[main] INFO org.baeldung.java.CoreJavaIoUnitTest - Free Memory: 605 MbApache Commons IO流
一樣可使用Commons IO流，利用該庫提供的自定義 LineIterator類：
LineIterator it = FileUtils.lineIterator(theFile, "UTF⑻");
try {
while (it.hasNext()) {
String line = it.nextLine();
// do something with line
}
} finally {
LineIterator.closeQuietly(it);
}一樣也消耗了相當少的內存，大約150M：
[main] INFO o.b.java.CoreJavaIoIntegrationTest - Total Memory: 752 Mb
[main] INFO o.b.java.CoreJavaIoIntegrationTest - Free Memory: 564 Mb
程序員人生，我編程，我富裕，記住wfuyu網，php教程，php學習，php手冊，CMS模版制作
聲明：本站大部分內容是作者原創，少部分收集于互聯網供大家一起學習，原版權很多不明，如有侵權請聯系本站，謝謝！
粵ICP備14040726號-1?? 2015-2020 程序員人生 版權所有
