溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這期內容當中小編將會給大家帶來有關JAVA 如何實現大文本去除重復行，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
去重復行，用SQL寫很簡單，就一句SELECT DISTINCT … FROM。但是文件上沒法直接用SQL了，想用SQL還得找個數據庫先建表，也很麻煩。如果是小文件，那用java對付一下也不太費勁，大概這樣：
String file ="d:/urls.txt";
ArrayList<String> result = new ArrayList<String>();
BufferedReader br=null;
try{
br = new BufferedReader(new FileReader(file));
String row = br.readLine();
while(row!=null){
if(!result.contains(row)){
result.add(row);
}
row = br.readLine();
}
}finally{
if(br!=null)
try {
br.close();
} catch (IOException e) {
}
}
但如果是大文件，這代碼肯定崩了。這時候得用文件做緩存，或者先排序，總之都非常麻煩。
這種情況，如果有集算器就省事多了，用SPL只要一句話：
file("d:/urls.txt").cursor().groupx(#1).fetch()
甚至還可以直接對著文件寫SQL：
$select distinct #1 from d:/urls.txt
上述就是小編為大家分享的JAVA 如何實現大文本去除重復行了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
