1.相同hadoop版本同步數據
hadoop distcp -skipcrccheck -update -m 20 hdfs://dchadoop002.dx:8020/user/dc/warehouse/test /user/dc/warehouse/test
2.不同hadoop版本同步數據
hadoop distcp -skipcrccheck -update -m 20 hftp://ns1/user/test /user/dc/test
參數:
-m 表示并發數
-skipcrccheck 跳過hdfs校驗
-update 更新文件
程序員人生，我編程，我富裕，記住wfuyu網，php教程，php學習，php手冊，CMS模版制作
聲明：本站大部分內容是作者原創，少部分收集于互聯網供大家一起學習，原版權很多不明，如有侵權請聯系本站，謝謝！
粵ICP備14040726號-1?? 2015-2020 程序員人生 版權所有
