上1篇blog我們完成了Hadoop偽散布式環境的搭建，偽散布式模式也叫單節點集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守護進程全部運行在K-Master節點之上。在本篇blog我們將搭建完全散布式環境，運行NameNode、SecondaryNameNode、JobTracker守護進程在主節點上，運行DataNode、TaskTracker在從節點上。特別注意：在搭建Hadoop完全散布式環境前請確保完成了【Hadoop基礎教程】1、Hadoop之服務器基礎環境搭建 。

開發環境

硬件環境：Centos 6.5 服務器4臺（1臺為Master節點，3臺為Slave節點）
軟件環境：Java 1.7.0_45、hadoop⑴.2.1

1、 集群拓撲圖

我們使用4臺機器來搭建Hadoop完全散布式環境，4臺機器的拓撲圖以下圖所示：

Hadoop集群中每一個節點的角色以下表所示：

2、 配置SSH

• 環境準備

下面以配置K-Master啟動SSH服務為例進行演示，用戶需參照下面步驟完成KVMSlave1~KVMSlave33臺子節點機器的SSH服務啟動；

1）以hadoop用戶遠程登錄K-Master服務器，啟動SSH服務；

[hadoop@K-Master hadoop]$ sudo /etc/init.d/sshd start

2）設置開機啟動：

[hadoop@K-Master hadoop]$ sudo chkconfig sshd on

• 配置K-Master本機無密碼登錄

下面以配置K-Master本機無密碼登錄為例進行講授，用戶需參照下面步驟完成KVMSlave1~KVMSlave33臺子節點機器的本機無密碼登錄；

1）以hadoop用戶遠程登錄K-Master服務器，在K-Master服務器上生成公鑰和私鑰密碼對，密鑰默許存儲在”/home/hadoop/.ssh”目錄下，生成公鑰和私鑰密碼對時，無需輸入密碼，直接回車便可。

#切換到hadoop用戶，不能使用root用戶生成密鑰
[hadoop@K-Master hadoop]$ su hadoop
[hadoop@K-Master hadoop]$ cd /home/hadoop/
[hadoop@K-Master hadoop]$ ssh-keygen -t rsa -P ""

2）將公鑰追加到”authorized_keys”文件

[hadoop@K-Master hadoop]$ cd /home/hadoop/
[hadoop@K-Master hadoop]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys

3）賦予權限

[hadoop@K-Master hadoop]$ chmod 600 .ssh/authorized_keys

4）驗證本性能無密碼訪問

[hadoop@K-Master hadoop]$ ssh K-Master

• 配置K-Master本機無密碼登錄KVMSlave1~KVMSlave3

下面以K-Master無密碼登錄KVMSlave1為例進行講授，用戶需參照下面步驟完成K-Master無密碼登錄KVMSlave2~KVMSlave3。

1）以hadoop用戶遠程登錄KVMSlave1服務器，復制K-Master服務器的公鑰”id_rsa.pub”到KVMSlave1服務器的”/home/hadoop/”目錄下。

[hadoop@KVMSlave1 hadoop]$ cd /home/hadoop/
[hadoop@KVMSlave1 hadoop]$ scp hadoop@K-Master:/home/hadoop/.ssh/id_rsa.pub /home/hadoop/

2）將K-Master的公鑰（/home/hadoop/id_rsa.pub）追加到KVMSlave1的authorized_keys中。

[hadoop@KVMSlave1 hadoop]$ cd /home/hadoop
[hadoop@KVMSlave1 hadoop]$ cat id_rsa.pub >> .ssh/authorized_keys
[hadoop@KVMSlave1 hadoop]$ rm -r /home/hadoop/id_rsa.pub

3）另外開啟1個終端，遠程登錄K-Master服務器，在K-Master服務器測試通過SSH無密碼登錄KVMSlave1。

[hadoop@K-Master hadoop]$ ssh KVMSlave1

• 配置KVMSlave1~KVMSlave3本機無密碼登錄K-Master

下面以KVMSlave1無密碼登錄K-Master為例進行講授，用戶需參照下面步驟完成KVMSlave2~KVMSlave3無密碼登錄K-Master。

1）以hadoop用戶遠程登錄K-Master，復制KVMSlave1服務器的公鑰”id_rsa.pub”到KVMSlave1服務器的”/home/hadoop/”目錄下。

[hadoop@K-Master hadoop]$ scp hadoop@KVMSlave1:/home/hadoop/.ssh/id_rsa.pub /home/hadoop

2）將KVMSlave1的公鑰（/home/hadoop/id_rsa.pub）追加到K-Master的authorized_keys中。

[hadoop@K-Master hadoop]$ cd /home/hadoop
[hadoop@K-Master hadoop]$ cat id_rsa.pub >> .ssh/authorized_keys
[hadoop@K-Master hadoop]$ rm      

 生活不易，碼農辛苦

 如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈