您當前位置：首頁 > 服務器 > 基于kubernetes構建Docker集群管理詳解

基于kubernetes構建Docker集群管理詳解

來源：程序員人生發布時間：2016-12-04 14:32:49 閱讀次數：2995次

1、前言
Kubernetes 是Google開源的容器集群管理系統，基于Docker構建1個容器的調度服務，提供資源調度、均衡容災、服務注冊、動態擴縮容等功能套件，目前最新版本為0.6.2。本文介紹如何基于Centos7.0構建Kubernetes平臺，在正式介紹之前，大家有必要先理解Kubernetes幾個核心概念及其承當的功能。以下為Kubernetes的架構設計圖：
點擊在新窗口中瀏覽此圖片

1. Pods
        在Kubernetes系統中，調度的最小顆粒不是單純的容器，而是抽象成1個Pod，Pod是1個可以被創建、燒毀、調度、管理的最小的部署單元。比如1個或1組容器。
2. Replication Controllers
        Replication Controller是Kubernetes系統中最有用的功能，實現復制多個Pod副本，常常1個利用需要多個Pod來支持，并且可以保證其復制的副本數，即便副本所調度分配的主宿機出現異常，通過Replication Controller可以保證在其它主宿機啟用同等數量的Pod。Replication Controller可以通過repcon模板來創建多個Pod副本，一樣也能夠直接復制已存在Pod，需要通過Label selector來關聯。
3、Services
        Services是Kubernetes最外圍的單元，通過虛擬1個訪問IP及服務端口，可以訪問我們定義好的Pod資源，目前的版本是通過iptables的nat轉發來實現，轉發的目標端口為Kube_proxy生成的隨機端口，目前只提供GOOGLE云上的訪問調度，如GCE。如果與我們自建的平臺進行整合？請關注下篇《kubernetes與HECD架構的整合》文章。
4、Labels
        Labels是用于辨別Pod、Service、Replication Controller的key/value鍵值對，僅使用在Pod、Service、 Replication Controller之間的關系辨認，但對這些單元本身進行操作時得使用name標簽。
5、Proxy
        Proxy不但解決了同1主宿機相同服務端口沖突的問題，還提供了Service轉發服務端口對外提供服務的能力，Proxy后端使用了隨機、輪循負載均衡算法。

        說說個人1點看法，目前Kubernetes 保持1周1小版本、1個月1大版本的節奏，迭代速度極快，同時也帶來了不同版本操作方法的差異，另外官網文檔更新速度相對滯后及欠缺，給初學者帶來1定挑戰。在上游接入層官方側重點還放在GCE（Google Compute Engine）的對接優化，針對個人私有云還未推出1套可行的接入解決方案。在v0.5版本中才援用service代理轉發的機制，且是通過iptables來實現，在高并發下性能使人耽憂。但作者仍然看好Kubernetes未來的發展，最少目前還未看到另外1個成體系、具有良好生態圈的平臺，相信在V1.0時就會具有生產環境的服務支持能力。

1、環境部署
1、平臺版本說明
    1）Centos7.0 OS
    2）Kubernetes V0.6.2
    3）etcd version 0.4.6
    4）Docker version 1.3.2

2、平臺環境說明
點擊在新窗口中瀏覽此圖片

3、環境安裝
    1）系統初始化工作（所有主機）
    系統安裝-選擇[最小化安裝]

援用

    # yum -y install wget ntpdate bind-utils
    # wget http://mirror.centos.org/centos/7/extras/x86_64/Packages/epel-release⑺⑵.noarch.rpm
    # yum update

    CentOS 7.0默許使用的是firewall作為防火墻，這里改成iptables防火墻（熟習度更高，非必須）。
    1.1、關閉firewall：

援用

    # systemctl stop firewalld.service #停止firewall
    # systemctl disable firewalld.service #制止firewall開機啟動

1.2、安裝iptables防火墻

援用

    # yum install iptables-services #安裝
    # systemctl start iptables.service #最后重啟防火墻使配置生效
    # systemctl enable iptables.service #設置防火墻開機啟動

2）安裝Etcd（192.168.1.10主機）

援用

    # mkdir -p /home/install && cd /home/install
    # wget https://github.com/coreos/etcd/releases/download/v0.4.6/etcd-v0.4.6-linux-amd64.tar.gz
    # tar -zxvf etcd-v0.4.6-linux-amd64.tar.gz
    # cd etcd-v0.4.6-linux-amd64
    # cp etcd* /bin/
    # /bin/etcd -version
    etcd version 0.4.6

啟動服務etcd服務，如有提供第3方管理需求，另需在啟動參數中添加“-cors='*'”參數。

援用

    # mkdir /data/etcd
    # /bin/etcd -name etcdserver -peer-addr 192.168.1.10:7001 -addr 192.168.1.10:4001 -data-dir /data/etcd -peer-bind-addr 0.0.0.0:7001 -bind-addr 0.0.0.0:4001 &

配置etcd服務防火墻，其中4001為服務端口，7001為集群數據交互端口。

援用

    # iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 4001 -j ACCEPT
    # iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 7001 -j ACCEPT

    3）安裝Kubernetes（觸及所有Master、Minion主機）
    通過yum源方式安裝，默許將安裝etcd, docker, and cadvisor相干包。

援用

    # curl https://copr.fedoraproject.org/coprs/eparis/kubernetes-epel⑺/repo/epel⑺/eparis-kubernetes-epel⑺-epel⑺.repo -o /etc/yum.repos.d/eparis-kubernetes-epel⑺-epel⑺.repo
    #yum -y install kubernetes

升級至v0.6.2，覆蓋bin文件便可，方法以下：

援用

    # mkdir -p /home/install && cd /home/install
    # wget https://github.com/GoogleCloudPlatform/kubernetes/releases/download/v0.6.2/kubernetes.tar.gz
    # tar -zxvf kubernetes.tar.gz
    # tar -zxvf kubernetes/server/kubernetes-server-linux-amd64.tar.gz
    # cp kubernetes/server/bin/kube* /usr/bin

校驗安裝結果，出版以下信息說明安裝正常。

援用

    [root@SN2014⑴2⑵00 bin]# /usr/bin/kubectl version
    Client Version: version.Info{Major:"0", Minor:"6+", GitVersion:"v0.6.2", GitCommit:"729fde276613eedcd99ecf5b93f095b8deb64eb4", GitTreeState:"clean"}
    Server Version: &version.Info{Major:"0", Minor:"6+", GitVersion:"v0.6.2", GitCommit:"729fde276613eedcd99ecf5b93f095b8deb64eb4", GitTreeState:"clean"}

4）Kubernetes配置（僅Master主機）
master運行3個組件,包括apiserver、scheduler、controller-manager，相干配置項也只觸及這3塊。
4.1、【/etc/kubernetes/config】

view plainprint?

# Comma seperated list of nodes in the etcd cluster  

KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.1.10:4001"  

# logging to stderr means we get it in the systemd journal  

KUBE_LOGTOSTDERR="--logtostderr=true"  

# journal message level, 0 is debug  

KUBE_LOG_LEVEL="--v=0"  

# Should this cluster be allowed to run privleged docker containers  

KUBE_ALLOW_PRIV="--allow_privileged=false"

4.2、【/etc/kubernetes/apiserver】

view plainprint?

# The address on the local server to listen to.  

KUBE_API_ADDRESS="--address=0.0.0.0"  

# The port on the local server to listen on.  

KUBE_API_PORT="--port=8080"  

# How the replication controller and scheduler find the kube-apiserver  

KUBE_MASTER="--master=192.168.1.200:8080"  

# Port minions listen on  

KUBELET_PORT="--kubelet_port=10250"  

# Address range to use for services  

KUBE_SERVICE_ADDRESSES="--portal_net=10.254.0.0/16"  

# Add you own!  

KUBE_API_ARGS=""

4.3、【/etc/kubernetes/controller-manager】

view plainprint?

# Comma seperated list of minions  

KUBELET_ADDRESSES="--machines= 192.168.1.201,192.168.1.202"  

# Add you own!  

KUBE_CONTROLLER_MANAGER_ARGS=""

4.4、【/etc/kubernetes/scheduler】

view plainprint?

# Add your own!  

KUBE_SCHEDULER_ARGS=""  

啟動master側相干服務

援用

    # systemctl daemon-reload
    # systemctl start kube-apiserver.service kube-controller-manager.service kube-scheduler.service
    # systemctl enable kube-apiserver.service kube-controller-manager.service kube-scheduler.service

    5）Kubernetes配置（僅minion主機）
        minion運行兩個組件,包括kubelet、proxy，相干配置項也只觸及這兩塊。
    Docker啟動腳本更新
    # vi /etc/sysconfig/docker
    添加：-H tcp://0.0.0.0:2375，終究配置以下，以便以后提供遠程API保護。
    OPTIONS=--selinux-enabled -H tcp://0.0.0.0:2375 -H fd://

    修改minion防火墻配置，通常master找不到minion主機多半是由于端口沒有連通。
    iptables -I INPUT -s 192.168.1.200 -p tcp --dport 10250 -j ACCEPT

    修改kubernetes minion端配置，以192.168.1.201主機為例，其它minion主機同理。
5.1、【/etc/kubernetes/config】

view plainprint?

# Comma seperated list of nodes in the etcd cluster  

KUBE_ETCD_SERVERS="--etcd_servers=http://192.168.1.10:4001"  

# logging to stderr means we get it in the systemd journal  

KUBE_LOGTOSTDERR="--logtostderr=true"  

# journal message level, 0 is debug  

KUBE_LOG_LEVEL="--v=0"  

# Should this cluster be allowed to run privleged docker containers  

KUBE_ALLOW_PRIV="--allow_privileged=false"

5.2、【/etc/kubernetes/kubelet】

view plainprint?

###  

# kubernetes kubelet (minion) config  

# The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)  

KUBELET_ADDRESS="--address=0.0.0.0"  

# The port for the info server to serve on  

KUBELET_PORT="--port=10250"  

# You may leave this blank to use the actual hostname  

KUBELET_HOSTNAME="--hostname_override=192.168.1.201"  

# Add your own!  

KUBELET_ARGS=""

5.3、【/etc/kubernetes/proxy】

view plainprint?

KUBE_PROXY_ARGS=""  

啟動kubernetes服務

援用

# systemctl daemon-reload
# systemctl enable docker.service kubelet.service kube-proxy.service
# systemctl start docker.service kubelet.service kube-proxy.service

3、校驗安裝(在master主機操作，或可訪問master主機8080端口的client api主機)
1) kubernetes經常使用命令

援用

# kubectl get minions    #查查看minion主機
# kubectl get pods    #查看pods清單
# kubectl get services 或 kubectl get services -o json    #查看service清單
# kubectl get replicationControllers    #查看replicationControllers清單
# for i in `kubectl get pod|tail -n +2|awk '{print $1}'`; do kubectl delete pod $i; done    #刪除所有pods

或通過Server api for REST方式（推薦，及時性更高）：

援用

# curl -s -L http://192.168.1.200:8080/api/v1beta1/version | python -mjson.tool    #查看kubernetes版本
# curl -s -L http://192.168.1.200:8080/api/v1beta1/pods | python -mjson.tool    #查看pods清單
# curl -s -L http://192.168.1.200:8080/api/v1beta1/replicationControllers | python -mjson.tool    #查看replicationControllers清單
# curl -s -L http://192.168.1.200:8080/api/v1beta1/minions | python -m json.tool    #查查看minion主機
# curl -s -L http://192.168.1.200:8080/api/v1beta1/services | python -m json.tool    #查看service清單

注：在新版kubernetes中，所有的操作命令都整合至kubectl，包括kubecfg、kubectl.sh、kubecfg.sh等

  2）創建測試pod單元
   # /home/kubermange/pods && cd /home/kubermange/pods
   # vi apache-pod.json

view plainprint?

{  

  "id": "fedoraapache",  

  "kind": "Pod",  

  "apiVersion": "v1beta1",  

  "desiredState": {  

    "manifest": {  

      "version": "v1beta1",  

      "id": "fedoraapache",  

      "containers": [{  

        "name": "fedoraapache",  

        "image": "fedora/apache",  

        "ports": [{  

          "containerPort": 80,  

          "hostPort": 8080  

        }]  

      }]  

    }  

  },  

  "labels": {  

    "name": "fedoraapache"  

  }  

}