一、簡介

成都創(chuàng)新互聯(lián)一直在為企業(yè)提供服務(wù)，多年的磨煉，使我們在創(chuàng)意設(shè)計，全網(wǎng)營銷推廣到技術(shù)研發(fā)擁有了開發(fā)經(jīng)驗。我們擅長傾聽企業(yè)需求，挖掘用戶對產(chǎn)品需求服務(wù)價值，為企業(yè)制作有用的創(chuàng)意設(shè)計體驗。核心團隊擁有超過十年以上行業(yè)經(jīng)驗，涵蓋創(chuàng)意，策化，開發(fā)等專業(yè)領(lǐng)域，公司涉及領(lǐng)域有基礎(chǔ)互聯(lián)網(wǎng)服務(wù)西部信息服務(wù)器托管、App定制開發(fā)、手機移動建站、網(wǎng)頁設(shè)計、網(wǎng)絡(luò)整合營銷。

Calico是一個純?nèi)龑拥膮f(xié)議，為OpenStack虛機和Docker容器提供多主機間通信。Calico不使用重疊網(wǎng)絡(luò)比如flannel和libnetwork重疊網(wǎng)絡(luò)驅(qū)動，它是一個純?nèi)龑拥姆椒ǎ褂锰摂M路由代替虛擬交換，每一臺虛擬路由通過BGP協(xié)議傳播可達信息（路由）到剩余數(shù)據(jù)中心。

 為什么Calico網(wǎng)絡(luò)選擇BGP？

  參考地址：https://blog.51cto.com/weidawei/2152319

我們在Calico網(wǎng)絡(luò)中使用BGP去宣告數(shù)據(jù)終端（end points）路由是因為如下原因：

（1）BGP是一種簡單的路由協(xié)議

（2）擁有當(dāng)前行業(yè)的最佳實踐

（3）唯一能夠支撐Calico網(wǎng)絡(luò)規(guī)模的協(xié)議

1、原理

如下圖所示，描述了從源容器經(jīng)過源宿主機，經(jīng)過數(shù)據(jù)中心的路由，然后到達目的宿主機最后分配到目的容器的過程。

整個過程中始終都是根據(jù)iptables規(guī)則進行路由轉(zhuǎn)發(fā)，并沒有進行封包，解包的過程，這和flannel相比效率就會快多了。

2、框架

calico包括如下重要組件：Felix，etcd，BGP Client，BGP Route Reflector。下面分別說明一下這些組件。

（1）Felix：主要負(fù)責(zé)路由配置以及ACLS規(guī)則的配置以及下發(fā)，它存在在每個node節(jié)點上。

（2）etcd：分布式鍵值存儲，主要負(fù)責(zé)網(wǎng)絡(luò)元數(shù)據(jù)一致性，確保Calico網(wǎng)絡(luò)狀態(tài)的準(zhǔn)確性，可以與kubernetes共用；

（3）BGP Client(BIRD), 主要負(fù)責(zé)把 Felix寫入 kernel的路由信息分發(fā)到當(dāng)前 Calico網(wǎng)絡(luò)，確保 workload間的通信的有效性；

（4）BGPRoute Reflector(BIRD), 大規(guī)模部署時使用，摒棄所有節(jié)點互聯(lián)的mesh模式，通過一個或者多個 BGPRoute Reflector 來完成集中式的路由分發(fā)；

二、服務(wù)搭建

1、環(huán)境準(zhǔn)備

1）系統(tǒng)環(huán)境

主機名	系統(tǒng)	宿主IP	服務(wù)
master01	CentOS7.4	172.169.18.210	docker1.13.1 etcd3.2.22 calico2.6.10
node01	CentOS7.4	172.169.18.162	docker1.13.1 etcd3.2.22 calico2.6.10
node02	CentOS7.4	172.169.18.180	docker1.13.1 etcd3.2.22 calico2.6.10

2）暫時關(guān)閉防火墻和selinux服務(wù)

3）配置hosts,添加如下

# vim /etc/hosts

172.169.18.210 master01

172.169.18.162 node01

172.169.18.180 node02

2、安裝docker服務(wù)（三個節(jié)點）

1）yum安裝docker1.13版本

# yum install docker -y

2）修改默認(rèn)docker0的網(wǎng)卡信息

# vim /etc/docker/daemon.json

#追加如下參數(shù)

"bip":"172.169.10.1/24"

其他節(jié)點：

node01網(wǎng)絡(luò)地址：172.169.20.1/24

node01網(wǎng)絡(luò)地址：172.169.30.1/24

重啟docker服務(wù)

3、安裝etcd服務(wù)（在三個節(jié)點機上都要安裝etcd，構(gòu)成etcd集群環(huán)境）

1）yum安裝etcd3.2.22版本

# yum install etcd -y

2）修改etcd配置文件

# vim /etc/etcd/etcd.conf

#maser01節(jié)點

ETCD_DATA_DIR="/var/lib/etcd/"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://127.0.0.1:4001"

ETCD_NAME="master01"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

#node01節(jié)點

ETCD_DATA_DIR="/var/lib/etcd"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://127.0.0.1:4001"

ETCD_NAME="node01"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

#node02

ETCD_DATA_DIR="/var/lib/etcd/default.etcd"

ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"

ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"

ETCD_NAME="node02"

ETCD_ADVERTISE_CLIENT_URLS="http://0.0.0.0:2379"

ETCD_INITIAL_CLUSTER="master01=http://172.169.18.210:2380,node01=http://172.169.18.162:2380,node02=http://172.169.18.180:2380"

ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"

ETCD_INITIAL_CLUSTER_STATE="new"

按如上配置分別啟動集群，啟動集群后，將會進入集群選舉狀態(tài)，若出現(xiàn)大量超時，則需要檢查主機的防火墻是否關(guān)閉，或主機之間是否能通過2380端口通信，集群建立后通過以下命令檢查集群狀態(tài)。

3）在任意節(jié)點查看集群狀態(tài)

# etcdctl member list

當(dāng)關(guān)閉master01節(jié)點后，選舉自動切換到node02上

4）檢查集群健康狀態(tài)（在三個節(jié)點中的任意一個上面都可以查看）

# etcdctl cluster-health

到此，etcd集群搭建完畢?。?！

4、搭建Calico服務(wù)（docker集合采用2.6版本）

備注：新老版本的執(zhí)行命令有所差異，注意了?。?！

Calico實現(xiàn)了一個Docker網(wǎng)絡(luò)插件，可用于為Docker容器提供路由和高級網(wǎng)絡(luò)策略。

calico地址：https://github.com/projectcalico/calicoctl/tags

1）下載

# wget -O  /usr/local/bin/calicoctlhttps://github.com/projectcalico/calicoctl/releases/download/v1.6.4/calicoctl

# chmod +x /usr/local/bin/calicoctl

2）配置calicoctl - etcdv2數(shù)據(jù)存儲區(qū)

官方配置地址：https://docs.projectcalico.org/v2.6/reference/calicoctl/setup/etcdv2

# mkdir -p /etc/calico

# vim /etc/calico/calicoctl.cfg

# cat /etc/calico/calicoctl.cfg

apiVersion: v1

kind: calicoApiConfig

metadata:

spec:

 datastoreType: "etcdv2"

 etcdEndpoints: http://172.169.18.210:2379,http://172.169.18.162:2379,http://172.169.18.180:2379

3)幫助信息

# calicoctl -help

啟動Calico服務(wù)

在Docker環(huán)境中Calico服務(wù)是做為容器來運行的，使用host的網(wǎng)絡(luò)配置。所有容器配置使用Calico服務(wù)，做為calico節(jié)點互相通信。

Calico在每個主機上通過一個自己的container與其他主機或者網(wǎng)絡(luò)通訊，即calico-node的container，這個container里面包含了Bird路由管理、Felix協(xié)議等。

4）在三個節(jié)點上都要下載calico的node鏡像

（可以先在一個節(jié)點上下載鏡像，然后將鏡像通過docker save導(dǎo)出保存到本地，再將鏡像拷貝到其他節(jié)點上通過docker load導(dǎo)入，這樣對于其他節(jié)點來說，比使用docker pull要快）

[root@master01 ~]# docker pull calico/node:v2.6.10

[root@master01 ~]# docker pull calico/node-libnetwork

5.1）啟動三個節(jié)點的node服務(wù)（方法一）

#master01節(jié)點（指定版本--node-image=calico/node:v2.6.10）

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.210

#node01

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.162

#node02

# calicoctl node run --node-image=calico/node:v2.6.10 --ip=172.169.18.180

5.2）啟動三個節(jié)點的node服務(wù)（方法二）

#創(chuàng)建system service文件

# EnvironmentFile：ExecStart中大量引用的環(huán)境變量，在/etc/calico/calico.env文件中設(shè)置；

# ExecStartPre操作：如果環(huán)境中存在calico-node服務(wù)，刪除；

# ExecStart操作：”--net”設(shè)置網(wǎng)絡(luò)參數(shù)；“--privileged”以特權(quán)模式運行；‘“--nam”設(shè)置容器名；“calico/node:v2.6.10”指定鏡像，這里默認(rèn)是“quay.io/calico/node:v2.6.10”；

# ExecStop操作：停止容器；

# -v /var/run/docker.sock:/var/run/docker.sock：此映射關(guān)系在官方文檔中未給出；

# 會導(dǎo)致在創(chuàng)建容器時報錯“docker: Error response from daemon: failed to create endpoint test1 on network net1: NetworkDriver.CreateEndpoint: Network 44322b3b9b8c5eface703e1dbeb7e3755f47ede1761a72ea4cb7cec6d31ad2e5 inspection error: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?.”；

# 即在calico類型的網(wǎng)絡(luò)上不能創(chuàng)建容器，因為無法調(diào)用docker服務(wù)的sock，需要指明calico服務(wù)調(diào)用docker sock的路徑，請見：https://github.com/projectcalico/calico/issues/1303

# vim /usr/lib/systemd/system/calico.service

[Unit]

Description=calico-node

After=docker.service

Requires=docker.service

[Service]

EnvironmentFile=/etc/calico/calico.env

ExecStartPre=-/usr/bin/docker rm -f calico-node

ExecStart=/usr/bin/docker run --net=host --privileged \

--name=calico-node \

-e NODENAME=${CALICO_NODENAME} \

-e IP=${CALICO_IP} \

-e IP6=${CALICO_IP6} \

-e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \

-e AS=${CALICO_AS} \

-e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \

-e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \

-e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \

-e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \

-e ETCD_CERT_FILE=${ETCD_CERT_FILE} \

-e ETCD_KEY_FILE=${ETCD_KEY_FILE} \

-v /var/log/calico:/var/log/calico \

-v /run/docker/plugins:/run/docker/plugins \

-v /var/run/docker.sock:/var/run/docker.sock \

-v /lib/modules:/lib/modules \

-v /var/run/calico:/var/run/calico \

calico/node:v2.6.10

ExecStop=-/usr/bin/docker stop calico-node

Restart=on-failure

StartLimitBurst=3

StartLimitInterval=60s

[Install]

WantedBy=multi-user.target

#calico.env變量文件

# vim /etc/calico/calico.env

ETCD_ENDPOINTS=http://172.169.128.210:2379,http://172.169.18.162:2379,http://172.169.18.180:2379

# 啟用ssl/tls時，認(rèn)證相關(guān)文件位置

ETCD_CA_FILE=""

ETCD_CERT_FILE=""

ETCD_KEY_FILE=""

# 留空時默認(rèn)采用主機hostname作為辨識，所以留空時請確保主機名唯一

CALICO_NODENAME=""

CALICO_NO_DEFAULT_POOLS=""

# 設(shè)置路由下一跳，留空時從主機當(dāng)前端口中自動選擇，有參數(shù)”autodetect”強制每次啟動時間自動檢測

CALICO_IP="172.169.18.210"

CALICO_IP6=""

# as number，默認(rèn)從全局默認(rèn)設(shè)置繼承

CALICO_AS=""

# 啟用libnetwork drive

CALICO_LIBNETWORK_ENABLED=true

# 路由協(xié)議，可選”bird”，“gobgp”，“none”，默認(rèn)即”bird”， “gobgp”無ipip模式

CALICO_NETWORKING_BACKEND=bird

#啟動服務(wù)

# systemctl daemon-reload

# systemctl enable calico

# systemctl restart calico

# systemctl status calico

6)查看狀態(tài)

可以在三個節(jié)點上查看calico-node啟動情況

# docker ps -a

# ps -ef | grep calico

查看節(jié)點狀態(tài)信息（在三個節(jié)點上都可以查看）

# calicoctl node status

5、使用calicoctl創(chuàng)建ipPool

   官方參考地址:https://docs.projectcalico.org/v2.6/reference/calicoctl/resources/ippool

在啟動別的容器之前，我們需要配置一個IP地址池帶有ipip和nat-outgoing選項。所以帶有有效配置的容器就可以訪問互聯(lián)網(wǎng)，在每個節(jié)點上運行下面的命令：

先查看calico的ip池（任意一個節(jié)點上都能查看）

# calicoctl get ipPool -o wide

參數(shù)解釋：

# 運行calico服務(wù)后，默認(rèn)含1個192.168.0.0/16的ipv4地址池，1個64位的ipv6的地址池，后續(xù)網(wǎng)絡(luò)分配即地址池獲取；

# NAT：容器獲得的地址是否可nat出host；

# IPIP：ipip是在宿主機網(wǎng)絡(luò)不完全支持bgp時，一種妥協(xié)的overlay機制，在宿主機創(chuàng)建1個”tunl0”虛擬端口；設(shè)置為false時，路由即純bgp模式，理論上ipip模式的網(wǎng)絡(luò)傳輸性能低于純bgp模式；設(shè)置為true時，又分ipip always模式（純ipip模式）與ipip cross-subnet模式（ipip-bgp混合模式），后者指“同子網(wǎng)內(nèi)路由采用bgp，跨子網(wǎng)路由采用ipip”

1）在任意節(jié)點上定義都可以，ipPool屬于全局；

[root@master01 ~]# vim new-pool-1.yaml

apiVersion: v1

kind: ipPool

metadata:

cidr: 172.169.10.0/24

spec:

ipip:

enabled: true

mode: cross-subnet

nat-outgoing: true

disabled: false

2）#創(chuàng)建

# calicoctl create -f new-pool-1.yaml

同理繼續(xù)把后面兩個節(jié)點的網(wǎng)段添加完成即可，如下如

3）刪除默認(rèn)的ip地址池

# calicoctl delete ipPool 192.168.0.0/16

查看docker三個節(jié)點網(wǎng)絡(luò)

4）容器網(wǎng)絡(luò)配置

#修改docker配置文件（三節(jié)點修改）

# vim /usr/lib/systemd/system/docker.service

添加如下參數(shù)：

-H unix:///var/run/docker.sock -H 0.0.0.0:2375 --cluster-store etcd://172.169.18.210:2379,172.169.18.162:2379,172.169.18.180:2379 \

重啟服務(wù)

# systemctl daemon-reload

# systemctl restart docker

#創(chuàng)建network（任意一個節(jié)點創(chuàng)建即可）

# docker network create --driver calico --ipam-driver calico-ipam net1

# docker network ls

5）創(chuàng)建容器測試

docker run --name web1 --privileged -itd --net=net1 centos:7.4.1708 /usr/sbin/init

（1）#查看容器信息

# docker inspect web1

（2）網(wǎng)絡(luò)節(jié)點變化

（3）host節(jié)點routing table

# ip route show

（4）容器routing table

# 容器網(wǎng)關(guān)“169.254.1.1”是1個預(yù)留本地ip地址，通過cali0端口發(fā)送到網(wǎng)關(guān)；

# calico為簡化網(wǎng)絡(luò)配置,將容器的網(wǎng)關(guān)設(shè)置為1個固定的本地保留地址，容器內(nèi)路由規(guī)則都是一樣的，不需要動態(tài)更新；

# 確定下一跳后，容器會查詢下一跳”169.254.1.1”的mac地址

# docker exec web1 ip route show

# docker exec web1 ping 114.114.114.114

通過”ip neigh show”可查詢arp表（需要觸發(fā)），這里查詢到”169.254.1.1”的mac地址是”7a:b2:59:f7:0c:91”，仔細觀察會發(fā)現(xiàn)此mac地址即host節(jié)點網(wǎng)卡”calic255b5bfca1”的mac地址

# docker exec web1 ip neigh show

host節(jié)點對應(yīng)容器的網(wǎng)卡并沒有配置ip地址，無論容器發(fā)出的arp的請求地址是什么，其直接以自己的mac地址響應(yīng)即”arp proxy”；

# 容器的后續(xù)報文目的IP不變，但mac地址變成了宿主機上對應(yīng)interface的地址，即所有的報文都會發(fā)給宿主機，然后宿主機根據(jù)ip地址進行轉(zhuǎn)發(fā)，此feature是calico默認(rèn)開啟的，可通過如下方式確認(rèn)：

# cat /proc/sys/net/ipv4/conf/cali7d1d9f06ed8/proxy_arp

（5）在node02節(jié)點創(chuàng)建一個容器web2

# docker run --name web2 --privileged -itd --net=net1 centos:7.4.1708 /usr/sbin/init

# docker exec -ti web2 /bin/bash

即可

補充知識點：

	Flannel	Calico
overlay方案	1. udp 2.vxlan	ipip，宿主機網(wǎng)絡(luò)不能完全支持bgp時，可采用ipip模式
host-gw方案	host-gw，要求宿主機在相同subnet	bgp
網(wǎng)絡(luò)策略	不支持	支持
ipam	不支持去中心化ipam	不支持去中心化ipam
性能	理論值： 1. host-gw模式的性能優(yōu)于overlay模式，甚至接近于宿主機直接通信； 2. flannel host-gw模式與calico bgp模式相當(dāng)； 3. flannel overlay模式與calico ipip模式相當(dāng)或略差，ipip包頭較vxlan小； 4. flannel udp 模式相對最差，udp封裝方式在linux用戶態(tài)，vxlan與ipip封裝在linux內(nèi)核態(tài)完成（ipip安全性不如vxlan）。

本文名稱：基于calico網(wǎng)絡(luò)策略
網(wǎng)站網(wǎng)址：http://m.rwnh.cn/article12/pgspgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供移動網(wǎng)站建設(shè)、商城網(wǎng)站、關(guān)鍵詞優(yōu)化、網(wǎng)站制作、Google、營銷型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)