** 原创文章，请勿转载 **
docker的单host,多container环境下，是使用host的docker0网桥进行通信的。如果跨host, container之间要通信怎么办呢？
答案是flannel(当然也有其它方案)。
本文记录下实验过程。
1. 环境
三个VM (都是CentOS 7.3 64位)
192.168.1.120 etcd
192.168.1.121 flannel, docker
192.168.1.122 flannel, docker
etcd, flannel, docker都是通过yum安装。 flannel是0.7.6版本, docker是17.09.0-ce版本
# yum install etcd
# yum install flannel
# yum install docker-ce
如果是yum install docker， 应该安装的是1.12.6。
2. 向etcd添加配置项
先在192.168.1.120上，用etcdctl向etcd添加一个flannel的配置项,名称任意。
网上有/flannel/network/config, 有/coreos.com/network/config, ... 都行，无所谓。我用的是/flannel/network/config
# etcdctl set /flannel/network/config ‘{"Network": "10.80.0.0/16"}‘
这个10.80.0.0也是随便写的，10.20.0.0也行，反正随便， 习惯上一般是10.x.x.x, 或172.x.x.x 或192.x.x.x。
/16, 掩码。
3. 启动flannel
在192.168.1.121, 192.168.1.122两个vm上做同样的工作：
启动前，要对flannel进行配置
# vi /etc/sysconfig/flanneld # 这个指定etcd集群的地址，多个地址用逗号分开 FLANNEL_ETCD_ENDPOINTS="http://192.168.1.120:2379" # 这个是etcd里配置项的key的前缀, flannel是通过这个key,从etcd查询网络配置信息的 FLANNEL_ETCD_PREFIX="/flannel/network"
启动：
# systemctl daemon-reload
# systemctl start flanneld
启动后，两个vm的docker0的ip，不再是172.17.0.1, 而是变成10.80.x.x,
比如， 192.168.1.121的docker0的ip, 变成10.80.55.1
192.168.1.122的docker0的ip, 变成10.80.17.1
10.80.55.0/24, 10.80.17.0/24, 是10.80.0.0/16的子网， 这两个子网的网段就是flannel根据etcd里的配置，自动分配的。
如果重新实验， 就不再是55和17,而是别的数字.
那么在192.168.1.121这台vm上， docker container分配的地址就是
10.80.55.2, 10.80.55.3, ... 依此类推
在192.168.1.122这个vm上， docker container的ip就是
10.80.17.2, 10.80.17.3, ...
4. 启动docker
那么现在的问题是，docker怎么就那么听话，使用你指定的子网呢? 默认docker是使用172.17.0.0段
这个是通过dockerd的--bip参数指定的。
就是启动docker的时候要这样
# /usr/bin/dockerd --bip="10.80.55.1/24"
但这样是hardcode, 也就是ip是写死的，不能够啊。
flannel在安装时，会生成几个配置文件，具体是哪几个记不住不写了，网上都有。
经过参数化后，docker启动变成这个样子：
# vi /usr/lib/systemd/system/docker.service 将 ExecStart=/usr/bin/dockerd 改成 ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPOTIONS 就OK了。 (DOCKER_NETWOKR_OPTIONS就是配置文件里的变量， 会映射到docker.service里)
启动
# systemctl daemon-reload
# systemctl start docker
5. 启用ip转发
如果不启用这个，跨host的容器间是不能通信的, 即使关掉selinux, firewalld也不行。
# iptables -P FORWARD ACCEPT
6. 测试
测试使用alpine,或busybox，它们都有ping命令，这里以alpine为例
192.168.1.121：
192.168.1.122
如果不启动ip转发，可以ping通10.80.17.0, 10.80.17.1, 但ping不通10.80.17.2。
至此，实验成功！
7. 再补充一点
docker run 每启动一个container, host的主机上就会多出一个vethxxxxxx设备， 它对应着容器里的eth0.
