标签：duyuheng 网络配置 docker nat iptables实现 自定义网桥
Docker NAT iptables实现
默认情况下，容器可以主动访问到外部网络的连接，但是外部网络无法访问到容器
容器访问外部实现
容器所有到外部网络的连接，源地址都会被 NAT 成本地系统的 IP 地址（即docker0地址）。这是使用 iptables 的源地址伪装操作实现的
查看主机的 NAT 规则
[root@localhost sshd_dockerfile]# iptables -t nat -vnL
Chain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)
pkts bytes target prot opt in out source destination
27 1713 MASQUERADE all -- * !docker0 172.17.0.0/16 0.0.0.0/0
其中，上述规则将所有源地址在 172.17.0.0/16 网段，目标地址为其他网段（外部网络）的流量动态伪装为从系统网卡发出。MASQUERADE 跟传统 SNAT 的好处是它能动态从网卡获取地址。
外部访问容器实现
容器允许外部访问，可以在 docker run 时候通过 -p 或 -P 参数来启用，不管用那种办法，其实也是在本地的 iptable 的 nat 表中添加相应的规则
使用-P 时：
[root@localhost sshd_dockerfile]# docker run -d -P centos:http
a10b560d2e31ee07bb3be04ea8ecc66bcbcc03f0a1360973c993538393e1b71f
[root@localhost sshd_dockerfile]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a10b560d2e31 centos:http "/bin/bash /run.sh" About an hour ago Up About an hour 0.0.0.0:32773->22/tcp, 0.0.0.0:32772->80/tcp, 0.0.0.0:32771->443/tcp compassionate_shockley
[root@localhost sshd_dockerfile]# # iptables -t nat –nvL
Chain DOCKER (2 references)
pkts bytes target prot opt in out source destination
0 0 RETURN all -- docker0 * 0.0.0.0/0 0.0.0.0/0
0 0 DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:32771 to:172.17.0.3:443
0 0 DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:32772 to:172.17.0.3:80
0 0 DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:32773 to:172.17.0.3:22
使用 -p 80:80 时：
[root@localhost ~]# docker run -d -p 80:80 centos:http
WARNING: IPv4 forwarding is disabled. Networking will not work.
e2e606c90755d334d1cdce0e2dbc907614236231f4482819b25d839e4042b17b
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
e2e606c90755 centos:http "/bin/bash /run.sh" 8 seconds ago Up 6 seconds 22/tcp, 443/tcp, 0.0.0.0:80->80/tcp clever_fermi
[root@localhost ~]# iptables -t nat -nvL
Chain DOCKER (2 references)
pkts bytes target prot opt in out source destination
0 0 DNAT tcp -- !docker0 * 0.0.0.0/0 0.0.0.0/0 tcp dpt:80 to:172.17.0.2:80
docker0 网桥
Docker服务默认会创建一个 docker0 网桥（其上有一个 docker0 内部接口），它在内核层连通了其他的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。
Docker 默认指定了 docker0 接口的 IP 地址和子网掩码，让主机和容器之间可以通过网桥相互通信
由于目前 Docker 网桥是 Linux 网桥，用户可以使用 brctl show 来查看网桥和端口连接信息。
[root@localhost ~]# brctl show
bridge namebridge idSTP enabledinterfaces
docker08000.024281ecab1cnoveth89dc50c
vethd69e7b9
virbr08000.525400e7be5fyesvirbr0-nic
注：brctl 命令在centos中可以使用yum install bridge-utils 来安装
每次创建一个新容器的时候，Docker 从可用的地址段中选择一个空闲的 IP 地址分配给容器的eth0端口。使用本地主机上 docker0 接口的 IP 作为所有容器的默认网关。
[root@localhost ~]# docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a10b560d2e31 centos:http "/bin/bash /run.sh" 22 hours ago Up 22 hours 0.0.0.0:32773->22/tcp, 0.0.0.0:32772->80/tcp, 0.0.0.0:32771->443/tcp compassionate_shockley
583d46c7cea8 centos:http "/bin/bash /run.sh" 22 hours ago Exited (137) 22 hours ago zen_jones
root@localhost ~]# ifconfig docker0
docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.17.0.1 netmask 255.255.0.0 broadcast 0.0.0.0
inet6 fe80::42:81ff:feec:ab1c prefixlen 64 scopeid 0x20<link>
ether 02:42:81:ec:ab:1c txqueuelen 0 (Ethernet)
RX packets 46802 bytes 2152876 (2.0 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 58776 bytes 102598730 (97.8 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
[root@localhost ~]# ssh admin@192.168.1.107 -p 32773
The authenticity of host ‘[192.168.1.107]:32773 ([192.168.1.107]:32773)‘ can‘t be established.
RSA key fingerprint is 1e:c3:c2:f8:0c:46:2e:1a:e4:f9:eb:71:5e:e7:fd:0b.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘[192.168.1.107]:32773‘ (RSA) to the list of known hosts.
[admin@a10b560d2e31 ~]$ ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
94: eth0@if95: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UP
link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.3/16 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::42:acff:fe11:3/64 scope link
valid_lft forever preferred_lft forever
Docker 网络配置
Docker 四种网络模式
docker run 创建 Docker 容器时，可以用 --net 选项指定容器的网络模式，Docker 有以下 4 种网络模式：
· host 模式，使用 --net=host 指定。
· container 模式，使用 --net=container:NAMEorID 指定。
· none 模式，使用 --net=none 指定。
· bridge 模式，使用 --net=bridge 指定，默认设置。
如果启动容器的时候使用 host 模式，那么这个容器将不会获得一个独立的 Network Namespace，而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡，配置自己的 IP 等，而是使用宿主机的 IP 和端口。
例如，我们在192.168.1.102/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器，监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时，看到的都是宿主机上的信息。而外界访问容器中的应用，则直接使用192.168.1.102:80 即可，不用任何 NAT 转换，就如直接跑在宿主机中一样。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。
启动容器前，执行pgrep http查看宿主机httpd进程
[root@localhost ~]# pgrep httpd [root@localhost ~]#
上面显示结果说明宿主机没有httpd进程运行
用 host 模式启动一个含有 web 应用的 Docker 容器
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
centos http f1d1edeedc66 22 hours ago 298.6 MB
docker.io/centos centos6 cf2c3ece5e41 13 months ago 194.6 MB
[root@localhost ~]# docker run -dit --net=host centos:http
a795da45a727173c281a548e55ee0e261a391a97f50c746270090072f4bfb57d
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a795da45a727 centos:http "/bin/bash /run.sh" 31 seconds ago Up 29 seconds mad_pike
[root@localhost ~]# pgrep httpd
7221
7222
7223
7224
7225
7226
7227
7228
7229
用浏览器访问宿主机地址的80端口
注意防火墙：
[root@localhost ~]# firewall-cmd --add-port=80/tcp
success
这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。
运行一个容器：查看容器的IP
[root@localhost ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
centos http f1d1edeedc66 22 hours ago 298.6 MB
docker.io/centos centos6 cf2c3ece5e41 13 months ago 194.6 MB
[root@localhost ~]# docker run -it docker.io/centos:centos6
WARNING: IPv4 forwarding is disabled. Networking will not work.
[root@f1e18599659f /]# ifconfig
注意ID号f1e18599659f下面会用到
eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02
inet addr:172.17.0.2 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe11:2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:6 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:508 (508.0 b) TX bytes:508 (508.0 b)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
将容器切换到后台运行:ctrl+p ctrl+q
在运行一个容器使用container模式：查看新容器的地址
[root@localhost ~]# docker run -it --net=container:f1e18599659f docker.io/centos:centos6
WARNING: IPv4 forwarding is disabled. Networking will not work.
[root@f1e18599659f /]# ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02
inet addr:172.17.0.2 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe11:2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:8 errors:0 dropped:0 overruns:0 frame:0
TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:648 (648.0 b) TX bytes:648 (648.0 b)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
注意使用container模式docker run -it --net=container:f1e18599659f docker.io/centos:centos6 是第一次执行
[root@localhost ~]# docker run -it docker.io/centos:centos6
WARNING: IPv4 forwarding is disabled. Networking will not work.
[root@f1e18599659f /]# ifconfig 高亮中的ID
这个模式和前两个不同。在这种模式下，Docker 容器拥有自己的 Network Namespace，但是，并不为 Docker容器进行任何网络配置。也就是说，这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等。
当 docker 启动时，会在主机上创建一个 docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给 docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用，这对主机和容器来说应该足够了。
docker0 不是普通的网卡，他是桥接到其他网卡的虚拟网卡，容器使用它来和主机相互通信。当创建一个 docker 容器的时候，它就创建了一个对接口，当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包，它们是绑在一起的一对孪生接口。这对接口在容器中那一端的的名字是 eth0 ，宿主主机端的会指定一个唯一的名字，比如 vethAQI2QT 这样的名字。
所有的 veth* 的接口都会桥接到 docker0 ，这样 docker 就创建了在主机和所有容器之间一个虚拟共享网
bridge 模式是 Docker 默认的网络设置，此模式会为每一个容器分配 Network Namespace、设置 IP 等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上。当 Docker server 启动时，会在主机上创建一个名为 docker0 的虚拟网桥，此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了，Docker 会从 RFC1918 所定义的私有 IP 网段中，选择一个和宿主机不同的IP地址和子网分配给 docker0，连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。如一般 Docker 会使用 172.17.0.0/16 这个网段，并将 172.17.0.1/16 分配给 docker0 网桥（在主机上使用 ifconfig 命令是可以看到 docker0 的，可以认为它是网桥的管理接口，在宿主机上作为一块虚拟网卡使用）
Docker完成以上网络配置的过程大致是这样的：
1.在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。
2.Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth65f9这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看。
注：brctl 工具依赖 bridge-utils 软件包
[root@localhost ~]# brctl show
bridge namebridge idSTP enabledinterfaces
docker08000.024281ecab1cnoveth90f8ae3
3.从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。
容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的，可以查看Iptables表分析。
查看当前 docker0地址
[root@localhost ~]# ifconfig docker0
docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.17.0.1 netmask 255.255.0.0 broadcast 0.0.0.0
inet6 fe80::42:81ff:feec:ab1c prefixlen 64 scopeid 0x20<link>
ether 02:42:81:ec:ab:1c txqueuelen 0 (Ethernet)
RX packets 46867 bytes 2161613 (2.0 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 58860 bytes 102609673 (97.8 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
在容器运行时，每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同 docker0 ip 相同网段的专用 ip 地址，docker0 的 IP 地址被用于所有容器的默认网关。
运行一个容器：
查看当前运行的容器：
[root@localhost ~]# docker run -dit centos:http
23ddd3fe37aa7b3e0b192eeced547b05ef451fb409f5ba26ca7d5907af69f77b
查看当前运行的容器：
[root@localhost ~]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
23ddd3fe37aa centos:http "/bin/bash /run.sh" 2 minutes ago Up 2 minutes 22/tcp, 80/tcp, 443/tcp condescending_brown
6a80dd0b8c4a docker.io/centos:centos6 "/bin/bash" 2 minutes ago Up 2 minutes peaceful_cray
通过brctl show命令查看
[root@localhost ~]# brctl show
bridge namebridge idSTP enabledinterfaces
docker08000.024281ecab1cnoveth49a07d1
vethd7ee715
以上, docker0 扮演着6d51c11aa19b和e6901fb7ab36这两个容器的虚拟接口 vethxx interface 桥接的角色。
执行docker network inspect bridge查看桥接网络的详细信息
[root@localhost ~]# docker network inspect bridge
[
{
"Name": "bridge",
"Id": "baeed3bb5ffc64a7a9329979781a9af432fa66a7993e77726b606faf98b8df0b",
"Scope": "local",
"Driver": "bridge",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "172.17.0.0/16",
"Gateway": "172.17.0.1"
}
]
},
"Internal": false,
"Containers": {
"23ddd3fe37aa7b3e0b192eeced547b05ef451fb409f5ba26ca7d5907af69f77b": {
"Name": "condescending_brown",
"EndpointID": "4acfa63b6859f3f9b6ce7a39d9b4bb18880a6e5b15df84f009d4e8352f72c51b",
"MacAddress": "02:42:ac:11:00:03",
"IPv4Address": "172.17.0.3/16",
"IPv6Address": ""
},
"6a80dd0b8c4afc41ecfe194d75125c316a5b97822cfacd6831cc437f25809044": {
"Name": "peaceful_cray",
"EndpointID": "90889fd355608221b06abf677c3f8fdd831fd99b6539032199c4119e0336e4cc",
"MacAddress": "02:42:ac:11:00:02",
"IPv4Address": "172.17.0.2/16",
"IPv6Address": ""
}
},
"Options": {
"com.docker.network.bridge.default_bridge": "true",
"com.docker.network.bridge.enable_icc": "true",
"com.docker.network.bridge.enable_ip_masquerade": "true",
"com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
"com.docker.network.bridge.name": "docker0",
"com.docker.network.driver.mtu": "1500"
},
"Labels": {}
}
]
除了默认的 docker0 网桥，用户也可以指定网桥来连接各个容器。在启动 Docker 服务的时候，使用 -b BRIDGE 或 --bridge=BRIDGE 来指定使用的网桥。
Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡，需要安装bridge-utils软件包。
基本步骤如下：
1.确保 docker 的进程是停止的
2.创建自定义网桥
3.给网桥分配特定的 ip
4.以 -b 的方式指定网桥
具体操作步骤：
如果服务已经运行，那需要先停止服务，并删除旧的网桥
[root@localhost ~]# systemctl stop docker [root@localhost ~]# ip link set dev docker0 down [root@localhost ~]# brctl delbr docker0 [root@localhost ~]# brctl show
bridge namebridge idSTP enabledinterfaces
virbr08000.525400e7be5fyesvirbr0-nic
然后创建一个网桥 bridge0，给网桥分配特定的 ip
[root@localhost ~]# brctl addbr bridge0 [root@localhost ~]# ip addr add 192.168.10.1/24 dev bridge0 [root@localhost ~]# ip link set dev bridge0 up
查看确认网桥创建并启动
[root@localhost ~]# brctl show
bridge namebridge idSTP enabledinterfaces
bridge08000.000000000000no
或
[root@localhost ~]# ip addr show bridge0
106: bridge0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN
link/ether fe:09:c2:02:d7:cb brd ff:ff:ff:ff:ff:ff
inet 192.168.10.1/24 scope global bridge0
valid_lft forever preferred_lft forever
inet6 fe80::fc09:c2ff:fe02:d7cb/64 scope link
valid_lft forever preferred_lft forever
修改/etc/sysconfig/docker文件
修改前：
OPTIONS=‘--selinux-enabled --log-driver=journald --signature-verification=false‘
修改后：添加前面所新建的网桥
[root@localhost ~]# vim /etc/sysconfig/docker
# /etc/sysconfig/docker
# Modify these options if you want to change the way the docker daemon runs
OPTIONS=‘--selinux-enabled --log-driver=journald -b=bridge0‘
启动 Docker 服务。
[root@localhost ~]# systemctl start docker
新建一个容器，可以看到它已经桥接到了 bridge0 上
[root@localhost ~]# docker run -dit docker.io/centos:centos6
fda8c846484dd543728ae7ed814ca45aefd816b7146dce105d217649e92a1321
[root@localhost ~]# brctl show
bridge namebridge idSTP enabledinterfaces
bridge08000.e230240caa2dnovethf1f9dec
virbr08000.525400e7be5fyesvirbr0-nic
进入容器，查看容器的IP
[root@localhost ~]# docker attach fda8c846484dd543728ae7ed814ca45aefd816b7146dce105d217649e92a1321 [root@fda8c846484d /]# ifconfig eth0
eth0 Link encap:Ethernet HWaddr 02:42:C0:A8:0A:02
inet addr:192.168.10.2 Bcast:0.0.0.0 Mask:255.255.255.0
inet6 addr: fe80::42:c0ff:fea8:a02/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:8 errors:0 dropped:0 overruns:0 frame:0
TX packets:8 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:648 (648.0 b) TX bytes:648 (648.0 b)
docker 服务启动成功并绑定容器到新的网桥，新建一个容器，你会看到它的 ip 是我们的设置的新 ip段， docker 会自动检测到它。用 brctl show 可以看到容器启动或则停止后网桥的配置变化，在容器中使用 ip a 和 ip r 来查看 ip 地址配置和路由信息。
本文出自 “duyuheng” 博客，谢绝转载！
标签：duyuheng 网络配置 docker nat iptables实现 自定义网桥
原文地址：http://duyuheng.blog.51cto.com/12879147/1955943
