溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
我使用docker至今已有一段時間了，與絕大部分的人一樣，我被docker強大的功能和易用性深深的折服。簡單方便是docker的核心之一，它強大的功能被抽象成了非常簡單的命令。當我在使用和學習docker的時候，我很想知道docker在后臺都做了一些什么事情，特別是在網絡這一塊（我最感興趣的一塊）
我找到了很多關于創建和操作容器網絡的文檔，但是關于docker如何使網絡工作的卻沒有那么多。 Docker廣泛使用linux iptables和網橋接口，這篇文章是我如何用于創建容器網絡的總結，大部分信息來自github上的討論，演示文稿，以及我自己的測試。文章結尾我會給出我認為非常有用的資料鏈接。
我寫這篇文章使用的是docker 1.12.3,但這不是作為對docker網絡的全面描述，也不作為docker網絡的介紹。我只希望這篇文章能給大家開拓視野，也非常感謝所有對文章錯誤，缺失的反饋和批評。
Docker網絡概覽
Docker的網絡建立在允許任何一方編寫自己的網絡驅動程序的容器網絡模型（CNM）之上。這允許不同的網絡類型可用于在docker引擎上運行的容器，并且容器可以同時連接到多個網絡。除了各種第三方網絡驅動程序可用，docker自帶四個內置網絡
驅動程序：
Bridge: 這是啟動容器的默認網絡。通過docker主機上的網橋接口實現連接。 使用相同網橋的容器有自己的子網，并且可以相互通信（默認情況下）。
Host:這個驅動程序允許容器訪問docker主機自己的網絡空間（容器將看到和使用與docker主機相同的接口）。
Macvlan:此驅動程序允許容器直接訪問主機的接口或子接口（vlan）。 它還允許中繼鏈接。
Overlay：此驅動程序允許在運行docker的多個主機（通常是docker群集群）上構建網絡。 容器還具有自己的子網和網絡地址，并且可以直接相互通信，即使它們在不同的物理主機上運行。
Bridge和Overlay可能是最常用的網絡驅動程序，在本文和下一篇文章中我將主要關注這兩個驅動程序。
Docker Bridge 網絡
在docker主機上運行的容器的默認網絡是。 Docker在首次安裝時創建一個名為“bridge”的默認網絡。 我們可以列出所有docker網絡來查看此網絡 docker network ls：
$ docker network ls NETWORK ID NAME DRIVER SCOPE 3e8110efa04a bridge bridge local bb3cd79b9236 docker_gwbridge bridge local 22849c4d1c3a host host local 3kuba8yq3c27 ingress overlay swarm ecbd1c6c193a none null local
要檢查其屬性，運行docker network inspect bridge
$ docker network inspect bridge
[
{
"Name": "bridge",
"Id": "3e8110efa04a1eb0923d863af719abf5eac871dbac4ae74f133894b8df4b9f5f",
"Scope": "local",
"Driver": "bridge",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "172.18.0.0/16",
"Gateway": "172.18.0.1"
}
]
},
"Internal": false,
"Containers": {},
"Options": {
"com.docker.network.bridge.default_bridge": "true",
"com.docker.network.bridge.enable_icc": "true",
"com.docker.network.bridge.enable_ip_masquerade": "true",
"com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
"com.docker.network.bridge.name": "docker0",
"com.docker.network.driver.mtu": "1500"
},
"Labels": {}
}
]
你還可以使用docker network create命令并指定選項--driver bridge創建自己的網絡，例如
docker network create --driver bridge --subnet 192.168.100.0/24 --ip-range 192.168.100.0/ 24 my-bridge-network創建另一個網橋網絡，名稱為“my-bridge-network”，子網為192.168.100.0/24。
Linux 網橋接口
docker創建的每個網橋網絡由docker主機上的網橋接口呈現。、 默認橋網絡“bridge”通常具有與其相關聯的接口docker0，并且使用docker network create命令創建的每個后續網橋網絡將具有與其相關聯的新接口。
$ ifconfig docker0
docker0 Link encap:Ethernet HWaddr 02:42:44:88:bd:75
inet addr:172.18.0.1 Bcast:0.0.0.0 Mask:255.255.0.0
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
要找到與你創建的docker網絡關聯的linux接口，可以使用ifconfig列出所有接口，然后找到你指定了子網的接口，例如，我們想查看我們之前創建的網橋接口my-bridge-network 我們可以這樣：
$ ifconfig | grep 192.168.100. -B 1
br-e6bc7d6b75f3 Link encap:Ethernet HWaddr 02:42:bc:f1:91:09
inet addr:192.168.100.1 Bcast:0.0.0.0 Mask:255.255.255.0
linux橋接接口與交換機的功能類似，因為它們將不同的接口連接到同一子網，并根據MAC地址轉發流量。 我們將在下面看到，連接到網橋網絡的每個容器將在docker主機上創建自己的虛擬接口，并且docker引擎將同一網絡中的所有容器連接到同一個網橋接口，這將允許它們與彼此進行通信。 您可以使用brctl獲取有關網橋狀態的更多詳細信息。
$ brctl show docker0 bridge name bridge id STP enabled interfaces docker0 8000.02424488bd75 no
一旦我們有容器運行并連接到這個網絡，我們將看到interfaces列下面列出的每個容器的接口。 并且在橋接器接口上運行流量捕獲將允許我們看到同一子網上的容器之間的相互通信。
Linux 虛擬網絡接口(veth)
容器網絡模型（CNM）允許每個容器具有其自己的網絡空間。 從容器內部運行ifconfig將顯示容器內部的網絡接口：
$ docker run -ti ubuntu:14.04 /bin/bash
root@6622112b507c:/#
root@6622112b507c:/# ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:ac:12:00:02
inet addr:172.18.0.2 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe12:2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:9 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:766 (766.0 B) TX bytes:508 (508.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
然而，上面看到的eth0只能從那個容器中可用，而在Docker主機的外部，docker會創建一個與其對應的雙虛擬接口，并作為到容器外的鏈接。 這些虛擬接口連接到上面討論的橋接器接口，以便于在同一子網上的不同容器之間的連接。
我們可以通過啟動連接到默認網橋的兩個容器來查看此過程，然后查看docker主機上的接口配置。
在運行啟動任何容器之前，docker0 橋接接口沒有連接的接口：
然后我從ubuntu:14.04 鏡像啟動2個容器
$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES a754719db594 ubuntu:14.04 "/bin/bash" 5 seconds ago Up 4 seconds zen_kalam 976041ec420f ubuntu:14.04 "/bin/bash" 7 seconds ago Up 5 seconds stupefied_easley
您能馬上看到現在有兩個接口連接到docker0網橋接口（每個容器一個）
$ sudo brctl show docker0
bridge name bridge id STP enabled interfaces
docker0 8000.02424488bd75 no veth3177159
vethd8e05dd
從其中一個容器ping到google，然后從docker主機對容器的虛擬接口進行流量捕獲，將顯示容器流量
$ docker exec a754719db594 ping google.com PING google.com (216.58.217.110) 56(84) bytes of data. 64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=1 ttl=48 time=0.849 ms 64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=2 ttl=48 time=0.965 ms ubuntu@swarm02:~$ sudo tcpdump -i veth3177159 icmp tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on veth3177159, link-type EN10MB (Ethernet), capture size 262144 bytes 20:47:12.170815 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 55, length 64 20:47:12.171654 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 55, length 64 20:47:13.170821 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 56, length 64 20:47:13.171694 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 56, length 64
同樣，我們可以從一個容器平到另一個容器。
首先，我們需要獲取容器的IP地址，這可以通過在容器中運行ifconfig或使用docker inspect命令檢查容器來完成：
$ docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' a754719db594
172.18.0.3
然后我們從一個容器ping另一個容器
$ docker exec 976041ec420f ping 172.18.0.3 PING 172.18.0.3 (172.18.0.3) 56(84) bytes of data. 64 bytes from 172.18.0.3: icmp_seq=1 ttl=64 time=0.070 ms 64 bytes from 172.18.0.3: icmp_seq=2 ttl=64 time=0.053 ms
要從docker主機看到這個流量，我們可以在對應于容器的任何一個虛擬接口上捕獲，或者我們可以在橋接口（在這個實例中為docker0）上捕獲，顯示所有的容器間通信子網：
$ sudo tcpdump -ni docker0 host 172.18.0.2 and host 172.18.0.3 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes 20:55:37.990831 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 200, length 64 20:55:37.990865 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 200, length 64 20:55:38.990828 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 201, length 64 20:55:38.990866 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 201, length 64
定位一個容器的vet接口
沒有直接的方法來找到docker主機上的哪個veth接口鏈接到容器內的接口，但是在各種docker論壇和github中討論了幾種方法。在我看來最簡單的是以下（基于這個解決方案做了稍微的修改），這也取決于ethtool在容器中可訪問
例如：我的系統上運行了3個容器
MAGE COMMAND CREATED STATUS PORTS NAMES ccbf97c72bf5 ubuntu:14.04 "/bin/bash" 3 seconds ago Up 3 seconds admiring_torvalds 77d9f02d61f2 ubuntu:14.04 "/bin/bash" 4 seconds ago Up 4 seconds goofy_borg 19743c0ddf24 ubuntu:14.04 "/bin/sh" 8 minutes ago Up 8 minutes high_engelbart
首先我運行如下命令來獲得peer_ifindex 號
$ docker exec 77d9f02d61f2 sudo ethtool -S eth0 NIC statistics: peer_ifindex: 16
然后在docker主機上，通過peer_ifindex 找到接口名稱
$ sudo ip link | grep 16 16: veth7bd3604@if15: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP mode DEFAULT group default
所以，在目前的情況下，接口名稱是：veth7bd3604
iptables
Docker使用linux iptables來控制與它創建的接口和網絡之間的通信。 Linux iptables由不同的表組成，但我們主要關注兩個：filter和nat。過濾器是網絡或接口的流量的安全規則表,用于允許或拒絕IP地址,而nat包含負責屏蔽IP地址或端口的規則。Docker使用nat允許橋接網絡上的容器與docker主機之外的目的地進行通信（否則指向容器網絡的路由必須在docker主機的網絡中添加）
iptables:filter
iptables中的表由對應于處理docker主機上的數據包的不同條件或階段的不同鏈組成。默認情況下，過濾器表具有3個鏈：用于處理到達主機并且去往同一主機的分組的輸入鏈，用于發送到外部目的地的主機的分組的輸出鏈，以及用于進入主機但具有目的地外部主機。每個鏈由一些規則組成，這些規則規定對分組采取一些措施（例如拒絕或接受分組）以及匹配規則的條件。 順序處理規則，直到找到匹配項，否則應用鏈的默認策略。 也可以在表中定義自定義鏈。
要查看過濾器表中鏈的當前配置的規則和默認策略，可以運行iptables -t filter -L（或iptables -L，如果未指定表，則默認使用過濾器表）
$ sudo iptables -t filter -L Chain INPUT (policy ACCEPT) target prot opt source destination ACCEPT tcp -- anywhere anywhere tcp dpt:domain ACCEPT udp -- anywhere anywhere udp dpt:domain ACCEPT tcp -- anywhere anywhere tcp dpt:bootps ACCEPT udp -- anywhere anywhere udp dpt:bootps Chain FORWARD (policy ACCEPT) target prot opt source destination DOCKER-ISOLATION all -- anywhere anywhere DOCKER all -- anywhere anywhere ACCEPT all -- anywhere anywhere ctstate RELATED,ESTABLISHED ACCEPT all -- anywhere anywhere ACCEPT all -- anywhere anywhere DOCKER all -- anywhere anywhere ACCEPT all -- anywhere anywhere ctstate RELATED,ESTABLISHED ACCEPT all -- anywhere anywhere ACCEPT all -- anywhere anywhere DOCKER all -- anywhere anywhere ACCEPT all -- anywhere anywhere ctstate RELATED,ESTABLISHED ACCEPT all -- anywhere anywhere ACCEPT all -- anywhere anywhere ACCEPT all -- anywhere anywhere DROP all -- anywhere anywhere Chain OUTPUT (policy ACCEPT) target prot opt source destination Chain DOCKER (3 references) target prot opt source destination Chain DOCKER-ISOLATION (1 references) target prot opt source destination DROP all -- anywhere anywhere DROP all -- anywhere anywhere DROP all -- anywhere anywhere DROP all -- anywhere anywhere DROP all -- anywhere anywhere DROP all -- anywhere anywhere RETURN all -- anywhere anywhere
突出顯示的是不同的鏈，以及每個鏈的默認策略（沒有自定義鏈的默認策略）。 我們還可以看到Docker已經添加了兩個自定義鏈：Docker和Docker-Isolation，并且在Forward鏈中插入了以這兩個新鏈作為目標的規則。
Docker-isolation chain
Docker-isolation包含限制不同容器網絡之間的訪問的規則。 要查看更多詳細信息，請在運行iptables時使用-v選項
$ sudo iptables -t filter -L -v …. Chain DOCKER-ISOLATION (1 references) pkts bytes target prot opt in out source destination 0 0 DROP all -- br-e6bc7d6b75f3 docker0 anywhere anywhere 0 0 DROP all -- docker0 br-e6bc7d6b75f3 anywhere anywhere 0 0 DROP all -- docker_gwbridge docker0 anywhere anywhere 0 0 DROP all -- docker0 docker_gwbridge anywhere anywhere 0 0 DROP all -- docker_gwbridge br-e6bc7d6b75f3 anywhere anywhere 0 0 DROP all -- br-e6bc7d6b75f3 docker_gwbridge anywhere anywhere 36991 3107K RETURN all -- any any anywhere anywhere
您可以在上面看到一些刪除規則，阻止任何由docker創建的橋接接口之間的流量，從而確保容器網絡不能通信。
icc=false
可以傳遞到docker network create命令的選項之一是com.docker.network.bridge.enable_icc，它代表容器間通信。 將此選項設置為false會阻止同一網絡上的容器彼此通信。 這是通過在前向鏈中添加一個丟棄規則來實現的，該丟棄規則匹配來自與去往同一接口的網絡相關聯的橋接器接口的分組。
舉個例子，我們用以下命令創建一個新的網絡
docker network create --driver bridge --subnet 192.168.200.0/24 --ip-range 192.168.200.0/24 -o "com.docker.network.bridge.enable_icc"="false" no-icc-network
$ ifconfig | grep 192.168.200 -B 1
br-8e3f0d353353 Link encap:Ethernet HWaddr 02:42:c4:6b:f1:40
inet addr:192.168.200.1 Bcast:0.0.0.0 Mask:255.255.255.0
$ sudo iptables -t filter -S FORWARD
-P FORWARD ACCEPT
-A FORWARD -j DOCKER-ISOLATION
-A FORWARD -o br-8e3f0d353353 -j DOCKER
-A FORWARD -o br-8e3f0d353353 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i br-8e3f0d353353 ! -o br-8e3f0d353353 -j ACCEPT
-A FORWARD -o docker0 -j DOCKER
-A FORWARD -o docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i docker0 ! -o docker0 -j ACCEPT
-A FORWARD -i docker0 -o docker0 -j ACCEPT
-A FORWARD -o br-e6bc7d6b75f3 -j DOCKER
-A FORWARD -o br-e6bc7d6b75f3 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i br-e6bc7d6b75f3 ! -o br-e6bc7d6b75f3 -j ACCEPT
-A FORWARD -i br-e6bc7d6b75f3 -o br-e6bc7d6b75f3 -j ACCEPT
-A FORWARD -o docker_gwbridge -j DOCKER
-A FORWARD -o docker_gwbridge -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i docker_gwbridge ! -o docker_gwbridge -j ACCEPT
-A FORWARD -o lxcbr0 -j ACCEPT
-A FORWARD -i lxcbr0 -j ACCEPT
-A FORWARD -i docker_gwbridge -o docker_gwbridge -j DROP
-A FORWARD -i br-8e3f0d353353 -o br-8e3f0d353353 -j DROP
iptables:nat
NAT允許主機更改數據包的IP地址或端口。在這種情況下,它用于屏蔽源IP地址來自docker網絡（例如172.18.0.0/24子網中的主機），目的地為容器外，位于docker主機的IP地址之后的數據包。此功能由com.docker.network.bridge.enable_ip_masquerade選項控制，可以在docker network create（如果未指定，則默認為true）命令中使用。
你可以在iptables的nat表中看到此命令的效果
$ sudo iptables -t nat -L Chain PREROUTING (policy ACCEPT) target prot opt source destination DOCKER all -- anywhere anywhere ADDRTYPE match dst-type LOCAL Chain INPUT (policy ACCEPT) target prot opt source destination Chain OUTPUT (policy ACCEPT) target prot opt source destination DOCKER all -- anywhere !127.0.0.0/8 ADDRTYPE match dst-type LOCAL Chain POSTROUTING (policy ACCEPT) target prot opt source destination MASQUERADE all -- 172.18.0.0/16 anywhere MASQUERADE all -- 192.168.100.0/24 anywhere MASQUERADE all -- 172.19.0.0/16 anywhere MASQUERADE all -- 10.0.3.0/24 !10.0.3.0/24 Chain DOCKER (2 references) target prot opt source destination RETURN all -- anywhere anywhere RETURN all -- anywhere anywhere RETURN all -- anywhere anywhere
在postrouting鏈中，您可以看到在與自己網絡外部的任何主機通信時，通過應用偽裝操作創建的所有docker網絡。
總結
網橋網絡在docker主機上具有對應的linux網橋接口，其作為layer2交換機，并且連接在同一子網上的不同容器。
容器中的每個網絡接口在Docker主機上具有在容器運行時創建的對應虛擬接口。
橋接接口上來自Docker主機的流量捕獲等效于在交換機上配置SPAN端口，可以在該網絡上查看所有集群間通信。
在虛擬接口（veth- *）上來自docker主機的流量捕獲將顯示容器在特定子網上發送的所有流量
Linux iptables規則用于阻止不同的網絡（有時網絡中的主機）使用過濾器表進行通信。 這些規則通常添加在DOCKER-ISOLATION鏈中。
容器通過橋接接口與外部通信，其IP被隱藏在docker主機的IP地址后面。 這是通過向iptables中的nat表添加規則來實現的。
結束語
以上就是本文關于詳解Docker使用Linux iptables 和 Interfaces管理容器網絡的全部內容，希望對大家有所幫助。有興趣的朋友可以參閱：淺談Docker安全機制內核安全與容器之間的網絡安全 等以及本站其他專題。感謝大家對億速云的支持！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
