k8s容器互联flannel vxlan通信原理
作者：蓝胖子的编程梦
k8s容器互联-flannel vxlan 原理篇
vxlan 模式通信原理
flannel 在为不同主机的pod分配ip地址的时候，会在一个大的网段范围内分配ip地址，而同一台主机上的pod，则是在大的网段下延伸出一个较小的子网，同一台主机上的ip地址则是在较小的子网范围内去进行分配。
例如k8s启动flannel插件时，会通过flannel的配置文件指定大的网段的范围和flannel启动方式，我们选用的是vxlan模式
net-conf.json: |
{
"Network": "10.10.0.0/16",
"Backend": {
"Type": "vxlan"
}
}
这样整个集群的ip地址就是在10.10.0.0/16 网段去进行分配。 而各个主机上的ip地址范围 则是在例如10.10.1.0/24 ，10.10.2.0/24这样的网段去进行分配。
跨主机通信的目的，就是让主机A上的网段10.10.1.0/24 内分配的ip能够ping通主机B上的 10.10.2.0/24 网段分配的ip。
flannel的xvlan模式是如何办到的呢？
为了更好的理解vxlan的模式，我搭建了一个真实的3节点集群环境，然后实际的去主机上分析vxlan工作模式
集群网络模型
集群有3个节点:
master 集群的控制节点，ip地址是 192.168.2.17;
worker1 工作节点 ip地址是 192.168.2.16;
worker2 工作节点 ip 地址是 192.168.2.15 ;
由于工作节点才承担具体的pod承载认为，所以我们只看工作节点即可。
这里先放一张集群网络模型的图，接下来的分析都将会根据这个图一步步分析网络包时如何从worker2 的pod到达到worker1的pod的。
查看worker2网络设备类型
查看网络接口有哪些
parallels@worker2:~/Desktop$ ifconfig
cni0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet 10.10.2.1 netmask 255.255.255.0 broadcast 10.10.2.255
...
docker0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500
inet 172.17.0.1 netmask 255.255.0.0 broadcast 172.17.255.255
ether 02:42:41:ce:a9:49 txqueuelen 0 (Ethernet)
...
enp0s5: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.2.15 netmask 255.255.255.0 broadcast 192.168.2.255
...
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet 10.10.2.0 netmask 255.255.255.255 broadcast 0.0.0.0
inet6 fe80::647c:5aff:fe24:c42e prefixlen 64 scopeid 0x20<link>
ether 66:7c:5a:24:c4:2e txqueuelen 0 (Ethernet)
...
lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
...
veth9c0a9a53: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet6 fe80::fc7d:fdff:fe6f:a32e prefixlen 64 scopeid 0x20<link>
ether fe:7d:fd:6f:a3:2e txqueuelen 0 (Ethernet)
...
vethd6f08999: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet6 fe80::68b2:41ff:fee2:9074 prefixlen 64 scopeid 0x20<link>
ether 6a:b2:41:e2:90:74 txqueuelen 0 (Ethernet)
...
k8s 在主上创建一个cni0和flannel.1的虚拟网络设备，cni0是网桥类型的设备，flannel.1是vxlan类型的设备 (准确的说是vtep设备，在vxlan模式下，我们将这个封包解包的设备叫做vtep设备VXLAN Tunnel Endpoints)。
记下这里worker2节点上cni0的ip地址10.10.2.1 ，flannel.1的ip地址 10.10.2.0
parallels@worker2:~/Desktop$ ethtool -i flannel.1 driver: vxlan ... parallels@worker2:~/Desktop$ ethtool -i cni0 driver: bridge ...
先看下网桥的作用(vxlan设备作用稍后进行分析) 网桥拥有交换机的作用。
我们知道，在同一台主机上，不同pod的网络命名空间是不同的，在linux上有一种veth的虚拟网络设备，它是成对出现的，所以也被叫做veth pair，可以连接不同命名空间。
从veth一端发出去的包能够被另外一端接收到，通过veth pair能够连通两个命名空间。
但是如果一台主机上，有许多pod，要想让那么多pod都连通的话，就得两两建立veth pair设备，这样的排列组合数量随着pod的增加会变得相当大。
而网桥的出现能够让这个网络模型变成 veth pair的一端连通着pod的网络命名空间，一端是连接在网桥上，让网桥充当交换机的作用，同一台主机的不同pod的数据包都经过网桥去进行转发。
交换机是工作在网络的第二层，所以只会将数据包解析到数据帧的格式，只认mac地址，如果是广播帧，转发给所有接入网桥的设备，如果是单播帧，那么就会发往特定的端口。
但是网桥作为交换机与之不同的一点是，网桥具有将转发数据包到主机的三层网络协议栈的功能，如果发往网桥的数据包的mac地址就是网桥自身mac地址的话，那么网桥就会认为数据包是要发往数据的数据包，然后去对其进行转发。
查看集群pod 信息
再结合 pod 看看pod内部的网络数据包是如何输出到网桥上的。我在集群内部启动了一个3副本的busybox镜像的 pod。
来看看pod分布的工作节点以及其ip地址
(base) ➜ ~ kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES busybox-8647b8666c-74nmg 1/1 Running 0 3h19m 10.10.1.3 worker1 <none> <none> busybox-8647b8666c-bwgh9 1/1 Running 1 (4h29m ago) 12d 10.10.2.4 worker2 <none> <none> busybox-8647b8666c-qwzrh 1/1 Running 1 (4h29m ago) 4h57m 10.10.2.5 worker2 <none> <none>
我们的目的就是让worker2节点上ip为10.10.2.4 的pod能ping通 worker1节点上ip为10.10.1.3的pod
进入worker2节点上 ip为10.10.2.4 的pod内部看看路由信息。
/ # route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 10.10.2.1 0.0.0.0 UG 0 0 0 eth0 10.10.0.0 10.10.2.1 255.255.0.0 UG 0 0 0 eth0 10.10.2.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0
还记得刚刚说的worker2节点上的cni0网桥的ip是10.10.2.1 吗？
通过路由信息，可以看到10.10.2.1正是pod的网关，所以如果在pod内部 ping worker1上的pod ip 10.10.1.3 ，就会匹配上第二条路由信息。
那么worker2 的pod发出去的数据包就指定到达10.10.2.1这个ip上，所以mac地址就是10.10.2.1对应的mac地址，即cni0的mac地址。
正是由于这个原因，触发了cni0网桥的转发到主机上的三层网络协议栈的这个机制，而到达worker2主机后，通过ip要看具体转发到哪张网卡是看主机的路由信息的，所以，先看下worker2的路由信息。
parallels@worker2:~/Desktop$ route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.2.1 0.0.0.0 UG 100 0 0 enp0s5 10.10.0.0 10.10.0.0 255.255.255.0 UG 0 0 0 flannel.1 10.10.1.0 10.10.1.0 255.255.255.0 UG 0 0 0 flannel.1 10.10.2.0 0.0.0.0 255.255.255.0 U 0 0 0 cni0 172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 docker0 192.168.2.0 0.0.0.0 255.255.255.0 U 100 0 0 enp0s5 192.168.2.1 0.0.0.0 255.255.255.255 UH 100 0 0 enp0s5
我们数据包目的地是worker1上的pod ，ip是10.10.1.3 ，通过路由信息，看到属于10.10.1.0/24这个网段的数据包都会经过 flannel.1发出，网关是10.10.1.0 ，这个ip也就是对端vtep设备的ip地址。
数据包就这样从worker2的pod来到了worker2节点上的flannel.1 这个网卡上。
flannel.1会对数据包进行一些加工，加工时需要加上对端vtep的mac地址，由于flannel.1 通过路由信息已经知道对端vtep的ip地址，通过查询本地arp缓存表，得到目的vtep的mac地址。
parallels@worker2:~/Desktop$ ip neigh show dev flannel.1 10.10.1.0 lladdr 72:5a:79:44:22:7b PERMANENT 10.10.0.0 lladdr 62:03:91:cb:cc:36 PERMANENT
k8s是通过flanneld（在flannel插件工作模式下，每个节点上都有一个flanneld的后台进程，对节点上的一些网络信息进行配置）在worker2的arp缓存中写入了mac地址，且永不过期。
同时还会加上vxlan头部信息，在头部信息中表明了这是一个vxlan帧，这样worker1节点收到数据包时，知道这是一个vxlan帧后，会将这个包去进行解包操作，同时头部信息中也包含一个vni的信息，只有vni相同的网络设备才有解包的资格。
这样封装以后，还需要将这个包发往对端vtep所在的主机节点，怎么发送呢？
worker2的flannel.1用udp格式的数据包再包裹一下vxlan帧，封装成udp时，需要知道对端的ip地址。
这里封装成udp包的时候，是如何知道目的节点主机的ip的呢。 flannel.1 通过查询本机的一个叫做fdb的转发数据库获取目的节点主机的ip。
parallels@worker2:~/Desktop$ bridge fdb show flannel.1 | grep 72:5a:79:44:22:7b 72:5a:79:44:22:7b dev flannel.1 dst 192.168.2.16 self permanent
注意这些配置信息是在woker1节点启动后，就会在worker2节点自动加上的，而完成配置信息的动作是由各个主机上的flanneld进程完成的
知道了udp的目的ip后，就是一个正常数据包在宿主机上的封包，发送流程了。
这样，数据包就到达了worker1。
worker1节点的接收过程
worker1 的内核协议栈收到数据包以后，发现有vxlan header以及vni标记是1，就将这个vxlan包发给本机的vni标记也为1的flannel.1设备。
然后flannel.1进行解包，取出数据包的目的ip是10.10.1.3，然后查看worer1本机路由信息。
arallels@worker1:~/Desktop$ route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.2.1 0.0.0.0 UG 100 0 0 enp0s5 10.10.0.0 10.10.0.0 255.255.255.0 UG 0 0 0 flannel.1 10.10.1.0 0.0.0.0 255.255.255.0 U 0 0 0 cni0 10.10.2.0 10.10.2.0 255.255.255.0 UG 0 0 0 flannel.1 172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 docker0 192.168.2.0 0.0.0.0 255.255.255.0 U 100 0 0 enp0s5 192.168.2.1 0.0.0.0 255.255.255.255 UH 100 0 0 enp0s5 parallels@worker1:~/Desktop$
发现发往10.10.1.0/24这个网段的包要经过cni0网桥，所以flannel.1将解包后的数据包转发给了cni0网桥。
接下来就是cni0网桥在一个10.10.1.0/24 子网内发送目的ip为 10.10.1.3 的流程了。
cni0网桥先通过10.10.1.3查找本地mac地址，如果有则发往mac地址对应的端口，端口连通的另一端是veth设备也是worker1上的pod的网卡。
如果没有10.10.1.3的mac地址，则先通过arp协议，在一个局域网内获得arp响应包后，再发送数据包到对应端口连通的pod veth网卡上。
至此，worker1成功收到了worker2发送的数据包了。
再看flannel xvlan模式
本质上是通过flannel.1这个vxlan设备对主机发出去的数据包进行udp封装，然后发往经过物理网卡发往对端。
再进一步思考下，udp是可以丢包的，那么经过udp去封装数据包 的网络传输是可靠的吗？
答案是不需要可靠，整个flannel的转发模型，可以看出flannel完成的是网络模型的第三层次ip层的互通， 这里udp封装的ip包实际上是充当了第二层链路层的工作了，传输的可靠性是靠传输层实现的，传输层的靠是在对应pod所在命名空间中的tcp 的重传保证的。
以上就是k8s容器互联flannel vxlan通信原理的详细内容，更多关于k8s容器互联flannel vxlan的资料请关注脚本之家其它相关文章！