不同k8s集群间服务如何相互访问实现详解
作者：烂笔头
1 | 春天来了一个需求
1.1 | 现状
- 不同工程团队有各自的 k8s 开发集群, 负责的服务部署在各自的集群上
- 但是这些服务之间存在调用关系（单项或者双向的）
- 不同 k8s 集群之间内网是联通的
- 其中一个集群要作为流量入口，面向用户
1.2 | 需求
- 实现服务跨集群访问
- 服务之间只能通过内网调用
- 统一的外部流量接入控制
2 | 方案有挺多的
跨集群访问，应该是一个比较普遍的需求，市面上有很多各种各样的方案。比如：
- 跨集群的注册发现服务 比如使用 nacos 作为跨集群的注册发现中间件，所有在不同集群里的服务都注册到 nacos 上，由 nacos 来进行服务的注册发现以及负载均衡。
- 配置集群内网SLB 每一个集群各自配置一个自己的内网 SLB 地址，通过 ingress 的 path 配置不同的路由转发。
- 使用ExternalName Service 在 请求发起方集群 配置 跨集群服务 在 本集群的 service，type 为 ExternalName 的headless service。
| 方案 | 优点 | 缺点 |
|---|---|---|
| 跨集群的注册发现服务 | 无需额外运维要求 | 要求所有服务使用同一套注册发现服务，限制比较强，且注册发现服务不一定满足不同技术栈的团队，比如 nacos 就没有官方支持的 go sdk |
| 配置集群内网SLB | 对调用方友好，无需在调用方做额外运维配置，只需要正常业务代码内调用即可 | 对集群运维要求较高，需要有一定的运维知识，且如果没有现成的 SLB 组件，还需要自建，成本较高 |
| 使用ExternalName Service | 适用范围最广，使用最灵活，可以在任何阶段进行配置改造，对跨集群服务支持的调用方式兼容性好（支持 ClusterIP， NodePort 以及域名调用） | 对本方集群运维能力要求高 |
以上三种方案，都可以实现跨集群的服务调用。然而，方案三却是目前最符合现状且能推进下去的。所以，下面就方案三展开来说。
3 | 展开来讲讲
方案三用到了 k8s 的 ExternalName Service（这里不展开讲这是什么，感兴趣可以点击查看）。主要讲怎么用。下面分几个场景来讲解：
3.1 | 场景 1
假设：k8s2 集群有个服务 s2, 对外以 Ingress 方式提供服务，访问地址是： abc.com 调用方集群创建一个 service ：
apiVersion: v1
kind: Service
metadata:
name: k8s2-s2
namespace: prod
spec:
type: ExternalName
externalName: abc.com
ports:
- name: http
port: 80
protocol: TCP
targetPort: 80
那么, 在调用方集群内的服务，就可以通过本集群的服务名（k8s2-s2.prod.svc.cluster.local）去访问跨集群的服务。
3.2 | 场景 2
假设：k8s3 集群有个服务 s3, 对外以 NodePort 方式提供服务，访问地址是：192.168.0.199:30099 按照场景 1 的配置生成一个 service，可以用么？
apiVersion: v1
kind: Service
metadata:
name: k8s3-s3
namespace: prod
spec:
type: ExternalName
externalName: 192.168.0.199
ports:
- name: http
port: 80
protocol: TCP
targetPort: 30099
可以用，但是有问题。在 nginx 的日志里会疯狂打印一个错误：找不到 192.168.0.199 这个域名对应的 ip。原因是，在集群看来， externalName 字段是一个域名，是需要做 dns 解析成 ip 的。如果我们直接填一个 ip 的字段，虽然能用，但是会疯狂输出日志，冲掉正常 nginx 请求的日志。
那既然这样，改成域名调用呗。那么问题来了，对方给我一个 ip，我上哪去变一个域名呢？修改 hosts，准确的说，修改 k8s coredns 服务的 hosts：
# kubectl -n kube-system edit cm coredns
apiVersion: v1
data:
Corefile: |
.:53 {
...
hosts {
192.168.0.199 s3.k8s3
fallthrough
}
...
}
kind: ConfigMap
metadata:
name: coredns
namespace: kube-system
然后修改 service
apiVersion: v1
kind: Service
metadata:
name: k8s3-s3
namespace: prod
spec:
type: ExternalName
externalName: s3.k8s3
ports:
- name: http
port: 80
protocol: TCP
targetPort: 30099
此时，在调用方集群内的服务，就可以通过本集群的服务名（k8s3-s3.prod.svc.cluster.local）去访问跨集群的服务。
4 | 说点非技术的
- 技术上的最优解，不一定是方案上的最优解，要考虑人的因素
- 一个和尚挑水吃，两个和尚抬水吃，三个和尚没水吃
- 如果改变不了周围，就勇敢改变自己
以上就是不同k8s集群间服务如何相互访问实现详解的详细内容，更多关于k8s 集群间服务相互访问的资料请关注脚本之家其它相关文章！