云其它

关注公众号 jb51net

关闭
首页 > 网站技巧 > 服务器 > 云和虚拟化 > 云其它 > k8s集群调度(kube-scheduler)

k8s集群调度详解(kube-scheduler)

作者：yucfkyu

Kubernetes调度器负责将Pod分配至Node节点,采用预选（资源匹配）和优选（资源利用率、镜像缓存）策略,支持指定节点、标签及亲和性（软/硬策略）调度,确保资源高效利用与灵活分配

了解kube-scheduler

k8s中List-watch

k8s集群当中，通过list-watch的机制进行每个组的写作，保持数据同步。这种设计可以实现每个组件之间的解耦（解耦：减少每个组件之间的关联性）。

kubectl来配置文件，向APIServer发送命令----apiserver把命令发送到各个组件。

kubectl run nginx --image=nginx:1.22-------apiserver------controller manager------scheduler-------kubelet.。

创建成功之后，kubectl get pod kubectl describe pod nginx-------保存到etcd当中

以上过程是list-watch会在每一步把监听的消息（APIserver:6443）-------controller manager，scheduler，kubelet，etcd都会监听apiserver:6443

工作流程图

注意：

调度的过程和策略

scheduler是k8s集群的调取器，把pod分配到集群的节点。

以下几个问题需要考虑：

1.公平：每个节点都能够分配资源。

2.资源高效利用：集群当中的资源可以被最大化利用

3.效率：调度的性能要搞好。能够尽快的完成大批量的pod的调度工作。

4.灵活：允许用户根据自己的需求，控制和改变调度的逻辑。

预算策略

predicate自带一些算法来选择node节点（scheduler自带的算法策略。不需人工干预）

只有上述策略完成，才回到优先策略。如果预算策略都不满足，pod将始终处于pending状态，不断地重试调度，直到有节点满足条件为止。

如果node1,node2,node3经过预算策略，上述三个节点都满足条件----》优先策略

优先策略

leastreaquestedpriority

最低请求优先级，通过算法计算节点上的cpu和内存使用率，确定节点的权重。

使用率越低的节点相应的权重就越高。调度时会更倾向于使用率低的节点。实现资源合理的利用。

balancersourceallocation

平衡资源分配，考虑cpu和内存的使用率，给节点赋予权重。权重算的是cpu和内存使用率接近。使用率越接近，权重越高。

和上面的leastreaquestedpriority最低请求优先级一起使用。

举个例子，有node1，node2两个节点，资源分别是：

imagelocalitypriority

节点上是否已经有了要部署的镜像。镜像的总数成正比，满足的镜像数越多，权重越高。

以上这些策略scheduler自带的算法。

通过预算选择出可以部署的节点，再通过优先选择出来最好的节点，以上都是自带的算法。k8s集群自己来选择。

总的来说：

如何指定节点部署

指定节点配置需要在spec模块中参数设置：

nodeName:node02

首先，我们为了防止缩进错误，用生成的yaml文件修改：

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
    template:
      metadata:
        labels:
          app: nginx
      spec:
        containers:
        - image: nginx:1.22
          name: nginx
        nodeName: node02

如果指定了节点，在参数中设置了nodeName，指定了节点的名称，会跳过scheduler调度策略。这个规则是强制匹配

如何指定标签部署

我们可以通过以下命令查看node的标签

kubectl get nodes --show-labels

我们可以在命令行给node添加标签

kubectl label nodes node02 test3=c

已经部署的服务器的标签

已经部署的服务器的标签

节点资源不够会进入pending

指定节点标签部署pod，是要经过scheduler的算法，如果节点不满足条件，pod会进入penging状态，直到节点条件满足为止。

k8s集群的亲和性

软策略和硬策略

node节点亲和性：

preferredDuringSchedulingIgnoredDuringExecution软策略：

requiredDuringSchedulingIgnoredDuringExecution硬策略：

pod的亲和性

preferredDuringSchedulingIgnoredDuringExecution软策略

要求调度器将pod调度到其他pod的亲和性匹配的节点上。可以是，也可以不是，尽量满足

requiredDuringSchedulingIgnoredDuringExecution硬策略

键值的运算关系

标签：都是根据标签开选择亲和性。

In：在

选择的标签值在node节点上存在。

Notin：不在

选择label的值不在node节点上

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: nginx
  name: nginx2
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      nodeSelector:
        test01: a
      containers:
      - image: nginx:1.22
        name: nginx
      affinity:
#选择亲和性部署方式
        nodeAffintity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
选择了亲和性nodeSelectorsTerms你要选择哪个nodez作为node为硬策略，匹配的节点标签
            - matchExpressions:
定义一个符合我要选择的node节点的信息
              - key: test3
                operator: In(NotIn)
指定键值对的算法
                values:
                - c
                
wq

删除标签

kubectl label nodes node01 test2-

              - key: memory
                operator: Gt
                values:
                - "612"
wq                
kubectl label nodes node02 memory=1000

只能比较整数值

亲和性策略根据标签来选择。

              - key: memory
                operator: Exists
                values:
                - "612"
wq
kubectl apply -f test1.yaml
会报错，因为不能有值

所以：
              - key: memory
                operator: Exists
指定键值对的算法为Exists  or  DoesNotExists不能使用values字段。

软策略

     affinity:
#选择亲和性部署方式
        nodeAffintity:
          preferredDuringSchedulingIgnoredDuringExecution:
         -weight: 1
选择软策略之后要加上权重
         preference:
选择节点的倾向，尽量满足要求而不是一定。        
选择了亲和性nodeSelectorsTerms你要选择哪个nodez作为node为硬策略，匹配的节点标签
            - matchExpressions:
定义一个符合我要选择的node节点的信息
              - key: memory
                operator: DoesNotExist

                
wq

多个软策略通过什么匹配？

      affinity:
#选择亲和性部署方式
        nodeAffintity:
          preferredDuringSchedulingIgnoredDuringExecution:
         - weight: 1
 
选择软策略之后要加上权重
         preference:
选择节点的倾向，尽量满足要求而不是一定。        
选择了亲和性nodeSelectorsTerms你要选择哪个nodez作为node为硬策略，匹配的节点标签
            - matchExpressions:
定义一个符合我要选择的node节点的信息
              - key: memory
                operator: DoesNotExist
                preferredDuringSchedulingIgnoredDuringExecution:
         - weight: 10
           preference:
             matchExpressions:
             - key: memory
               operator: In
               values:
               - "500"
               
多个软策略以权重高的为标的

软硬策略结合的话结果是什么？

      affinity:
        nodeAffintity:
          preferredDuringSchedulingIgnoredDuringExecution:
         - weight: 1
 
         preference:
            - matchExpressions:
              - key: memory
                operator: Exists
               values:
               - "1000"
                requiredDuringSchedulingIgnoredDuringExecution:
           nodeSelectorTerms:
           - matchExpressions:
             - key: memory
               operator: In
               values:
               - "500"
               
               wq
               
kubectl apply -f test1.yaml

多个软策略看权重，权重高，执行指定的软策略。

硬策略：先满足硬策略，硬策略一个都不满足才会执行软策略。

你在部署的时候选择一个什么样的策略

node亲和性：性能不一致，我尽量把pod往性能高的多部署，软策略

节点故障或者节点维护，只能选择硬策略，把节点故障剔除。

举例子：

4/8G 4/8G 2/4G

node1 node2 node3

性能不一致的时候最好使用软策略

如果其中一个node 挂了，可以使用硬策略来指定部署。

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:
阅读全文