首页 > 网站技巧 > 服务器 > 云和虚拟化 > 云其它 > K8S EFK日志的统一管理

K8S 使用EFK日志的统一管理(详细步骤)

2025-01-26 09:48:52 作者：Dusk_橙子

在Kubernetes中,EFK是一种常见的日志统一管理方案,EFK堆栈允许你收集、存储、搜素、分析和可视化容器应用程序的日志,下面是如何在Kubernetes中使用EFK实现日志统一管理的详细步骤,感兴趣的朋友一起看看吧

在Kubernetes中，EFK是一种常见的日志统一管理方案。EFK堆栈允许你收集、存储、搜素、分析和可视化容器应用程序的日志。下面是如何在Kubernetes中使用EFK实现日志统一管理的详细步骤：

部署Elasticsearch

elasticsearch是一个分布式、RESTful风格的搜索和分析引擎，能够解决越来越多用例的查询语言，它通常用于日志和事件数据分析。
首先，你需要再kubernetes集群中部署elasticsearch。这可以通过使用官方的elasticsearch helm chart或自定义yaml配置文件来完成。确保你的elasticsearch集群有足够的资源，并且已经正确配置以满足你的日志存储或查询需求。

部署Fluentd

Fluentd是一个开源的数据收集器，用于统一日志管理。在Kubernetes中，Fluentd通常违DaemonSet运行，在每个节点上收集容器日志。
部署Fluentd涉及到创建一个DaemonSet资源对象，该对象会在每个节点上运行一个Fluentd实例。Fluentd的配置文件定义了日志的来源、过滤和处理方式，以及日志发送到Elasticsearch的方式。
配置方式如下：

apiVersion: apps/v1  
kind: DaemonSet  
metadata:  
  name: fluentd-elasticsearch  
namespace: kube-system  
labels:  
	k8s-app: fluentd-logging  
spec:  
  selector:  
    matchLabels:  
     name: fluentd-elasticsearch  
template:  
  metadata:  
    labels:  
      name: fluentd-elasticsearch  
  spec:  
    containers:  
    - name: fluentd-elasticsearch  
      image: fluent/fluentd-kubernetes-daemonset:v1.11-debian-elasticsearch-1.0  
      env:  
        - name:  FLUENTD_ELASTICSEARCH_HOST  
          value: "elasticsearch-master.kube-system.svc:9200"  
        - name:  FLUENTD_ELASTICSEARCH_SCHEME  
          value: "http"  
      volumeMounts:  
      - name: varlog  
        mountPath: /var/log  
      - name: varlibdockercontainers  
        mountPath: /var/lib/docker/containers  
        readOnly: true  
    terminationGracePeriodSeconds: 30  
    volumes:  
    - name: varlog  
      hostPath:  
        path: /var/log  
    - name: varlibdockercontainers  
      hostPath:  
        path: /var/lib/docker/containers

在上面的配置中，Fluentd容器被配置为从主机的/var/log和/var/lib/docker/containers路径收集日志，并将它们发送到Elasticsearch集群。

部署Kibana

kibana是一个web应用程序，用于搜索、查看和交互存储在elasticsearch索引中的日志数据。
部署kibana可以通过使用官方的Kibana Helm Chart或自定义YAML配置文件来完成。Kibana的配置通常非常简单。主要用于指定他要连接的elasticsearch实例。
Kibana的Deployment示例配置：

apiVersion: apps/v1  
kind: Deployment  
metadata:  
  name: kibana  
  namespace: kube-system  
spec:  
  replicas: 1  
  selector:  
    matchLabels:  
      app: kibana  
  template:  
    metadata:  
      labels:  
        app: kibana  
    spec:  
      containers:  
      - name: kibana  
        image: docker.elastic.co/kibana/kibana:7.10.0  
        ports:  
        - containerPort: 5601  
        env:  
        - name: ELASTICSEARCH_URL  
          value: http://elasticsearch-master.kube-system.svc:9200  
        - name: ELASTICSEARCH_HOSTS  
          value: http://elasticsearch-master.kube-system.svc:9200

在这个配置中，Kibana容器被配置为连接到名为elasticsearch-master的elasticsearch服务。

验证和使用

一旦所有组件都部署完成，你可以通过访问Kibana的web界面（通常是http://<Kibana-Pod-IP>:5601）来验证日志统一管理是否正常工作。在Kibana中，你可以创建索引模式、搜索日志、创建可视化图表等。

注意实现

确保elasticsearch、fluentd和kibana之间的网络连通性。
根据你的日志量和存储需求，合理配置elasticsearch集群的存储和性能。
监控elasticsearch和fluentd的性能和资源使用情况，确保它们不会成为集群的瓶颈。
定期备份elasticsearch数据以防止数据丢失。
考虑使用TLS/SSL加密Fluentd和Elasticsearch之间的通信以提高安全性。

到此这篇关于K8S 使用EFK日志的统一管理的文章就介绍到这了,更多相关K8S EFK日志的统一管理内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！