Kubernetes在Debian上的日志收集与分析

整体架构与方案选型

• 在 Debian 节点上，Kubernetes 的日志通常分为三类：应用日志、集群组件日志（如 kubelet、apiserver）、审计日志。采集方式以节点级 DaemonSet 为主，也可按应用选择 Sidecar 或宿主机直采。常见方案包括：
  • EFK（Elasticsearch + Fluentd + Kibana）：适合需要强大检索与可视化的场景。
  • Loki + Grafana：更轻量，适合云原生与成本敏感场景。
  • Filebeat/Logstash + ES + Kibana：Beats 更轻量，Logstash 负责复杂处理。

快速落地 EFK 堆栈

• 组件与版本建议
  • Elasticsearch 7.x、Fluentd、Kibana 7.x（示例采用 7.12.1，便于与示例镜像一致）。
• 部署步骤
  1. 创建命名空间
     • kubectl create ns logging
  2. 部署 Elasticsearch
     • 示例 Service（elasticsearch/logging/svc.yaml）

       apiVersion: v1kind: Servicemetadata:name: elasticsearchnamespace: loggingspec:ports:- port: 9200clusterIP: Noneselector:app: elasticsearch

     • 示例 Deployment（elasticsearch/logging/deployment.yaml）

       apiVersion: apps/v1kind: Deploymentmetadata:name: elasticsearchnamespace: loggingspec:replicas: 1selector:matchLabels:app: elasticsearchtemplate:metadata:labels:app: elasticsearchspec:containers:- name: elasticsearchimage: docker.elastic.co/elasticsearch/elasticsearch:7.12.1ports:- containerPort: 9200- containerPort: 9300

     • 应用：kubectl apply -f elasticsearch/logging/svc.yaml -f elasticsearch/logging/deployment.yaml
  3. 部署 Fluentd DaemonSet（节点日志采集）
     • 示例（fluentd-ds.yaml）

       apiVersion: apps/v1kind: DaemonSetmetadata:name: fluentdnamespace: kube-systemspec:selector:matchLabels:app: fluentdtemplate:metadata:labels:app: fluentdspec:serviceAccountName: fluentdcontainers:- name: fluentdimage: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearchenv:- name: FLUENT_ELASTICSEARCH_HOSTvalue: "elasticsearch.logging.svc.cluster.local"- name: FLUENT_ELASTICSEARCH_PORTvalue: "9200"

     • 应用：kubectl apply -f fluentd-ds.yaml
  4. 部署 Kibana
     • 示例 Service（kibana/logging/svc.yaml，NodePort 便于访问）

       apiVersion: v1kind: Servicemetadata:name: kibananamespace: loggingspec:type: NodePortports:- port: 5601targetPort: 5601nodePort: 31000selector:app: kibana

     • 示例 Deployment（kibana/logging/deployment.yaml）

       apiVersion: apps/v1kind: Deploymentmetadata:name: kibananamespace: loggingspec:replicas: 1selector:matchLabels:app: kibanatemplate:metadata:labels:app: kibanaspec:containers:- name: kibanaimage: docker.elastic.co/kibana/kibana:7.12.1ports:- containerPort: 5601env:- name: ELASTICSEARCH_HOSTSvalue: "http://elasticsearch.logging.svc.cluster.local:9200"

     • 应用：kubectl apply -f kibana/logging/svc.yaml -f kibana/logging/deployment.yaml
  5. 访问与验证
     • 查看 Kibana：http://<任意节点IP>:31000
     • 在 Kibana 的 Discover 中创建索引模式（如 logstash-* 或 fluentd-*），开始检索日志。

替代方案 Loki + Grafana

• 适用场景：希望更轻量、与 Kubernetes 标签/命名空间天然集成、成本更可控。
• 核心思路：以 Promtail（DaemonSet）采集节点与容器日志，发送至 Loki；用 Grafana 进行查询与可视化。
• 基本步骤
  • 部署 Loki（StatefulSet/Deployment + Service）
  • 部署 Promtail（DaemonSet，挂载 /var/log、/var/lib/docker/containers 等日志目录）
  • 部署 Grafana，添加 Loki 数据源，使用 LogQL 查询
• 优点：资源占用更低、部署与维护更简单，适合中小规模或云原生环境。

日志轮换与节点侧维护

• 容器运行时日志轮换
  • 若使用 Docker，确保 /etc/docker/daemon.json 启用日志驱动与轮换，例如：

    {"log-driver": "json-file","log-opts": {"max-size": "100m","max-file": "3"}}

  • 修改后重启 Docker：systemctl restart docker
• 系统日志轮换
  • 使用 logrotate 管理 /var/log 下文件（如 messages、syslog、kubelet.log 等），控制单文件大小与保留份数，避免磁盘被占满。
• 节点磁盘与资源监控
  • 监控 /var/log、/var/lib/docker 分区使用率，设置告警；为日志组件（ES、Fluentd）配置资源 requests/limits 与持久化。

安全与运维最佳实践

• 访问控制与加密
  • 为 Elasticsearch、Kibana、Fluentd 配置基于 RBAC 的最小权限；对外暴露服务时启用 TLS；敏感字段在传输与存储中加密。
• 日志级别与噪声控制
  • 生产环境将应用与组件日志级别设为 WARN/ERROR 为主，必要时动态调高；在采集端做 去重/降噪 与 采样。
• 持久化与容量规划
  • 为 Elasticsearch 配置 PV/PVC 与合理副本数；定期评估索引生命周期（ILM）与冷热分层策略。
• 审计与合规
  • 启用 Kubernetes 审计日志，将其单独采集与保留，避免与业务日志混流。
• 可视化与告警
  • 使用 Kibana 或 Grafana 建立关键指标与错误日志的 Dashboard，结合 告警规则 实现主动发现。