Kubernetes + Nginx ingress enviando logs para o Graylog com fluent-bit

Aloisio Bilck — Tue, 25 Oct 2022 19:20:16 +0000

Neste tutorial será mostrado como centralizar os logs do Kubernetes + Nginx-ingress com Fluent-bit.

Existem outras maneiras talvez mais elegantes, mas optamos em enviar os logs (stdout/stderr) dos pods para o Graylog utilizando o fluent-bit. O fluent-bit será instalado por helm chart.

Documentação oficial

Graylog
Fluent-bit helm chart
Kubernetes

Versões utilizadas

Graylog >= 4.x
fluent-bit >= 0.20.8

Configuração do Fluent-bit

Não irei abordar a instalação do fluent-bit utilizando helm chart. Você pode seguir a documentação oficial para instalação. Irei deixar o custom-values.yaml que utilizei para instalação. Talvez para seu ambiente você precise customizar mais alguns parâmetros.
Estou enviando os logs de todos os namespaces do cluster para o Graylog, você pode customizar isso utilizando o parâmetro Exclude_Path.

# kind -- DaemonSet or Deployment
kind: DaemonSet

serviceMonitor:
  enabled: true

## https://docs.fluentbit.io/manual/administration/configuring-fluent-bit/configuration-file
config:
  service: |
    [SERVICE]
        Flush 5
        Daemon Off
        Log_Level info
        Parsers_File parsers.conf
        Parsers_File custom_parsers.conf
        HTTP_Server On
        HTTP_Listen 0.0.0.0
        HTTP_Port 2020
        Health_Check On

  ## https://docs.fluentbit.io/manual/pipeline/inputs
  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        # Aqui estou excluindo o envio dos logs do namespace `logging`.
        Exclude_Path /var/log/containers/*logging*.log
        Parser docker
        Tag kube.*
        DB /var/log/flb_kube.db
        Mem_Buf_Limit 50MB
        Refresh_Interval 10
        Docker_Mode On
        Skip_Long_Lines On
        Buffer_Chunk_Size 64k
        Buffer_Max_Size 64k

  ## https://docs.fluentbit.io/manual/pipeline/filters
  filters: |
    [FILTER]
        Name parser
        Match kube.*
        Key_Name log
        Parser glog_format
        Parser catchall
        Reserve_Data On
        Preserve_Key Off

    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log_Key log_processed
        Merge_Log On
        Keep_Log Off
        K8S-Logging.Parser On
        K8S-Logging.Exclude On
        Labels On
        Annotations On
        Buffer_Size 128k

    [FILTER]
        Name nest
        Match *
        Operation lift
        Nested_under log_processed

    [FILTER]
        Name record_modifier
        Match *
        # <tag_cluster> para o graylog identificar qual cluster está enviado os eventos
        Record kubernetes_environment <tag_cluster>

  ## https://docs.fluentbit.io/manual/pipeline/outputs
  outputs: |
    [OUTPUT]
        Name gelf
        Match kube.*
        Host <GRAYLOG_URL>
        Port <GRAYLOG_PORT>
        Mode udp
        Gelf_Short_Message_Key message

    # [OUTPUT]
    #     Name  stdout
    #     Match *
  ## https://docs.fluentbit.io/manual/pipeline/parsers
  customParsers: |
    [PARSER]
        Name glog_format
        Format regex
        Regex ^(?<severity>[IWECF])(?<timestamp>\d{4} \d{2}:\d{2}:\d{2}\.\d{6}) +(?<thread_id>\d+) (?<src_file>[^:]+):(?<src_line>\d+)\] (?<message>(?:.|\n)*)
        Time_Key timestamp
        Time_Format %m%d %H:%M:%S.%L
        Time_Keep Off
        Types thread_id:integer src_line:integer

    [PARSER]
        Name   json_timestamp
        Format json
        Time_Key timestamp
        Time_Keep Off
        Time_Format %Y-%m-%dT%H:%M:%S.%s%z

    [PARSER]
        Name catchall
        Format regex
        Regex ^(?<message>.*)$

logLevel: info

Nginx Ingress Controller

Na instalação do nginx-ingress por helm chart, utilizei esses parâmetros no custom-values.yaml

...
controller:
  # Will add custom configuration options to Nginx https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/
  config:
    log-format-escape-json: "true"
    log-format-upstream: '{"time": "$time_iso8601", "remote_addr": "$proxy_protocol_addr", "x_forward_for": "$proxy_add_x_forwarded_for", "request_id": "$req_id", "remote_user": "$remote_user", "bytes_sent": $bytes_sent, "request_time": $request_time, "status": $status, "vhost": "$host", "request_proto": "$server_protocol", "path": "$uri", "request_query": "$args", "request_length": $request_length, "duration": $request_time,"method": "$request_method", "http_referrer": "$http_referer", "http_user_agent": "$http_user_agent" }'
...

CENTRALIZAÇÃO DE LOGS DO KUBERNETES COM GRAYLOG + FLUENTD

Aloisio Bilck — Sat, 23 May 2020 19:07:58 +0000

Neste tutorial será mostrado como centralizar os logs do Kubernetes com Graylog + Fluentd.

Existem outras maneiras talvez mais elegantes, mas optamos em enviar os logs (stdout/stderr) dos pods para o Graylog utilizando o fluentd-kubernetes-daemonset.
O fluentd(daemonset) irá utilizar as configurações passadas pelo configmap.

Repositório com os arquivos no github

Documentação oficial

Versões utilizadas

Graylog >= 3.1
fluentd >= 1.10

Use sua configuração

Disponibilizamos dois manifestos de configmap.

fluent-configmap.yaml: Responsável pelo arquivo de configuração do fluent.conf
fluent-kubernetes-configmap.yaml: Responsável pelo arquivo de configuração do kubernetes.conf

Exemplo de como criar um configmap usando como base um arquivo.

kubectl create configmap fluent-kubernetes-configmap --from-file=kubernetes.conf --namespace=kube-system

kubectl create configmap fluent-configmap --from-file=fluent.conf --namespace=kube-system

Uso

Execute os manifestos do configmap.

kubectl create -f fluent-kubernetes-configmap.yaml -f fluent-configmap.yaml

Execute o manifesto do rbac.

kubectl create -f rbac.yaml

Execute o manifesto do daemonset

kubectl create -f fluent-daemonset.yaml

Graylog

Configure um input gelf. (Protocolo (TCP/UDP) e porta de sua escolha)
No Input gelf criado anteriormente, vá em Manager Extractors
Adicione um extractor
Load a mensagem e crie um json.
Caso não queira realizar os passos anteriores (1-4) manualmente, disponibilizamos um content-pack na pasta ./files/ para criação do input+extractors. Repositório no github. Necessário apenas importar o content pack e instalar!
Exemplo de mensagem

DEV Community: Aloisio Bilck

Kubernetes + Nginx ingress enviando logs para o Graylog com fluent-bit

Documentação oficial

Versões utilizadas

Configuração do Fluent-bit

Nginx Ingress Controller

CENTRALIZAÇÃO DE LOGS DO KUBERNETES COM GRAYLOG + FLUENTD

Documentação oficial

Versões utilizadas

Use sua configuração

Uso

Graylog