DEV Community: Anni Caroline Carneiro

Futuro da Observabilidade

Anni Caroline Carneiro — Tue, 15 Oct 2024 14:36:44 +0000

Autoras: Anni Carneiro, Beatriz Simonato Ali, Ana Claudia de Assis Souza

Aqui iremos falar de alguns assuntos que podemos esperar no futuro em questão da observabilidade, as possíveis e certas atualizações que podem ser adotadas pelas organizações, empresas e usuários.

Intensa Adoção de IA e ML

O uso de técnicas de Inteligência Artificial e Machine Learning tem se tornado cada vez maior nas ferramentas e plataformas de observabilidade. Estas técnicas ajudam a fazer análises preditivas e acelerar a detecção proativa de anomalias, compreendendo a situação, e até propondo e executando soluções para as mesmas.

O uso de Machine Learning poderá ser feito ao precisar interpretar grandes volumes de dados, conseguirá fazer a recolha de dados de várias fontes e com estes realizar análises avançadas e preditivas.
A automação aumentada irá ajudar os sistemas a não só detectar problemas como aplicar as correções automaticamente.

Os principais softwares de observabilidade já estão integrando várias ferramentas de IA e ML, seguindo as tendências de mercado onde a IA está cada vez mais presente.

Observabilidade como Código

A Infraestrutura como Código (IaC) é uma prática de tratar configurações de observabilidade da mesma forma que o código de aplicação, permitindo versionamento e automação, se tornou cada vez mais proeminente. Ela remove a necessidade de configurar manualmente componentes de infraestrutura individuais e simplifica o processo de interação com eles.

Usar essas ferramentas com IaC garante que as implantações sejam confiáveis, seguras e de alto desempenho. Fornece vários benefícios, incluindo a simplificação do processo de solução de problemas de infraestrutura e a maximização da eficácia.

A maioria das empresas estão utilizando por vários motivos, incluindo detecção e resolução de problemas, gerenciamento abrangente de mudanças, otimização de desempenho e planejamento de capacidade.
Implementando a observabilidade com a integração da IaC pode alcançar resultados e benefícios significantes, que podem incluir:

Uma visão holística do sistema para monitorar métricas de aplicativos e infraestrutura
Compreensão de ponta a ponta do desempenho e condição do sistema
Detecção e resolução rápida de problemas para impacto reduzido no cliente
Tomada de decisão baseada em dados sobre otimização de recursos de infraestrutura

Terraform, AWS CloudFormation, Azure Resource Manager (ARM) e Ansible são algumas das ferramentas de IaC mais populares.

Runbooks Dinâmicos

Runbook é simplesmente um manual para lidar com algum problema que está ocorrendo no ambiente de produção. Eles podem ajudar a melhorar a observabilidade fornecendo uma maneira consistente de responder e resolver problemas.

São um conjunto de comandos e passos para serem executados. São ferramentas poderosas para problemas recorrentes que ajudam desde um recém colaborador contratado que entrou no time ou alguém que apenas esqueceu como lidar com algum problema.

Porém estes runbooks podem apresentar possíveis problemas com o tempo:
Podem não ser atualizados frequentemente quando links ou outros materiais de "troubleshootings” se atualizam.

Eles podem não ser escritos por profissionais ou de difícil entendimento, com muitos blocos de texto ou sem passos ordenados para criar um processo de trabalho limpo.

Eles podem também ter muitas opções de remediação, e para os engenheiros iniciantes, essas escolhas podem ser esmagadoras e levar a um longo tempo de resolução.

Estes conjuntos de comandos ou passos a serem executados, alguns deles prontamente podem ser automatizados com ajuda de dashboards, evitando todos esses problemas citados acima. Você pode aumentar a eficiência do engenheiro de plantão e diminuir o nível de stress de todos do time. Seguem aqui algumas vantagens

Padronização
Runbooks dinâmicos fornecem uma maneira padrão de diagnosticar e responder a incidentes, o que ajuda as equipes de TI a resolver incidentes mais rapidamente.

Especialização no assunto
Runbooks dinâmicos podem encapsular a experiência de especialistas no assunto, tornando-a facilmente acessível a toda a equipe de operações.

Eficiência
Runbooks dinâmicos podem ajudar as equipes de DevOps e ITOps a trabalhar em incidentes de forma mais eficiente, permitindo que cumpram seus SLAs para resposta a incidentes.

Fluxo de trabalho
A automação do runbook pode ajudar a estabelecer um fluxo de trabalho e conectar todos os pontos do ambiente de produção.
Runbooks dinâmicos são normalmente compostos de um conjunto de instruções ordenadas que incluem: analisar dados de métricas, correlacionar dados entre alvos e executar SQL no repositório do Enterprise Manager ou bancos de dados de destino.

Runbooks podem ser criados para uma variedade de tarefas, como aplicar patches em um servidor ou renovar o certificado SSL de um site.

Splunk e Oracle Enterprise Manager já possuem dashboards que oferecem runbooks interativos e dinâmicos na nuvem.

Conclusão

À medida que a complexidade dos sistemas de software continua a crescer, a observabilidade emerge como um componente crítico para garantir a saúde e a eficiência das aplicações modernas. As tendências identificadas, como a integração de técnicas de inteligência artificial e aprendizado de máquina, a transição para uma abordagem de "observabilidade como código", apontam para um futuro onde a observabilidade não será apenas uma função de monitoramento, mas uma prática proativa e estratégica.

A automação e a resposta em tempo real se tornarão fundamentais, permitindo que as organizações não apenas identifiquem problemas rapidamente, mas também os resolvam antes que impactem os usuários finais.

Em resumo, o futuro da observabilidade é promissor e repleto de oportunidades. À medida que as tecnologias evoluem e as demandas dos usuários se tornam mais exigentes, a capacidade de antecipar problemas e adaptar-se rapidamente será uma vantagem competitiva essencial. Organizações que adotarem essas tendências estarão melhor posicionadas para enfrentar os desafios do amanhã, garantindo não apenas a operação eficiente de suas aplicações, mas também a satisfação e a lealdade dos usuários.

Introdução a Observabilidade

Anni Caroline Carneiro — Tue, 15 Oct 2024 13:36:23 +0000

Autoras: Anni Carneiro, Beatriz Simonato Ali, Ana Claudia de Assis Souza

Em um mundo cada vez mais dependente de software, garantir a performance e a confiabilidade dos sistemas se torna crucial. Mas como podemos entender o que está acontecendo dentro de um sistema complexo, especialmente quando algo dá errado? É aqui que entra a observabilidade.

Tradicionalmente, o monitoramento de sistemas se baseava em métricas pré-definidas, como uso de CPU e memória. Essa abordagem, porém, se mostra limitada diante da complexidade crescente dos sistemas modernos, que envolvem microsserviços distribuídos, bancos de dados complexos e infraestruturas em constante mudança.

A observabilidade, por outro lado, vai além do monitoramento tradicional. Ela permite que os desenvolvedores e operadores compreendam o comportamento interno de um sistema através da coleta e análise de dados em tempo real, provendo ótimos insights e até comportamento prévio do sistema, antecipando perguntas que não prevemos na etapa de desenvolvimento do sistema.
Exploraremos em detalhes o conceito de observabilidade, seus pilares (logs, métricas e traces), as ferramentas que a impulsionam e os benefícios que ela oferece para o desenvolvimento e a operação de sistemas modernos. Também mostraremos algumas de suas tendências de futuro, incluindo por exemplo Inteligência Artificial, Machine Learning e a evolução das práticas de DevOps e SRE.

Logs

Logs são registros de eventos que ocorrem dentro do sistema, fornecendo informações detalhadas sobre as atividades realizadas e os erros encontrados.

Exemplos de Logs:
Mensagens de erro: Detalhes sobre erros que ocorreram durante a execução do sistema, como falhas de conexão ou erros de código.
Eventos de acesso: Registros de usuários que acessam o sistema, com informações como data, hora e endereço IP.
Transações de banco de dados: Registros de alterações realizadas no banco de dados, como inserções, atualizações e deleções.

Benefícios dos Logs:
Diagnóstico de problemas: Os logs fornecem informações detalhadas que ajudam a identificar a causa de erros e problemas.
Investigação de incidentes: Os logs permitem reconstruir o histórico de eventos que levaram a um determinado incidente.
Auditoria de segurança: Os logs podem ser utilizados para monitorar as atividades de usuários e identificar potenciais ameaças à segurança.

Métricas

Métricas são como o pulso do seu sistema, fornecendo informações quantitativas sobre seu estado e performance. Elas oferecem uma visão geral da saúde do sistema, permitindo identificar tendências e anomalias.

Exemplos de Métricas:
Uso de CPU: Representa a quantidade de tempo que a CPU está sendo utilizada para processar tarefas.
Uso de Memória: Indica a quantidade de memória RAM que o sistema está utilizando.
Tempo de resposta: Medida do tempo que um sistema leva para responder a uma solicitação.

Taxa de erros: Quantidade de erros ocorridos em um determinado período.
Taxa de sucesso: Quantidade de operações bem-sucedidas em um determinado período.

Benefícios das Métricas:

Identificação de gargalos de performance: Analisando as métricas, você pode identificar quais componentes do sistema estão sobrecarregados e precisam de otimização.
Detecção de anomalias: Desvios significativos nas métricas podem indicar problemas como erros, falhas ou picos de carga.
Monitoramento da saúde do sistema: As métricas permitem acompanhar a performance do sistema ao longo do tempo, detectando tendências e tomando medidas preventivas.

Traces

Traces, também conhecidos como rastreamento de requisições, permitem acompanhar o fluxo de uma requisição através de todos os serviços e componentes do sistema. Cada etapa do caminho é registrada, fornecendo uma visão detalhada do tempo de execução e do comportamento de cada componente.

Benefícios dos Traces:
Identificação de pontos de estrangulamento: Ao analisar os traces, você pode identificar os componentes do sistema que estão causando lentidão na execução das requisições.
Detecção de erros distribuídos: Os traces permitem identificar erros que ocorrem em diferentes serviços do sistema e como eles se propagam.
Análise da performance de requisições: Os traces fornecem informações sobre o tempo que cada etapa de uma requisição leva para ser concluída.

Troubleshooting

A combinação de métricas, logs e traces é fundamental para um troubleshooting eficaz. Aqui está como você pode usá-los para resolver problemas:

Métricas: Utilize as métricas para identificar se o problema está relacionado a um aumento no uso de recursos, como CPU ou memória.
Logs: Analise os logs para identificar mensagens de erro específicas que podem indicar a causa do problema.
Traces: Utilize os traces para acompanhar o fluxo da requisição afetada pelo problema e identificar os pontos de estrangulamento ou erros específicos.

Ferramentas e Plataformas

Coleta e Armazenamento
Prometheus: Uma ferramenta de monitoramento de métricas em tempo real, com foco em escalabilidade e flexibilidade.

Fluentd: Uma ferramenta de coleta de logs, capaz de coletar dados de diversas fontes e formatá-los para diferentes destinos.
Logstash: Uma plataforma completa para coleta, processamento e armazenamento de logs.

Jaeger: Uma plataforma de rastreamento distribuído, ideal para coletar e analisar traces em sistemas complexos.
OpenTelemetry: Uma iniciativa para padronizar a coleta de dados de observabilidade, permitindo a integração com diversas ferramentas.

Visualização e Análise:
Grafana: Uma plataforma de visualização de dados poderosa, que permite criar dashboards personalizados para monitorar as métricas coletadas.
Kibana: Uma ferramenta de visualização e análise de logs, integrada à
Elasticsearch: Um motor de busca de alto desempenho, usado para armazenar e pesquisar dados de logs. plataforma ELK (Elasticsearch, Logstash, Kibana).

Jaeger UI: Uma interface gráfica para visualizar traces, permitindo identificar gargalos de performance e erros distribuídos.
Outras Ferramentas Importantes:

Splunk: Uma plataforma de análise de dados, amplamente utilizada para monitoramento de segurança e gerenciamento de logs.

Plataformas Completas:
Datadog: Uma plataforma completa de observabilidade, que oferece ferramentas para coletar, armazenar, analisar e visualizar métricas, logs e traces.
New Relic: Outra plataforma completa, com recursos para monitoramento de performance, segurança e infraestrutura.

Existem muitas outras ferramentas disponíveis, cada uma com suas próprias vantagens e desvantagens. A escolha da ferramenta ideal dependerá das necessidades específicas do seu sistema.

Dicas para criação de dashboards de monitoramento no Kibana

Anni Caroline Carneiro — Mon, 14 Oct 2024 02:33:36 +0000

Autoras: Anni Carneiro, Beatriz Simonato Ali, Ana Claudia de Assis Souza

O Kibana é uma ferramenta de visualização de dados e análise que faz parte do Elastic Stack (ELK). Com o Kibana você consegue visualizar e filtrar dados dos sistemas, e com esses dados, criar gráficos, mapas e dashboards interativos.

Aqui vamos explorar mais como facilitar os logs do sistema e outras variáveis para que consigamos fazer gráficos de monitoramento e tirar maior proveito da ferramenta.

Níveis de Logs

Nivelar sempre os logs do sistema é importante para sabermos o que é erro, o que é grave ou apenas uma mensagem de informação. Para isso temos os seguintes níveis:

DEBUG - este tipo de log é útil para os desenvolvedores durante o processo de depuração, inclui dados do fluxo e variáveis internas, normalmente este log é não é enviado no Kibana, e utilizado mais em IDE de desenvolvimento para análises, pois em algumas aplicações apareceriam um número enorme de logs, gerando um certo "lixo", que dificulta visualizar ou filtrar os dados.
INFO - utilizado para mensagens normais da aplicação, incluem informações de eventos significativos, desde inicializações e operações concluídas
WARNING - mensagens que indicam que algo inesperado aconteceu mas que não impede o funcionamento da aplicação
ERROR - Mensagens que indicam que ocorreu um erro que impediu a execução de uma operação. Esses eventos geralmente requerem atenção imediata.
CRITICAL - Mensagens que indicam falhas graves que resultam na interrupção da execução do programa ou na necessidade de intervenção imediata. Geralmente, representam situações que não podem ser recuperadas.
TRACE - Mensagens extremamente detalhadas que são úteis principalmente para depuração em nível de código. Incluem informações sobre cada passo da execução.

Depois de ter entendido todos esses níveis , podemos utilizar este filtro para criar gráficos que mostrem quando o sistema possui alguma mensagem de ERRO ou WARNING por exemplo, para que as devidas providências sejam tomadas (gerar um alerta ou abrir um bug para investigação)

Variáveis de negócio

Podemos também criar gráficos nos dashboards para monitorar algumas variáveis que estão passando pelo sistema, por exemplo, em um microsserviço de inventário, podemos com os logs, fazer um filtro em tipos de reserva/pedido e fazer a contagem de quantos itens/produtos foram reservados ou quantos tipos de pedido/reserva foram feitos. Mesmo que possamos ter alguma outra fonte de origem confiável (como o banco de dados), com estes logs podemos rastrear se o microsserviço possa ter algum tipo de bug ao realizar/calcular os produtos ou a reserva.

Monitoramento de status das requisições

O Kibana oferece em sua "library" alguns gráficos para adicionar no dashboard, um exemplo deles é o "AKS - APIserver Request Code"
Com ele você pode acompanhar os HTTP status codes que estão acontecendo na aplicação assim que um deploy acontecer no ambiente de produção por exemplo.

Criação de índices (Index Management)

Integrado ao Elasticsearch, o Kibana se torna poderoso para análise de dados em tempo real. Criar índices no Kibana é essencial para maximizar a eficiência e a eficácia da análise de dados. Eles oferecem uma estrutura que não apenas melhora a performance das consultas, mas também facilita a visualização, organização e interpretação de informações.

Você consegue adicionar aos logs da sua aplicação e configurá-los no Kibana Index Management, índices que vão facilitar sua pesquisa e filtros no Kibana. Lembrando que deve estar integrado ao Elastic Search.

Um exemplo de caso de uso é, se há aplicações em diversos ambientes, pode-se criar índices para diferenciar estes logs da aplicação em cada ambiente, assim, ajudando rapidamente a criar dashboards e gráficos.

Visualizações do Vega

Kibana aliado ao Vega oferece uma poderosa combinação para visualização de dados. Enquanto o Kibana fornece uma interface intuitiva e uma variedade de opções de visualização, o Vega permite aos usuários criar gráficos personalizados e complexos. Juntos, eles capacitam analistas e desenvolvedores a transformar dados em insights visuais significativos, adaptando-se às necessidades específicas de cada projeto.

Para criar uma visualização com Vega é necessário entender a estrutura JSON. Aqui está um exemplo básico de estrutura JSON para uma visualização:

{
  "$schema": "https://vega.github.io/schema/vega/v5.json",
  "description": "Um gráfico de barras simples.",
  "width": 400,
  "height": 200,
  "padding": 5,
  "data": [
    {
      "name": "table",
      "values": [
        {"category": "A", "amount": 28},
        {"category": "B", "amount": 55},
        {"category": "C", "amount": 43},
        {"category": "D", "amount": 91},
        {"category": "E", "amount": 81},
        {"category": "F", "amount": 53},
        {"category": "G", "amount": 19},
        {"category": "H", "amount": 87}
      ]
    }
  ],

  "signals": [
    {
      "name": "tooltip",
      "value": {},
      "on": [
        {"events": "rect:mouseover", "update": "datum"},
        {"events": "rect:mouseout",  "update": "{}"}
      ]
    }
  ],

  "scales": [
    {
      "name": "xscale",
      "type": "band",
      "domain": {"data": "table", "field": "category"},
      "range": "width",
      "padding": 0.05,
      "round": true
    },
    {
      "name": "yscale",
      "domain": {"data": "table", "field": "amount"},
      "nice": true,
      "range": "height"
    }
  ],

  "axes": [
    { "orient": "bottom", "scale": "xscale" },
    { "orient": "left", "scale": "yscale" }
  ],

  "marks": [
    {
      "type": "rect",
      "from": {"data":"table"},
      "encode": {
        "enter": {
          "x": {"scale": "xscale", "field": "category"},
          "width": {"scale": "xscale", "band": 1},
          "y": {"scale": "yscale", "field": "amount"},
          "y2": {"scale": "yscale", "value": 0}
        },
        "update": {
          "fill": {"value": "steelblue"}
        },
        "hover": {
          "fill": {"value": "red"}
        }
      }
    },
    {
      "type": "text",
      "encode": {
        "enter": {
          "align": {"value": "center"},
          "baseline": {"value": "bottom"},
          "fill": {"value": "#333"}
        },
        "update": {
          "x": {"scale": "xscale", "signal": "tooltip.category", "band": 0.5},
          "y": {"scale": "yscale", "signal": "tooltip.amount", "offset": -2},
          "text": {"signal": "tooltip.amount"},
          "fillOpacity": [
            {"test": "isNaN(tooltip.amount)", "value": 0},
            {"value": 1}
          ]
        }
      }
    }
  ]
}

Após configurar seu JSON, você pode visualizar a visualização antes de completa. O Kibana renderizará a visualização com base nas definições fornecidas.

Vega permite também adicionar interatividades em seus gráficos/visualizações. Você pode definir eventos como mouseover, click, etc., para tornar a visualização mais dinâmica.

Exemplos de Uso

Gráficos de Dispersão: Para visualizar a relação entre duas variáveis.
Gráficos de Linhas: Para mostrar tendências ao longo do tempo.
Gráficos de Barras: Para comparar quantidades entre diferentes categorias.

O Kibana oferece exemplos prontos de visualizações em Vega que você pode usar como ponto de partida e personalizar conforme necessário.

Conclusão

Ao entender e implementar os diferentes níveis de logs, é possível filtrar informações críticas, como erros e avisos, que ajudam na tomada de decisões rápidas. Além disso, ao monitorar variáveis de negócio e o status das requisições, as equipes podem obter insights valiosos sobre o desempenho da aplicação e identificar áreas que necessitam de melhorias.

O gerenciamento de índices no Kibana, em conjunto com o Elasticsearch, proporciona uma estrutura robusta para organizar e visualizar dados de forma eficaz, facilitando a análise em tempo real.

Criar visualizações no Vega dentro do Kibana oferece uma flexibilidade poderosa para personalizar e melhorar suas análises de dados. Com um entendimento básico da estrutura JSON e as opções disponíveis no Vega, você pode criar visualizações que atendam exatamente às suas necessidades.

Com essas práticas, os usuários podem não apenas criar dashboards informativos, mas também responder rapidamente a incidentes, garantindo que os sistemas operem de maneira otimizada.

Esses são apenas alguns exemplos mas o Kibana tem muito a ser explorado, muitas ferramentas, dashboards e gráficos que cabem com sua necessidade.