DEV Community: Beatriz Oliveira

Talks e workshops de fevereiro

Beatriz Oliveira — Mon, 25 Jan 2021 13:20:52 +0000

Estamos iniciando o ano com muitas novidades e conteúdos incríveis!

No mês de fevereiro, estamos trazendo uma série de talks e workshops para compartilhar conteúdos técnicos e também de desenvolvimento de carreira com a comunidade.

CONFIRA A NOSSA AGENDA

01/02 Conceitos de Cloud Computing
Nessa sessão, você conhecerá um pouco do universo da computação em nuvem, vai entender a sua evolução e como a cloud computing está presente em nosso dia a dia.

02/02 Introdução à AWS Cloud
Nessa sessão, você conhecerá um pouco de um dos maiores provedores de computação em nuvem do mundo atualmente, a AWS Cloud, além de conhecer o serviço, você aprenderá sobre os principais recursos dentro da plataforma, e também como e quando utilizá-los.

03/02 Conceitos de Virtualização
Nessa sessão, você conhecerá um pouco sobre virtualização e vai entender como ela está ligada a computação em nuvem.

04/02 Introdução à Google Cloud
Nessa sessão, você conhecerá um pouco de um dos maiores provedores de computação em nuvem do mundo atualmente, a Google Cloud, além de conhecer o serviço, você aprenderá sobre os principais recursos dentro da plataforma e também como e quando utilizá-los.

09/02 Workshop I am Remarkable
O I am Remarkable é uma iniciativa da Google que tem como objetivo ajudar mulheres e outros grupos sub-representados a celebrar suas conquistas no âmbito de trabalho e pessoal.

O objetivo desse trabalho é melhorar a motivação e as habilidades de autopromoção de mulheres e também de outros grupos sub-representados.

Fiquem atentas, pois as inscrições para esse workshop são limitadas.

Como coletar logs do PostgreSQL com o Filebeat

Beatriz Oliveira — Fri, 22 Jan 2021 12:42:36 +0000

O que é o PostgreSQL?

O PostgreSQL é um Sistema Gerenciador de Bancos de Dados (SGBD) open source.

Para conhecer mais sobre ele, recomendo a leitura do post Introdução ao PostgreSQL do DevMedia nesse link.

Aqui no nosso blog, a Renata Azevedo mostra como configurar um cluster de PostgreSQL e você pode ver esse tutorial nesse link.

Utilizando o Filebeat para coletar os logs do PostgreSQL

Ao utilizar o módulo PostgreSQL do Filebeat você consegue coletar e analisar os logs do PostgreSQL.

Para saber mais sobre esse módulo, acesse a documentação aqui nesse link

Instalação e configuração do Filebeat

Instale o Filebeat:

Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1
Linux: sudo rpm -vi filebeat-7.10.1-x86_64.rpm

Acesse o arquivo de configuração do Filebeat:

Windows: C:\Program Files\Filebeat\filebeat.yml
Linux: /etc/filebeat/filebeat.yml

Insira nele as informações de conexão com o Elasticsearch e com o Kibana:

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Habilite e configure o módulo :
Windows: .\filebeat.exe modules enable postgresql
Linux: sudo filebeat modules enable postgresql
Para modificar as configurações do módulo, altere o arquivo postgresql.yml:

Windows: modules.d/postgresql.yml
Linux: /etc/filebeat/modules.d/postgresql.yml

Por padrão, o arquivo vem com as seguintes informações e é aqui que você especifica o caminho para o seu diretório de logs:

# Module: postgresql
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.7/filebeat-module-postgresql.html
- module: postgresql
  # All logs
  log:
    enabled: true
# Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths: ["/diretório/do/log/postgresql/*.log*"]

Carregue o índice e os dashboards do módulo:

Windows: .\filebeat.exe setup
Linux: sudo filebeat setup

Inicie o serviço do Filebeat:

Windows: Start-Service filebeat
Linux: sudo service filebeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do seu PostgreSQL.

Como monitorar uma instância EC2 utilizando o infrastructure agent do New Relic

Beatriz Oliveira — Wed, 06 Jan 2021 18:51:21 +0000

Fazer a monitoração básica da sua infraestrutura é de extrema importância, visto que é através desse tipo de monitoração que vemos as principais métricas do ambiente, como consumo de CPU, memória. disco e intensidade do tráfego de rede por exemplo.

Nesse lab, vamos utilizar o infrastructure agent da New relic. Esse agente coleta os dados de infraestrutura dos seus hosts e manda eles diretamente para o New Relic.

Existem diversas formas de instalar ele no seu ambiente e nesse post eu vou mostrar como instalar ele de duas formas diferentes em uma EC2 Linux na Amazon.

Instalação do agent ao subir a instância

Você pode subir seus hosts já monitorados, no processo de criação do host faca a seguinte configuração.

Selecione a sua AMI, no exemplo estamos utilizando a AMI Linux 2.

Selecione o tipo de instância que você vai utilizar, no exemplo estamos usando uma t2.micro.

Configure os detalhes da instância
E aqui fica a parte mais importante do tutorial, insira nos detalhes avançados insira a seguinte configuração:

#!/bin/bash
echo "license_key: [00000000]" | sudo tee -a /etc/newrelic-infra.yml
sudo curl -o /etc/yum.repos.d/newrelic-infra.repo https://download.newrelic.com/infrastructure_agent/linux/yum/el/7/x86_64/newrelic-infra.repo
sudo yum -q makecache -y --disablerepo='*' --enablerepo='newrelic-infra'
sudo yum install newrelic-infra -y

No campo user data colocamos todos os comandos necessários para serem executados automaticamente para fazer a instalação do agent na máquina.

Configure o storage da sua máquina

Configure o security group

Revise as configurações e por fim, suba a instância.
Depois disso, acesse o Entity Explorer diretamente no New Relic e coloque o endereço do seu host.

Assim você já conseguirá ver as principais métricas de infra do seu host como mostra o exemplo abaixo.

Se você acessar o host, pode executar o comando systemctl status newrelic-infra para ver se o agent esta rodando como mostra a imagem abaixo:

Instalar o agent em um host que já está funcionando

Uma alternativa para você que já tem o host funcionando, mas ainda não tem o agente instalado é executar os comandos abaixo para fazer a instalação completa em poucos minutos.

# Create a configuration file and add your license key \
echo "license_key: 00000000" | sudo tee -a /etc/newrelic-infra.yml && \
\
# Create the agent's yum repository \
sudo curl -o /etc/yum.repos.d/newrelic-infra.repo https://download.newrelic.com/infrastructure_agent/linux/yum/el/7/x86_64/newrelic-infra.repo && \
\
# Update your yum cache \
sudo yum -q makecache -y --disablerepo='*' --enablerepo='newrelic-infra' && \
\
# Run the installation script \
sudo yum install newrelic-infra -y

Para obter mais detalhes sobre o agente e sobre o processo de instalação e configuração, acesse os links abaixo que usei como referência.

Como coletar logs do NGINX com o Filebeat

Beatriz Oliveira — Mon, 04 Jan 2021 12:01:09 +0000

O que é o NGINX?

O NGINX é um servidor web open source que também pode ser utilizado como load balancer HTTP, proxy de e-mail (IMAP, POP3 e SMTP) e também como proxy reverso.

Para conhecer mais sobre o projeto, acesse a sua página oficial aqui.

Utilizando o Filebeat para coletar os logs do NGINX

Ao utilizar o módulo NGINX do Filebeat você consegue coletar e analisar os logs de erro e acesso que são criados pelo NGINX.
Para saber mais sobre esse módulo, acesse a documentação aqui

Instalação e configuração do Filebeat

Instale o Filebeat:

Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1
Linux: sudo rpm -vi filebeat-7.10.1-x86_64.rpm

Acesse o arquivo de configuração do Filebeat:

Windows: C:\Program Files\Filebeat\filebeat.yml
Linux: /etc/filebeat/filebeat.yml

Insira nele as informações de conexão com o Elasticsearch e com o Kibana:

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Habilite e configure o módulo :
Windows: .\filebeat.exe modules enable nginx
Linux: sudo filebeat modules enable nginx
Habilite e configure o módulo :
Windows: .\filebeat.exe modules enable nginx
Linux: sudo filebeat modules enable nginx
Para modificar as configurações do módulo, altere o arquivo nginx.yml:

Windows: modules.d/nginx.yml
Linux: /etc/filebeat/modules.d/nginx.yml

Por padrão, o arquivo vem com as seguintes informações e é aqui que você especifica o caminho para o seu diretório de logs:

# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.10/filebeat-module-nginx.html
- module: nginx
  # Access logs
  access:
    enabled: true
# Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths: ["/diretório/do/log/nginx/access.log*"]
# Error logs
  error:
    enabled: true
# Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths: ["/diretório/do/log/nginx/error.log*"]
# Ingress-nginx controller logs. This is disabled by default. It could be used in Kubernetes environments to parse ingress-nginx logs
  ingress_controller:
    enabled: false
# Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths: ["/diretório/do/log/nginx/ingress.log"]

Carregue os dashboards do módulo:

Windows: .\filebeat.exe setup
Linux: sudo filebeat setup

Inicie o serviço do Filebeat:

Windows: Start-Service filebeat
Linux: sudo service filebeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do seu NGINX.

Como coletar logs do MongoDB com o Filebeat

Beatriz Oliveira — Thu, 31 Dec 2020 14:24:09 +0000

O que é o MongoDB?

O MongoDB é um software banco de dados orientado a documentos, que é opensource e é desenvolvivido pela MongoDB Inc e é classificado como um banco NoSQL (Não Relacional).

Para conhecer mais sobre o projeto, acesse o site oficial dele aqui.

Também recomendo a leitura do post SQL ou NoSQL? no blog da Dani Monteiro, onde ela explica as diferenças de um banco de dados SQL e NoSQL e mostra alguns conceitos sobre o MongoDB.

Como coletar logs do MongoDB com o Filebeat

O módulo Mongo DB coleta logs que são criados pelo MongoDB. Para saber mais sobre esse módulo, acesse a documentação nesse link

Instale o Filebeat:

Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1
Linux: sudo rpm -vi filebeat-7.10.1-x86_64.rpm

Acesse o arquivo de configuração do Filebeat:

Windows: C:\Program Files\Filebeat\filebeat.yml
Linux: /etc/filebeat/filebeat.yml

Insira nele as informações de conexão com o Elasticsearch e com o Kibana:

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Habilite e configure o módulo :
Windows: .\filebeat.exe modules enable mongodb
Linux: sudo filebeat modules enable mongodb
Habilite e configure o módulo :
Windows: .\filebeat.exe modules enable mongodb
Linux: sudo filebeat modules enable mongodb
Para modificar as configurações do módulo, altere o arquivo mongodb.yml:

Windows: modules.d/mongodb.yml
Linux: /etc/filebeat/modules.d/mongodb.yml

Por padrão, o arquivo vem com as seguintes informações e é aqui que você especifica o caminho para o seu diretório de logs:

# Module: mongodb
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.10/filebeat-module-mongodb.html
- module: mongodb
  # All logs
  log:
    enabled: true
# Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths: ["/diretório/do/log/mongodb/*.log*"]

Carregue os dashboards do módulo:

Windows: .\filebeat.exe setup
Linux: sudo filebeat setup

Inicie o serviço do Filebeat:

Windows: Start-Service filebeat
Linux: sudo service filebeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do seu MongoDB.

Como coletar logs de erro e queries lentas do MySQL com o Filebeat

Beatriz Oliveira — Tue, 29 Dec 2020 12:22:25 +0000

O que é o MySQL?

O MySQL é um sistema de gerenciamento de base de dados relacional que usa a linguagem SQL (Structured Query Language). Ele é open source e é desenvolvido e suportado pela Oracle.

Para conhecer mais sobre ele, acesse o site oficial do projeto nesse link.

Sobre o módulo MySQL do Filebeat

O módulo MySQL do Filebeat coleta os logs de erro e também de queries lentas que são criados pelo MySQL. É de extrema importância identificar essas informações de uma maneira rápida e eficiente para evitar que se tenha problemas com performance no seu ambiente.

Para saber mais sobre o módulo, acesse a documentação oficial no nesse link.

Instalação e configuração do Filebeat

Para instalar o Filebeat nos hosts, siga os passos descritos abaixo.

Faça o download do Filebeat nesse link.

Instale o Filebeat:

Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1
Linux: sudo rpm -vi filebeat-7.10.1-x86_64.rpm

Acesse o arquivo de configuração do Filebeat:

Windows: C:\Program Files\Filebeat\filebeat.yml
Linux: /etc/filebeat/filebeat.yml

Insira nele as informações de conexão com o Elasticsearch e com o Kibana:

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Habilite e configure o módulo :
Windows: .\filebeat.exe modules enable mysql
Linux: sudo filebeat modules enable mysql
Para modificar as configurações do módulo, altere o arquivo mysql.yml:

Windows: modules.d/mysql.yml
Linux: /etc/filebeat/modules.d/mysql.yml

Por padrão, o arquivo vem com as seguintes informações e é aqui que você especifica o caminho para o seu diretório de logs:

# Module: mysql
# Docs: https://www.elastic.co/guide/en/beats/filebeat/7.10/filebeat-module-mysql.html
- module: mysql
  # Error logs
  error:
    enabled: true
# Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths: ["/path/to/log/mysql/error.log*"]
# Slow logs
  slowlog:
    enabled: true
# Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    #var.paths: ["/path/to/log/mysql/error.log*"]

Carregue os dashboards do módulo:

Windows: .\filebeat.exe setup
Linux: sudo filebeat setup

Inicie o serviço do Filebeat:

Windows: Start-Service filebeat
Linux: sudo service filebeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas dos logs de erro e lentos do seu MySQL.

Como coletar métricas do Windows utilizando o Metricbeat

Beatriz Oliveira — Wed, 23 Dec 2020 12:10:44 +0000

Nesse tutorial vamos construir uma monitoração básica do Windows utilizando o módulo Windows do Metricbeat, que é um agente da Elastic que coleta métricas de diversas plataformas, como já mostramos aqui no blog em outros posts.

Esse módulo que utilizaremos coleta o status dos serviços e também dados de performance em hosts Windows.

Caso você queira monitorar os logs e dados do Event Viewer por exemplo, recomendo fortemente o uso do Winlogbeat, que coleta logs de eventos do Windows perfeitamente.

Aqui no blog nós já fizemos um post mostrando como instalar e configurar o Winlogbeat e você pode acessar ele aqui.

Como instalar o Metricbeat e configurar o módulo Windows

Para começar esse lab, você precisará ter um ambiente com um host Windows e outro ambiente com o Elasticsearch e com o Kibana configurados.

Assim que você tiver esses pré requisitos, poderá começar a seguir os passos abaixo para configurar o Metricbeat para coletar as métricas do Windows.

Para instalar o Metricbeat nos hosts, siga os passos descritos abaixo.

Faça o download do Metricbeat nesse link.
Instale o Metricbeat:
Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1
Linux: sudo rpm -vi metricbeat-7.10.1-x86_64.rpm
Acesse o arquivo de configuração do Metricbeat:
Windows: C:\Program Files\Metricbeat\metricbeat.yml
Linux: /etc/metricbeat/metricbeat.yml
Insira nele as informações de conexão com o Elasticsearch e com o Kibana:

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Habilite e configure o módulo do Windows:
Windows: .\metricbeat.exe modules enable windows
Linux: sudo metricbeat modules enable windows
Para modificar as configurações do módulo, altere o arquivo windows.yml:
Windows: modules.d/windows.yml
Linux: /etc/metricbeat/modules.d/windows.yml

Por padrão, o arquivo vem com as seguintes informações:

metricbeat.modules:
- module: windows
  metricsets: ["perfmon"]
  enabled: true
  period: 10s
  perfmon.ignore_non_existent_counters: false
  perfmon.group_measurements_by_instance: false
  perfmon.queries:
#  - object: 'Process'
#    instance: ["*"]
#    counters:
#    - name: '% Processor Time'
#      field: cpu_usage
#      format: "float"
#    - name: "Thread Count"

- module: windows
  metricsets: ["service"]
  enabled: true
  period: 60s

Crie o índice do Metricbeat e carregue os dashboards:
Windows: .\metricbeat.exe setup
Linux: sudo metricbeat setup
Inicie o serviço do Metricbeat:
Windows: Start-Service metricbeat
Linux: sudo service metricbeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do estado do seu host Windows.

Métricas

Logs

Para saber mais sobre esse módulo do Metricbeat, acesse a documentação oficial da Elastic.

Como monitorar o Prometheus com Metricbeat

Beatriz Oliveira — Tue, 22 Dec 2020 21:02:22 +0000

O que é o Prometheus?

O Prometheus é uma ferramenta de monitoramento de métricas e indicadores de aplicações e serviços.

Segundo a descrição no Github do Prometheus:

"Ele coleta as métricas dos pontos configurados em intervalos dados, avalia expressões das regras, exibe os resultados e também pode acionar alertas quando as condições especificadas são observadas como verdadeiras."

Para saber mais sobre o projeto, acesse o site oficial do Prometheus.

Como monitorar o Prometheus utilizando o Metricbeat?

Para começar esse lab, você precisará ter um ambiente com o Prometheus e outro ambiente com o Elasticsearch e com o Kibana configurados.

Assim que você tiver esses pré requisitos, poderá começar a seguir os passos abaixo para configurar o Metricbeat para coletar os dados do Prometheus.

Para instalar o Metricbeat no host do Prometheus, siga os passos descritos abaixo.

Faça o download do Metricbeat nesse link.
Instale o Metricbeat:
Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1
Linux: sudo rpm -vi metricbeat-7.10.1-x86_64.rpm
Acesse o arquivo de configuração do Metricbeat:
Windows: C:\Program Files\Metricbeat\metricbeat.yml
Linux: /etc/metricbeat/metricbeat.yml

Insira nele as informações de conexão com o Elasticsearch e com o Kibana.

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Se você estiver usando o Metricbeat OSS insira as seguintes configurações no fim do arquivo metricbeat.yml.

setup.ilm.enabled: false
setup.pack.security.enabled: false
setup.xpack.graph.enabled: false
setup.xpack.watcher.enabled: false
setup.xpack.monitoring.enabled: false
setup.xpack.reporting.enabled: false

Habilite e configure o módulo do Prometheus:
Windows: .\metricbeat.exe modules enable prometheus
Linux: sudo metricbeat modules enable prometheus
Para modificar as configurações do módulo, altere o arquivo prometheus.yml:
Windows: modules.d/prometheus.yml
Linux: /etc/metricbeat/modules.d/prometheus.yml

Por padrão, o arquivo vem assim:

# Module: prometheus
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.8/metricbeat-module-prometheus.html
# Metrics collected from a Prometheus endpoint
- module: prometheus
  period: 10s
  metricsets: ["collector"]
  hosts: ["localhost:9090"]
  metrics_path: /metrics
  #metrics_filters:
  #  include: []
  #  exclude: []
  #username: "user"
  #password: "secret"
# This can be used for service account based authorization:
  #bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
  #ssl.certificate_authorities:
  #  - /var/run/secrets/kubernetes.io/serviceaccount/service-ca.crt
# Metrics sent by a Prometheus server using remote_write option
#- module: prometheus
#  metricsets: ["remote_write"]
#  host: "localhost"
#  port: "9201"
# Secure settings for the server using TLS/SSL:
  #ssl.certificate: "/etc/pki/server/cert.pem"
  #ssl.key: "/etc/pki/server/cert.key"
# Metrics that will be collected using a PromQL
#- module: prometheus
#  metricsets: ["query"]
#  hosts: ["localhost:9090"]
#  period: 10s
#  queries:
#  - name: "instant_vector"
#    path: "/api/v1/query"
#    params:
#      query: "sum(rate(prometheus_http_requests_total[1m]))"
#  - name: "range_vector"
#    path: "/api/v1/query_range"
#    params:
#      query: "up"
#      start: "2019-12-20T00:00:00.000Z"
#      end:  "2019-12-21T00:00:00.000Z"
#      step: 1h
#  - name: "scalar"
#    path: "/api/v1/query"
#    params:
#      query: "100"
#  - name: "string"
#    path: "/api/v1/query"
#    params:
#      query: "some_value"

Carregue os dashboards do módulo:
Windows: .\metricbeat.exe setup
Linux: sudo metricbeat setup
Inicie o serviço do Metricbeat:
Windows: Start-Service metricbeat
Linux: sudo service metricbeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do estado do seu Prometheus.

Métricas

Logs

Monitore suas instâncias do EC2 na AWS com o AWS Module do Metricbeat

Beatriz Oliveira — Tue, 22 Dec 2020 19:58:11 +0000

O que é o EC2?

Através do Amazon Elastic Compute Cloud (Amazon EC2) é possível criar servidores virtuais na AWS. Ao utilizar o EC2 você pode subir a quantidade de instâncias que precisar, além de conseguir escalar e desescalar elas de acordo com a sua necessidade. Também é possível fazer configurações de rede, segurança e armazenamento nesses hosts.
Conheça mais sobre o EC2 no site da Amazon.

Como utilizar o módulo AWS do Metricbeat para monitorar suas instâncias EC2

Através desse módulo AWS é possível coletar as métricas de monitoramento do Cloudwatch e enviar elas para o Elasticsearch, esse é um jeito alternativo de monitorar suas instâncias, pois você também poderia usar o módulo System para monitorar elas, a diferença é que para usar o módulo System, você teria que configurar ele em todos os hosts do seu ambiente, já o módulo AWS Metrics te permite executar ele apenas em um host.

Para começar esse lab, você precisará ter um ambiente com um host EC2 e outro ambiente com o Elasticsearch e com o Kibana configurados.

Assim que você tiver esses pré requisitos, poderá começar a seguir os passos abaixo para configurar suas permissões na AWS, configurar o Metricbeat para coletar os dados das instâncias EC2.

Criação do usuário e política na Amazon

Para ter acesso as informações do seu ambiente na AWS vai ser necessário que você crie um usuário para ter uma Access Key e uma Secret Key. Acesse o IAM no console da AWS, crie um usuário e salve a Access Key a Secret Key.
Depois de criar o usuário, você precisará criar uma politica do IAM com os seguintes níveis de acesso:

Cloudwatch: ListMetrics e GetMetricData

EC2: DescribeRegions e DescribeInstances

Por fim revise e crie a política como mostra a imagem abaixo.
Atribua a política que você criou ao usuário que você vai usar.

Instalação e configuração do Metricbeat

Para instalar o Metricbeat nos hosts, siga os passos descritos abaixo.

Faça o download do Metricbeat nesse link.
Instale o Metricbeat:
Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1
Linux: sudo rpm -vi metricbeat-7.10.1-x86_64.rpm
Acesse o arquivo de configuração do Metricbeat:
Windows: C:\Program Files\Metricbeat\metricbeat.yml
Linux: /etc/metricbeat/metricbeat.yml
Insira nele as informações de conexão com o Elasticsearch e com o Kibana:

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Habilite e configure o módulo da AWS:
Windows: .\metricbeat.exe modules enable aws
Linux: sudo metricbeat modules enable aws
Para modificar as configurações do módulo, altere o arquivo aws.yml:
Windows: modules.d/aws.yml
Linux: /etc/metricbeat/modules.d/aws.yml

Por padrão, o arquivo vem com as seguintes informações:

# Module: aws
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-aws.html
- module: aws
  period: 1m
  metricsets:
    - elb
    - natgateway
    - rds
    - transitgateway
    - usage
    - vpn
- module: aws
  period: 5m
  metricsets:
    - cloudwatch
  metrics:
    - namespace: AWS/EC2
      #name: ["CPUUtilization", "DiskWriteOps"]
      resource_type: ec2:instance
      #dimensions:
      #  - name: InstanceId
      #    value: i-0686946e22cf9494a
      #statistic: ["Average", "Maximum"]
- module: aws
  period: 5m
  metricsets:
    - dynamodb
    - ebs
    - ec2
    - lambda
    - rds
    - sns
    - sqs
- module: aws
  period: 24h
  metricsets:
    - billing
  cost_explorer_config:
    group_by_dimension_keys:
      - "AZ"
      - "INSTANCE_TYPE"
      - "SERVICE"
#    group_by_tag_keys:
#      - "aws:createdBy"
- module: aws
  period: 24h
  metricsets:
    - s3_daily_storage
- module: aws
  period: 1m
  latency: 5m
  metricsets:
    - s3_request

Também insira nele as credenciais de acesso a AWS que você criou anteriormente:

metricbeat.modules:
- module: aws
  period: 300s
  metricsets:
    - "ec2"
  access_key_id: '${AWS_ACCESS_KEY_ID:"SUA ACCESS KEY"}'
  secret_access_key: '${AWS_SECRET_ACCESS_KEY:"SUA SECRET KEY"}'
  default_region: '${AWS_REGION:us-east-1}'

Carregue os dashboards do módulo:
Windows: .\metricbeat.exe setup
Linux: sudo metricbeat setup
Inicie o serviço do Metricbeat:
Windows: Start-Service metricbeat
Linux: sudo service metricbeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do estado das suas instâncias na Amazon.

Logs

Métricas

Como monitorar o Apache com o Metricbeat

Beatriz Oliveira — Mon, 21 Dec 2020 23:08:24 +0000

O que é o Apache?

O Apache é um servidor web livre da Apache Software Foundation. Ele é um servidor do tipo HTTPD ( Hypertext Transfer Protocol Daemon).

Segundo o site do Apache:

"O objetivo deste projeto é fornecer um servidor seguro, eficiente e extensível que forneça serviços HTTP em sincronia com os padrões HTTP atuais.

O Apache HTTP Server ("httpd") foi lançado em 1995 e tem sido o servidor da web mais popular na Internet desde abril de 1996. Ele comemorou seu 25º aniversário em fevereiro de 2020."

Como monitorar o Apache utilizando o Metricbeat?

Para começar esse lab, você precisará ter um ambiente com o Apache de preferência com a versão >= 2.2.31 e outro ambiente com o Elasticsearch e com o Kibana configurados.

Assim que você tiver esses pré requisitos, poderá começar a seguir os passos abaixo para configurar o Metricbeat para coletar os dados do Apache.

Para instalar o Metricbeat no host do Apache, siga os passos descritos abaixo.

Faça o download do Metricbeat nesse link.
Instale o Metricbeat:
Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1
Linux: sudo rpm -vi metricbeat-7.10.1-x86_64.rpm
Acesse o arquivo de configuração do Metricbeat:
Windows: C:\Program Files\Metricbeat\metricbeat.yml
Linux: /etc/metricbeat/metricbeat.yml
Insira nele as informações de conexão com o Elasticsearch e com o Kibana:

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Se você estiver usando o Metricbeat OSS insira as seguintes configurações no fim do arquivo metricbeat.yml:

setup.ilm.enabled: false
setup.pack.security.enabled: false
setup.xpack.graph.enabled: false
setup.xpack.watcher.enabled: false
setup.xpack.monitoring.enabled: false
setup.xpack.reporting.enabled: false

Habilite e configure o módulo do Apache:

Windows: .\metricbeat.exe modules enable apache
Linux: sudo metricbeat modules enable apache

Para modificar as configurações do módulo, altere o arquivo apache.yml:

Windows: modules.d/apache.yml
Linux: /etc/metricbeat/modules.d/apache.yml

Por padrão, o arquivo vem com as seguintes informações:
metricbeat.modules:

- module: apache
  metricsets: ["status"]
  period: 10s
  enabled: true

  # Apache hosts
  hosts: ["http://127.0.0.1"]

  # Path to server status. Default server-status
  #server_status_path: "server-status"

  # Username of hosts.  Empty by default
  #username: username

  # Password of hosts. Empty by default
  #password: password

Carregue os dashboards do módulo:

Windows: .\metricbeat.exe setup
Linux: sudo metricbeat setup

Inicie o serviço do Metricbeat:

Windows: Start-Service metricbeat
Linux: sudo service metricbeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do estado do seu Apache.

Para obter mais informações, acesse a documentação oficial do módulo do Apache no site da Elastic.

Como monitorar o Apache Zookeeper com o Metricbeat

Beatriz Oliveira — Mon, 21 Dec 2020 12:58:49 +0000

O que é o Apache Zookeeper

O Apache ZooKeeper é um software com a Licença Apache 2.0 da Apache Software Foundation.

Ele é um serviço centralizado voltado para grandes sistemas distribuídos e através dele é possível manter informações de configuração, registro de nomenclatura e fornecer sincronização distribuída por exemplo.

"A arquitetura do ZooKeeper suporta alta disponibilidade através de serviços redundantes. Os clientes podem, assim, pedir a outro líder do ZooKeeper se o primeiro não responder. Os nós do ZooKeeper armazenam seus dados em um espaço de nomes hierárquico, muito parecido com um sistema de arquivos ou uma estrutura de dados em árvore. Os clientes podem ler e gravar nos nós e, desse modo, ter um serviço de configuração compartilhado. O ZooKeeper pode ser visto como um sistema de transmissão atômica, através do qual as atualizações são totalmente ordenadas. O protocolo ZooKeeper Atomic Broadcast (ZAB) é o núcleo do sistema."
Referência: Instalando SolrCloud com Zookeeper Externo de Rodrigo Floriano

Para saber mais sobre o projeto, acesse o site oficial e a sua wiki.

Como monitorar o Apache Zookeeper utilizando o Metricbeat?

Para começar esse lab, você precisará ter um ambiente com o Zookeeper de preferência em uma versão >= 3.4.0 e outro ambiente com o Elasticsearch e com o Kibana configurados.

Assim que você tiver esses pré requisitos, poderá começar a seguir os passos abaixo para configurar o Metricbeat para coletar os dados do Zookeeper.

Para instalar o Metricbeat nos hosts do Zookeeper, siga os passos descritos abaixo.

Faça o download do Metricbeat nesse link.
Instale o Metricbeat:
Windows: PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-metricbeat.ps1
Linux: sudo rpm -vi metricbeat-7.10.1-x86_64.rpm
Acesse o arquivo de configuração do Metricbeat:
Windows: C:\Program Files\Metricbeat\metricbeat.yml
Linux: /etc/metricbeat/metricbeat.yml
Insira nele as informações de conexão com o Elasticsearch e com o Kibana:

output.elasticsearch:
  hosts: ["url_do_elasticsearch:9200"]
setup.kibana:
  host: ["url_do_kibana:5601"]

Se você estiver usando o Metricbeat OSS insira as seguintes configurações no fim do arquivo metricbeat.yml:

# Set to true to enable the monitoring reporter.
#monitoring.enabled: false
setup.ilm.enabled: false
setup.pack.security.enabled: false
setup.xpack.graph.enabled: false
setup.xpack.watcher.enabled: false
setup.xpack.monitoring.enabled: false
setup.xpack.reporting.enabled: false

Habilite e configure o módulo do Apache Zookeeper:
Windows: .\metricbeat.exe modules enable zookeeper
Linux: sudo metricbeat modules enable zookeeper
Para modificar as configurações do módulo, altere o arquivo zookeeper.yml:
Windows: modules.d/zookeeper.yml
Linux: /etc/metricbeat/modules.d/zookeeper.yml

Por padrão, o arquivo vem com as seguintes informações:

# Module: zookeeper
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/7.10/metricbeat-module-zookeeper.html
- module: zookeeper
  #metricsets:
  #  - mntr
  #  - server
  period: 10s
  hosts: ["localhost:2181"]

Carregue os dashboards do módulo:
Windows: .\metricbeat.exe setup
Linux: sudo metricbeat setup
Inicie o serviço do Metricbeat:
Windows: Start-Service metricbeat
Linux: sudo service metricbeat start

Depois disso, você conseguirá ver os logs do seu ambiente no discover, além de ter dashboards com informações e métricas do estado do seu Zookeeper.

Métricas

Logs

Para obter mais informações, acesse a documentação oficial desse módulo no site da Elastic.

Guia de Infraestrutura de TI

Beatriz Oliveira — Sun, 02 Aug 2020 03:31:29 +0000

Quando começamos a pesquisar sobre infraestrutura de TI, é comum encontrarmos muitos conceitos e informações, e é normal não saber qual tipo de conteúdo consumir, principalmente pelo alto volume de dados. Isso certamente dificulta o processo de quem quer entender quais habilidades um profissional de Infraestrutura de Tecnologia da Informação precisa ter.

A dificuldade em compreender tais habilidades acontece porque essa área é bem ampla, devido à atualização constante na tecnologia, que vem ocorrendo rapidamente ao longo dos anos. Muitos aspectos mudaram e evoluíram, e alguns exemplos disso são os modelos de centro de processamentos de dados. Antigamente, as aplicações eram armazenadas em CPDs (Centro de Processamento de Dados) pequenos, depois vieram os Data Centers On-Premisses mais robustos, e agora temos diversos provedores de serviços em nuvem (ou cloud, em inglês). Além disso, para provisionar ambientes, os virtualizadores foram e ainda são muito utilizados. Contudo, nos últimos anos, surgiu o conceito de "containers/docker" como uma evolução e, junto a ele, surgiu a abordagem de microsserviços para auxiliar as empresas a quebrar seus monólitos e a transformá-los em aplicações cada vez mais escaláveis e distribuídas.

Além do mais, ainda há as boas práticas e metodologias como o ITIL, mais antigos no mercado e ainda muito presente nas companhias, mas também vemos um movimento muito forte de adesão à cultura DevOps e à disciplina SRE (Calma! Explicaremos todos esse acrônimos - sabemos que existem vários na área de tecnologia).

Somado a isso, muitos dos termos, conceitos, estudos, cursos e certificações para quem quer entrar nessa área estão em inglês, como você deve ter percebido.

Então, como estudar todas essas metodologias que ainda estão juntas e misturadas sem se perder?

É isso que esperamos esclarecer ao longo desse material, passando por todos os tópicos que achamos importante que você conheça, para entender como tudo foi evoluindo e como tudo pode se encaixar no seu dia a dia, com uma leitura fácil e, além de tudo, em Língua Portuguesa.

O que é infraestrutura de TI?

A área de infraestrutura tem uma responsabilidade muito grande dentro das empresas, porque é justamente esse time que dá suporte para as aplicações em produção, é ele que sustenta o negócio da companhia. Por isso, se você, assim como nós, pensa em escolher essa área, é importante ter conhecimento sobre as tecnologias utilizadas no ambiente que você sustenta e também sobre o negócio em que sua empresa atua. Tudo que essa área faz pode impactar diretamente o cliente final, portanto, é muito importante criar arquiteturas de soluções que sejam sustentáveis, escaláveis e seguras.

Alinhando as expectativas

É importante ressaltar que você não precisa ter todos os conhecimentos abaixo para começar na área. Estamos apenas listando alguns conceitos e ferramentas que estão presentes em nosso dia a dia de trabalho e que são utilizados por diversas empresas na atualidade. Apesar de trabalharmos na área, não somos fluentes em todos estes tópicos, mas buscamos absorver cada um que ainda não sabemos e também aperfeiçoar os que já dominamos.

Neste guia, abordaremos os seguintes temas:

Cada capítulo contém a definição dos conceitos, links de apoio, sugestões de materiais para leitura e também sugestões de certificações relacionadas ao tema.

Esperamos que você goste do conteúdo e que, ao final da leitura, tenha aprendido um pouco mais desse mundo pelo qual somos fascinadas.

Por fim, gostaríamos de agradecer à Ana Cecília Accetturi pelo apoio na revisão linguística e à Aline Oliveira pela revisão técnica de todo o conteúdo que está presente aqui no dev.to, no Medium e no formato ebook.

Com carinho,
Bia e Mari