Amazon Kinesis

Anotações sobre o Amazon Kinesis para ajudar na preparação das certificações AWS.

Até o momento as anotações são para as certificações abaixo:

• Link oficial

Definição do fornecedor

Facilita a coleta, o processamento e a análise de dados de streaming em tempo real, permitindo que você obtenha insights oportunos e reaja rapidamente às novas informações.

---

Anotações gerais

• Real time big data streaming
• Streaming Data
• Producers (Kinesis Agent, AWS SDK, Kinesis Producer Library (KLP))
• Stream Store
• Consumer (Kinesis Data Analytics, Kinesis Data Firehose, Kinesis Client Library(KCL))

---

Monitorar o Amazon Kinesis Data Streams Service com o Amazon CloudWatch

Documentação oficial

• Basic (stream-level) - stream-level são enviados automaticamente a cada minuto, sem custo adicional.
• Enhanced (shard-level) - shard-level são enviados a cada minuto por um custo adicional. Para obter esse nível de dados, você precisa habilitá-lo especificamente para o stream usando o _EnableEnhancedMonitoring _operação.

---

Kinesis Client Library(KCL)

Documentação oficial

A KCL ajuda você a consumir e processar dados de um stream de dados do Kinesis cuidando de muitas das tarefas complexas associadas à computação distribuída.

• Se você estiver desenvolvendo um aplicativo usando a KCL, sua Policy deve incluir permissões para acessar o Amazon DynamoDB e Amazon CloudWatch
• A KCL usa o DynamoDB para rastrear as informações de estado do aplicativo e CloudWatch para enviar métricas da KCL para CloudWatchem seu nome.

Referências

• O que é a biblioteca de cliente Kinesis?

---

Kinesis Data Firehose

Documentação oficial

• É um serviço para extrair, transformar e carregar (ETL) que captura, transforma e entrega de forma confiável dados de transmissão para data lakes, armazenamento de dados e serviços analíticos.
• Entrega o dado do Ponto A ao Ponto B.
• Dados em trânsito não são criptografados automaticamente por padrão

---

Kinesis Data Analytics

Documentação oficial

- É a maneira mais fácil de transformar e analisar dados de transmissão em tempo real com o Apache Flink.

---

Kinesis Data Streams

Documentação oficial

• É um serviço sem servidor que torna fácil a captura, o processamento e o armazenamento de transmissões de dados em qualquer escala.
• Permite consultar a evolução dos dados.
• Permite mover dados do on-premises já criptografados com a API StartStreamEncryption

---

Kinesis Video Streams

Documentação oficial

• Facilita o streaming seguro de vídeos de dispositivos conectados para a AWS, podendo ser usados para análises, machine learning (ML), reprodução e outros processamentos.