Amazon Kinesis

#cloud #aws #devops #security

Anotações sobre o Amazon Kinesis para ajudar na preparação das certificações AWS.

Até o momento as anotações são para as certificações abaixo:

Link oficial

Definição do fornecedor

Facilita a coleta, o processamento e a análise de dados de streaming em tempo real, permitindo que você obtenha insights oportunos e reaja rapidamente às novas informações.

Anotações gerais

Real time big data streaming
Streaming Data
Producers (Kinesis Agent, AWS SDK, Kinesis Producer Library (KLP))
Stream Store
Consumer (Kinesis Data Analytics, Kinesis Data Firehose, Kinesis Client Library(KCL))

Monitorar o Amazon Kinesis Data Streams Service com o Amazon CloudWatch

Documentação oficial

Basic (stream-level) - stream-level são enviados automaticamente a cada minuto, sem custo adicional.
Enhanced (shard-level) - shard-level são enviados a cada minuto por um custo adicional. Para obter esse nível de dados, você precisa habilitá-lo especificamente para o stream usando o _EnableEnhancedMonitoring _operação.

Kinesis Client Library(KCL)

Documentação oficial

A KCL ajuda você a consumir e processar dados de um stream de dados do Kinesis cuidando de muitas das tarefas complexas associadas à computação distribuída.

Se você estiver desenvolvendo um aplicativo usando a KCL, sua Policy deve incluir permissões para acessar o Amazon DynamoDB e Amazon CloudWatch
A KCL usa o DynamoDB para rastrear as informações de estado do aplicativo e CloudWatch para enviar métricas da KCL para CloudWatchem seu nome.

Referências

O que é a biblioteca de cliente Kinesis?

Kinesis Data Firehose

Documentação oficial

É um serviço para extrair, transformar e carregar (ETL) que captura, transforma e entrega de forma confiável dados de transmissão para data lakes, armazenamento de dados e serviços analíticos.
Entrega o dado do Ponto A ao Ponto B.
Dados em trânsito não são criptografados automaticamente por padrão

Kinesis Data Analytics

Documentação oficial

- É a maneira mais fácil de transformar e analisar dados de transmissão em tempo real com o Apache Flink.

Kinesis Data Streams

Documentação oficial

É um serviço sem servidor que torna fácil a captura, o processamento e o armazenamento de transmissões de dados em qualquer escala.
Permite consultar a evolução dos dados.
Permite mover dados do on-premises já criptografados com a API StartStreamEncryption

Kinesis Video Streams

Documentação oficial

Facilita o streaming seguro de vídeos de dispositivos conectados para a AWS, podendo ser usados para análises, machine learning (ML), reprodução e outros processamentos.