Tobias Macey é host do popular Data Engineering Podcast e organizador do livro 97 Things Every Data Engineer Should Know publicado pela O'Reilly, a editora queridinha da área de Dados.
Em um dos artigos publicados por Macey ele enfatiza 3 competências que ele considera imprescindíveis no dia a dia da Engenharia de Dados.
Reliability (Confiabilidade)
A confiabilidade está relacionada às características dos dados que contribuem para um alto grau de confiança das análises que você está realizando, ou seja, dessas análises serem consideradas corretas. Da mesma maneira, a confiabilidade está atrelada ao fato de que os algoritmos sofisticados de Machine Learning necessitam de consistência dos dados.
Reproducibility (Reprodutibilidade)
A reprodutibilidade é uma competência crítica ao trabalhar com
sistemas. Se não existir a possibilidade de outro membro do time ou unidade de negócios verificar e recriar independentemente seus conjuntos de dados e análises, não há maneira de ter certeza que os resultados originais eram válidos. Isso tem um impacto direto no conceito de confiabilidade, pois se você é capaz de reproduzir consistentemente um determinado conjunto de dados, você pode ter a certeza de que é confiável.
Repeatability (Repetibilidade)
Se todos os seus servidores morrerem ou o datacenter em que seus sistemas estão sendo executados estiver destruído ou incapacitado por um desastre natural, você precisa de um plano de recuperação. É aqui que entra em jogo o terceiro R, repetibilidade. Está tudo bem em construir um cluster Spark ou instalar um banco de dados PostgreSQL, mas pode você conseguiria fazer isso rapidamente e repetidamente?
E aí? O que você achou dos 3 R's propostos por Macey? Você concorda com todos eles? Acrescentaria outros pontos que você considera mais que necessários no cotidiano da área de Engenharia de Dados?
Comenta aí embaixo o que você achou e não esqueça de curtir, salvar e compartilhar esse post. (:
Top comments (0)