Fundamentos e Projeto de Big Data

               Princípios de Big Data

Módulo 1
Introdução e Aplicações ao Big Data
Reconhecer os conceitos e as aplicações de Big Data.

Existem conceitos muito bem consolidados a respeito de aplicações de Big Data que são resumidos nos 5 Vs: Volume, Velocidade, Variedade, Veracidade e Valor. Por exemplo, o Volume trata da quantidade de dados com a qual a aplicação opera.

Para ser caracterizada como Big Data, a aplicação deve trabalhar com dados da ordem de Petabytes que correspondem a aproximadamente mil vezes um Terabyte. Além disso, essas aplicações trabalham com dados em diversos formatos que são agrupados em: estruturados, não estruturados e semiestruturados.

Técnica adequada
Em muitos casos, os dados não são estruturados e precisam de técnicas de análise que produzam respostas em tempo muito curto.
No entanto, Big Data é bem mais amplo que essa percepção, pois abrange conjuntos de dados que não podem ser tratados pelos métodos tradicionais de gestão da informação, ou seja, serem adquiridos, reconhecidos, gerenciados e processados em um tempo aceitável.

Arquitetura básica de Big Data
Os componentes da arquitetura de Big Data são:

KPI
Os KPI são indicadores de desempenho que integram os painéis (dashboards). Esses indicadores podem ser de três tipos:

• Estratégicos
• Táticos
• Operacionais

Os 5 Vs do Big Data

Os 5 V’s do Big Data: Volume, Velocidade, Variedade, Valor e Veracidade
Atualmente, a forma mais comum de encontrarmos uma definição sobre Big Data inclui mais um V, além dos que já vimos: Veracidade (RUSSOM, 2011).

Quando nos referimos ao volume de uma aplicação de Big Data, normalmente, estamos tratando de petabytes (PB) de dados.
Um projeto de Big Data precisa equilibrar os tempos de consumo e geração de dados.
Um projeto de Big Data precisa utilizar técnicas que façam limpeza dos dados e garantam a sua qualidade, para que possam ser consumidos pelo processo de análise.

Módulo2