DEV Community

Cover image for Apache Iceberg V4 propõe novos metadados e gravações mais frequentes
guiadeti
guiadeti

Posted on Originally published at guiadeti.com.br

Apache Iceberg V4 propõe novos metadados e gravações mais frequentes

Proposta reformula o Apache Iceberg

O Apache Iceberg V4 propõe uma reformulação dos metadados do formato aberto de tabelas para lidar com conjuntos analíticos maiores e permitir gravações mais frequentes. Daniel Weeks, cocriador do Iceberg e integrante da equipe técnica da Databricks, apresentou a proposta em uma sessão da QCon San Francisco.

Weeks descreveu a versão como uma reimaginação importante do formato, e não uma atualização incremental. O trabalho também prevê recursos de gestão de dados e evolução de esquemas para atender a novas cargas de trabalho.

O Iceberg é um formato aberto para administrar grandes conjuntos de dados analíticos em diferentes mecanismos de processamento. O projeto foi criado na Netflix em 2017, aberto à comunidade em 2018 e tornou-se um projeto de nível superior da Apache em 2020.

Metadados e commits mais eficientes

Entre as mudanças propostas estão uma árvore adaptativa de metadados, commits de arquivo único, estatísticas de colunas tipadas, caminhos relativos para arquivos e suporte a atualizações em nível de coluna. A estrutura busca reduzir operações necessárias para gravar dados.

No Iceberg V3, adicionar um arquivo de dados exige pelo menos quatro operações de entrada e saída, incluindo criar e reescrever manifestos. A proposta V4 permite que a raiz da árvore de metadados aponte diretamente para os arquivos, reduzindo o processo a uma gravação de metadados.

Segundo Weeks, essa simplificação poderia permitir commits a cada segundo ou em intervalos inferiores a um segundo. A recomendação atual é evitar commits em intervalos menores que dois minutos, o que restringe a frequência de gravação em algumas cargas de trabalho.

Novos recursos para tabelas

A proposta inclui valores padrão definidos por expressões e restrições de verificação, unicidade e chave primária. O formato também passaria a acompanhar o estado de validação dessas restrições para indicar aos mecanismos de processamento quando são necessárias verificações adicionais.

Campos usados apenas para estatísticas poderão apoiar particionamento, ordenação e filtragem sem armazenar dados adicionais. As estatísticas de colunas também deixariam o formato binário do V3 e passariam a ser estruturadas e tipadas, facilitando projeções e a evolução de esquemas.

Tipos de dados e compatibilidade

O Iceberg V4 propõe tipos de dados para arquivos e vetores, que podem atender a cargas de trabalho adicionais, como aplicações de inteligência artificial e busca. Esses tipos fazem parte da ampliação prevista para o formato e seus usos analíticos.

Durante a sessão, Weeks confirmou que os metadados do V4 não terão compatibilidade retroativa com leitores antigos. Metadados V3 existentes podem permanecer durante uma atualização, mas leitores antigos não conseguirão consumir a nova representação.

Confira mais em: https://guiadeti.com.br/noticias/apache-iceberg-v4-propoe-reformular-metadados-escalar-gravacoes/

Top comments (0)