DEV Community

Cover image for Amazon S3 Files: Tudo o que Você Precisa Saber Sobre o Novo Armazenamento de Arquivos
Isaque Alcantara
Isaque Alcantara

Posted on

Amazon S3 Files: Tudo o que Você Precisa Saber Sobre o Novo Armazenamento de Arquivos

#aws #cloudcomputing #architecture #s3

Sumário

Introdução: O Fim da Escolha Binária entre Objeto e Arquivo

O mundo da computação em nuvem acaba de presenciar um dos seus marcos mais importantes dos últimos anos. Em 7 de abril de 2026, a Amazon Web Services anunciou o lançamento do Amazon S3 Files, um produto inovador que promete revolucionar a forma como arquitetos de software, engenheiros de dados, equipes de Inteligência Artificial e desenvolvedores interagem com seus sistemas de armazenamento na nuvem.

Por quase duas décadas, o ecossistema de TI foi obrigado a fazer uma escolha binária que, muitas vezes, acabava sendo limitante. De um lado da equação estava o armazenamento de objetos, como o Amazon S3, que oferecia uma durabilidade incomparável de 11 noves (99,999999999%), custo extremamente baixo, escalabilidade praticamente infinita e ampla integração com o mundo web por meio de APIs REST.

Do outro lado, tínhamos o armazenamento baseado em sistemas de arquivos (como NFS): suporte nativo ao padrão POSIX, operações interativas com baixa latência, controle de bloqueio de arquivos e compatibilidade com aplicações legadas e ferramentas de linha de comando.

Até agora, se fosse necessário aproveitar os benefícios de ambos, era preciso construir arquiteturas complexas. Com a chegada do Amazon S3 Files, essa dicotomia histórica chega ao fim. A AWS criou uma ponte que permite tratar buckets do S3 como sistemas de arquivos completos.

O Paradigma Histórico: Por que isso era um problema?

Para entender a importância desse lançamento, é preciso olhar para as dores que as equipes de engenharia enfrentam no dia a dia. Aplicações modernas e ferramentas de Machine Learning frequentemente dependem da semântica de sistemas de arquivos. Uma simples linha como open('/data/dataset.csv', 'r') em Python pressupõe que será possível interagir de forma transparente com bibliotecas de processamento de dados. Conseguir listar diretórios com comandos como ls ou inspecionar metadados com stat também é um comportamento esperado.

Como o Amazon S3 é um serviço de armazenamento de objetos baseado em operações HTTP (PUT, GET, DELETE), ele não oferecia esse tipo de funcionalidade de forma nativa. Com o tempo, desenvolvedores passaram a depender de três abordagens principais como solução alternativa:

  • Processo de Download/Upload: Os dados permaneciam no S3, mas sempre que era necessário processá-los, os arquivos precisavam ser baixados para um armazenamento local (ou para serviços como o Amazon EFS), processados com ferramentas baseadas em arquivos e, depois, enviados novamente ao S3. Isso gerava duplicação de armazenamento, custos adicionais de transferência e atrasos significativos devido à movimentação de dados.
  • FUSE (Filesystem in Userspace): Ferramentas como s3fs ou AWS Mountpoint for S3 tentavam fazer o S3 se comportar como um disco. Embora o Mountpoint tenha melhorado o desempenho, essas soluções apresentavam limitações importantes, como otimização principalmente para leitura ou suporte apenas a gravações sequenciais, sem oferecer suporte completo a operações atômicas ou ao bloqueio de arquivos no estilo POSIX.
  • Pagamento Premium por Sistemas de Arquivos: Em alguns casos, organizações evitavam o S3 completamente para dados acessados com frequência e mantinham tudo em sistemas baseados em arquivos, como o Amazon EFS ou o Amazon FSx. Isso garantia compatibilidade, mas com um custo por gigabyte significativamente mais alto.

O S3 Files resolve esses três desafios de uma só vez — eliminando a necessidade de movimentação de dados, dispensando conectores complexos de terceiros e melhorando a eficiência de custos em larga escala.

O que é o Amazon S3 Files? Uma visão geral do novo serviço

Em termos simples, o Amazon S3 Files transforma seus buckets do Amazon S3 em sistemas de arquivos compartilhados ao conectar diretamente qualquer recurso de computação da AWS aos dados armazenados nesses buckets. Ele expõe uma interface de Network File System (NFS versão 4.1) diretamente sobre os dados que já estão no bucket.

Sem que os dados precisem sair do S3, o serviço traduz de forma inteligente as operações padrão de sistemas de arquivos em requisições eficientes da API do S3 nos bastidores. Na prática, o S3 passa a funcionar como um “disco compartilhado”. Quando uma aplicação altera algum dado por meio do mount NFS, essa alteração é automaticamente refletida no objeto subjacente no S3.

As equipes não precisam fazer nenhuma modificação no código de aplicações baseadas em sistemas de arquivos. Utilitários padrão de linha de comando do Linux, frameworks legados de Machine Learning, agentes de IA e sistemas analíticos podem ler e gravar dados como fariam em um disco local, enquanto o S3 atua como a fonte principal dos dados (System of Record).

Mergulho na Arquitetura: Como o S3 Files Funciona por Baixo dos Panos

A AWS não construiu o Amazon S3 Files do zero. Internamente, o serviço se apoia na tecnologia já consolidada do Amazon Elastic File System para lidar com conexões e camadas de desempenho. Seu design segue uma abordagem de dupla camada, pensada para resolver um dos maiores desafios técnicos: a latência de metadados em armazenamento de objetos.

1. Camada de Metadados com Latência Submilissegundo

Quando se executa um comando ls em um diretório com milhares de arquivos, um sistema de arquivos tradicional responde quase instantaneamente. Em contraste, buckets de armazenamento de objetos podem levar mais tempo devido à paginação nas listagens. O S3 Files resolve isso mantendo uma camada dedicada e extremamente rápida de metadados. Essa camada mantém uma visão em tempo real dos objetos no bucket, permitindo que operações como stat, navegação em diretórios e verificação de permissões ocorram com latência mínima — sem a necessidade de consultar constantemente a API do Amazon S3.

2. Tiering Inteligente e Cache

Para entregar alto desempenho em diferentes tipos de workload, o S3 Files utiliza uma estratégia de armazenamento em camadas (tiering) inteligente. Arquivos menores e dados “quentes”, que se beneficiam de acesso rápido e aleatório, são mantidos em uma camada de cache de alta performance. Já para leituras sequenciais de grande volume — como carregar um dataset de 100 GB para treinamento de IA — o sistema ignora o cache e faz streaming direto do S3, atingindo um throughput agregado extremamente alto, que pode chegar a múltiplos terabytes por segundo.

3. Modelo “Stage and Commit” com Sincronização Bidirecional

O S3 Files conecta a semântica de sistemas de arquivos com a de armazenamento de objetos por meio de um modelo de “stage and commit”. Alterações feitas pela interface NFS são primeiro processadas na camada de alta performance e, em seguida, sincronizadas de forma assíncrona com o S3 como atualizações completas de objetos. Esse processo funciona nos dois sentidos: se uma função serverless grava um novo objeto diretamente pela API do S3 (por exemplo, usando um SDK em Python), esse arquivo se torna visível quase imediatamente no sistema de arquivos montado para qualquer instância EC2 que esteja acessando o bucket.

Casos de Uso: Onde o S3 Files se Destaca

A introdução do Amazon S3 Files abre uma ampla gama de possibilidades, especialmente em cenários que antes sofriam com a lacuna entre armazenamento de objetos e sistemas de arquivos tradicionais.

Preparação de Dados para Machine Learning e IA

Cientistas de dados frequentemente gastam muito tempo limpando e preparando datasets brutos. No passado, isso exigia a construção de pipelines complexos e caros para mover dados do Amazon S3 para o Amazon Elastic File System, executar o pré-processamento com ferramentas como Pandas ou NumPy e, depois, enviar os resultados de volta ao S3. Com o S3 Files, o bucket pode simplesmente ser montado em uma instância de treinamento (ou no Amazon SageMaker), permitindo que scripts de preparação trabalhem diretamente com os dados no S3.

Agentes de IA e Pipelines Colaborativos (Agentic AI)

Agentes de IA modernos precisam de espaços de trabalho persistentes e estado de sessão. Agentes que geram código, compilam projetos ou analisam documentos podem agora usar o S3 Files como um diretório raiz compartilhado. Um agente pode escrever saídas intermediárias, e outro — rodando em um contêiner diferente — pode acessá-las imediatamente usando semântica POSIX. Isso possibilita colaboração em larga escala entre agentes de IA sem depender de bancos de dados intermediários complexos.

Modernização de Aplicações (Lift-and-Shift)

Muitas organizações ainda operam sistemas legados on-premises, como ERPs, servidores de mídia ou processadores de documentos, que esperam caminhos de arquivo como //storage/data/. Migrar esses sistemas para a nuvem sempre foi um desafio, pois o S3 não oferecia compatibilidade nativa com sistemas de arquivos, enquanto o EFS pode ser caro para armazenamento de longo prazo. O S3 Files permite uma abordagem de lift-and-shift mais simples: as aplicações continuam funcionando normalmente, enquanto os dados são armazenados no S3 com alta escalabilidade.

Computação de Alto Desempenho (HPC) e Genômica

Áreas como pesquisa biomédica, meteorologia e física frequentemente dependem de ferramentas científicas antigas baseadas no padrão POSIX. Com o S3 Files, clusters de computação podem acessar diretamente grandes volumes de dados — como bibliotecas genômicas — armazenados de forma econômica no S3, enquanto ainda se beneficiam de suporte completo ao NFS v4.1 e leituras paralelas de alto throughput.

AWS Lambda e Processamento Serverless de Arquivos Grandes

Funções do AWS Lambda possuem limites rígidos de armazenamento local (até 10 GB em /tmp). Processar arquivos muito grandes — como um vídeo de 50 GB — sempre foi um desafio em arquiteturas serverless. Com o S3 Files, funções Lambda podem montar grandes volumes de dados como se fossem um sistema de arquivos local, permitindo o processamento contínuo e nativo de arquivos em larga escala.

Comparação Detalhada: S3 Files vs. Outros Serviços de Armazenamento da AWS

Para tomar decisões arquitetônicas mais acertadas, é essencial entender como o Amazon S3 Files se posiciona em relação às soluções já existentes no ecossistema AWS.

S3 Files vs. Amazon S3 Standard (API HTTP)

  • Acesso: O S3 Standard exige o uso de APIs ou SDKs (como PUT e GET) e trabalha com objetos imutáveis. Já o S3 Files apresenta esses mesmos dados como arquivos e diretórios acessíveis via NFS.
  • Mutações: No S3 tradicional, não é possível alterar apenas uma parte de um objeto — qualquer modificação exige a reescrita completa. O S3 Files resolve isso ao permitir alterações parciais no nível de blocos, abstraindo toda a complexidade internamente.
  • Uso ideal: APIs do S3 continuam sendo a melhor escolha para aplicações cloud-native. Já o S3 Files é mais adequado quando há necessidade de semântica de sistema de arquivos.

S3 Files vs. Amazon EFS (Elastic File System)

  • Foco: O EFS é um sistema de arquivos elástico voltado para uso geral. O S3 Files, embora utilize tecnologia do EFS internamente, tem o S3 como camada principal de persistência.
  • Escala e custo: Armazenar grandes volumes no EFS pode ser caro. O S3 Files mantém os dados no S3 (muito mais econômico) e usa uma camada adicional para performance interativa. Enquanto o EFS é ideal para arquivos sensíveis à latência (como diretórios de sistema), o S3 Files se destaca em dados massivos, analytics e datalakes.

S3 Files vs. Amazon EBS (Elastic Block Store)

  • Compartilhamento: Volumes EBS geralmente são anexados a uma única instância por vez (com exceções limitadas). O S3 Files, por outro lado, é nativamente compartilhado — múltiplas instâncias, containers ou funções Lambda podem acessar os mesmos dados simultaneamente.
  • Persistência: O EBS é vinculado a zonas de disponibilidade específicas. Já o S3 (e o S3 Files) é multi-AZ por natureza, oferecendo maior resiliência regional.

S3 Files vs. Amazon FSx (Lustre, Windows, NetApp, OpenZFS)

  • Especialização: O FSx é voltado para cenários altamente específicos. Por exemplo, o FSx for Lustre é otimizado para HPC e pode integrar com S3, mas exige provisionamento dedicado, maior custo e mais gestão.
  • Posicionamento: O S3 Files é totalmente gerenciado, pronto para uso geral via NFS 4.1, e atende a uma ampla gama de casos empresariais. Na prática, ele se posiciona como a opção padrão para integrar armazenamento de objetos com experiência de sistema de arquivos.

Governança, Segurança e Conformidade

Ao introduzir uma ponte tão poderosa para um repositório principal de dados, a segurança naturalmente se torna uma das maiores preocupações para qualquer CISO. A Amazon Web Services projetou o Amazon S3 Files para manter a segurança centralizada e consistente.

  • Identity and Access Management (IAM): Todo o controle de acesso é gerenciado por meio do AWS Identity and Access Management. Políticas baseadas em recursos e em identidade podem ser usadas para definir quem pode montar e acessar o sistema de arquivos, respeitando também as permissões granulares já configuradas no Amazon S3.
  • Permissões POSIX: Além do IAM, o S3 Files oferece suporte às permissões padrão do Linux (User ID e Group ID). Esses valores de UID/GID são armazenados como metadados nos objetos do S3, garantindo que operações como chmod, realizadas em um sistema montado, sejam aplicadas corretamente na camada de armazenamento.
  • Criptografia: Os dados em trânsito entre recursos computacionais e o S3 Files são criptografados utilizando TLS 1.3. Já os dados em repouso são protegidos por chaves gerenciadas automaticamente pelo S3 (SSE-S3) ou por chaves gerenciadas pelo cliente através do AWS Key Management Service.
  • Auditoria (Audit Logging): Todos os eventos de gerenciamento são registrados por meio do AWS CloudTrail, permitindo rastreabilidade completa e ajudando organizações a atender requisitos de conformidade ao monitorar quem acessou ou tentou modificar o sistema de arquivos.

Como Iniciar e Integrar com Seus Workloads

A implementação do Amazon S3 Files foi pensada para gerar o mínimo de atrito para qualquer engenheiro já familiarizado com a AWS:

  • Configuração: Por meio do console da AWS, ou utilizando ferramentas como AWS CLI ou Terraform, é possível criar um recurso de interface do S3 Files e apontá-lo para o bucket (ou prefixo/diretório dentro dele) que se deseja expor no Amazon S3.
  • Instalação do Driver: Nos recursos de computação (como instâncias EC2 ou containers no EKS), é necessário garantir que o pacote amazon-efs-utils esteja instalado. Como o serviço utiliza a infraestrutura do Amazon Elastic File System por baixo dos panos, esse é o único requisito do lado do cliente.
  • Montagem Simples: Com um comando Linux simples, como: 
mount -t s3files file-system-id /mnt/meu-datalake
Enter fullscreen mode Exit fullscreen mode

A partir desse ponto, o diretório /mnt/meu-datalake passa a funcionar como um sistema de arquivos de alta capacidade, com todo o conteúdo do S3 disponível para acesso imediato.

Conclusão: O Futuro do Armazenamento de Dados na Nuvem

Com o lançamento do Amazon S3 Files, a Amazon Web Services não está apenas adicionando mais uma ferramenta ao seu vasto portfólio — está resolvendo um desafio arquitetônico antigo. A proposta dos Data Lakes sempre foi centralizar a fonte de verdade das organizações. No entanto, isso frequentemente era comprometido quando equipes de IA e operações precisavam duplicar e isolar dados para torná-los compatíveis com ferramentas baseadas em sistemas de arquivos.

Ao eliminar essa necessidade de movimentação e duplicação, o S3 Files reduz significativamente a complexidade das arquiteturas modernas, corta custos associados à redundância de dados, aumenta a produtividade de cientistas e engenheiros e posiciona o armazenamento de objetos como o núcleo central de todas as cargas de trabalho.

Seja viabilizando o lift-and-shift de aplicações legadas ou permitindo o treinamento de novas gerações de IA com petabytes de dados acessados nativamente, o Amazon S3 deixa de ser apenas a base da “internet dos dados” e passa a atuar também como um verdadeiro disco rígido infinito e compartilhado.

Referências

Top comments (0)