S3テーブルバケットを使ってApache Icebergを試す

#s3 #aws #japanese

4/12に流しのエバンジェリストシリーズ　AWSを中心として色んなサービスの基礎を学ぼうで久しぶりに開催されたAmazon S3 Tables + Amazon Athena / Apache Icebergに参加した感想を記載する。

ハンズオンシナリオ

Amazon S3 Tablesはre:Invent 2024でアナウンスされた新しい機能であり、ブログを見る限りはまだまだお試しでの運用が多いような状況。東京リージョンや大阪リージョンでも利用できるようになったので、Apache Iceberg のメリットとは？でまとめられているようにログ分析基盤を中心とした運用がこれから広まっていくことが期待される。
S3を利用して簡単にデータ管理ができるようになったことは、データの運用が軽減できる選択肢が増えることにつながっている。
Lake Formation経由でアクセスする際に、SQLの実行権限がIAMと統合されていることはアプリケーション実装の観点で非常にやりやすい。
テーブルバケット、ネームスペース、テーブルの追加、削除がCLIでのみサポートされていない点は使いづらいため、マネージメントコンソールでのサポートが期待される。

１. テーブルデータのクエリ

Iceberg テーブルデータをクエリするに記載されているが、テーブルの履歴を確認することができる。

この内容をもとにタイムトラベルクエリを利用するという運用になっていく。

２. viでのペーストモードについて

viでtable.jsonファイルを生成する手順がハンズオンシナリオに含まれているが、viではインサートモードで貼り付けを行った場合、オートインデント機能によって意図しない崩れが発生してしまう。

:set pasteでペーストモードに入ったうえで、iを押下して挿入（貼付け）モードにすることでオートインデントの副作用を抑えることができる。