วิธีการสร้างกราฟข้อมูลจาก Amazon DynamoDB ด้วย Amazon QuickSight

สารบัญ (Table of Content)

1. บทนำ
2. แผนผังของระบบ
3. การประเมินราคาเบื้องต้น
4. ขั้นตอนที่ 1: เตรียมความพร้อมของ AWS Services
5. ขั้นตอนที่ 2: สร้าง Amazon Athena Data source
6. ขั้นตอนที่ 3: ทดลอง Query ข้อมูล DynamoDB ผ่าน Amazon Athena
7. ขั้นตอนที่ 4: เชื่อมต่อ Amazon QuickSight กับ Amazon Athena ด้วย Federated Query feature
8. ขั้นตอนที่ 5: สร้าง QuickSight Dataset จาก DynamoDB ผ่าน Athena
9. ขั้นตอนที่ 6: ทดลองสร้าง QuickSight Analyse จาก DynamoDB Dataset
10. บทสรุป

บทนำ

บางครั้งในองค์กร อาจจะมีความต้องการที่จะนำข้อมูลที่อยู่ในระบบฐานข้อมูล (database) อย่าง Amazon DynamoDB, Amazon DocumentDB, Apache HBase, และอื่น ๆ นำมาแสดงผลในรูปของกราฟ (graph) หรือสร้าง dashboard เพื่อวิเคราะห์ หา insights จากข้อมูล

ทาง AWS มี service ที่ใช้สำหรับทำ Business Intelligent (BI) tool ชื่อว่า Amazon QuickSight โดยสามารถใช้ service ในการสร้างกราฟหรือ dashboard จากฐานข้อมูลที่รองรับได้ เช่น Amazon RDS and Aurora, Amazon S3, Amazon Athena, และอื่น ๆ

แต่ Amazon QuickSight ไม่ได้มี native support ระบบฐานข้อมูลแบบ NoSQL เช่น Amazon DynamoDB, Amazon DocumentDB เป็นต้น ทำให้ผู้ใช้งานต้องทำการย้ายข้อมูลไปยังถังข้อมูลอื่น ๆ ซึ่งจะเกิด overhead ในส่วนของ data synchronization และ การจัดการ application ที่ใช้ย้ายข้อมูล

บทความนี้จะแสดงวิธีการเชื่อมต่อระหว่าง Amazon QuickSight ไปยังระบบฐานข้อมูลแบบ NoSQL เช่น Amazon DynamoDB โดยตรง โดยไม่มีการย้ายข้อมูลจากต้นทาง และทำให้ข้อมูลที่แสดงอยู่ในกราฟ มีความถูกต้องเหมือนข้อมูลต้นทาง

แผนผังของระบบ (Architecture Diagram)

การประเมินราคาเบื้องต้น (Cost Estimation)

• ราคา Storage และ Read Capacity Unit (RCU) ของ DynamoDB - Amazon DynamoDB Pricing
• ราคา Data Scan ของ Athena - Amazon Athena Pricing
• ราคา User และ SPICE ของ QuickSight - Amazon QuickSight Pricing
• ราคา Storage ของ S3 - Amazon S3 Pricing

ℹ️ หมายเหตุ: อาจจะมีราคาอีกนิดหน่อยในส่วนของ Lambda, Network ที่ยังไม่ได้รวม

ขั้นตอนที่ 1: เตรียมความพร้อมของ AWS Services

• เริ่มใช้งาน Amazon Athena โดยต้องเป็น engine version 2 และกำหนด S3 Result Data bucket (e.g. nutchanon-athena-query-results)
• สร้าง Amazon S3 สำหรับ Spill Bucket Data ของ Athena
• เริ่มใช้งาน Amazon QuickSight โดยการ Setup - Setting Up for Amazon QuickSight
• ตรวจสอบข้อมูลใน DynamoDB Table (e.g.quicksight-ddb) ว่าพร้อมสำหรับใช้งาน

ℹ️ หมายเหตุ: โดยหากสำหรับผู้ที่ยังไม่มีข้อมูล DynamoDB ที่ใช้ในการทดลองสามารถดูวิธีการนำข้อมูลตัวอย่างจาก CSV file เข้าใน DynamoDB Table ได้จาก วิธีการนำข้อมูล CSV จาก Amazon S3 เข้า Amazon DynamoDB

ขั้นตอนที่ 2: สร้าง Amazon Athena Data source

• สร้าง Data Source ใหม่จาก "Connect data source"
• เลือก "Query a data source" และ "Amazon DynamoDB"
• เลือก "Configure new AWS Lambda function" เพื่อสร้าง Lambda Connector
• เลือก "SpillBucket", "AthenaCatalogName" และยืนยัน "Custom IAM Roles" แล้วกด "Deploy" จากนั้นระบบจะทำการสร้าง Cloudformation สำหรับ Lambda Connector ให้
• กลับมาเลือก Lambda Connector ที่เพิ่งสร้าง (อาจจะต้องกด refresh 1 ครั้ง) แล้วตั้งชื่อ catalog ให้เรียบร้อย

ขั้นตอนที่ 3: ทดลอง Query ข้อมูล DynamoDB ผ่าน Amazon Athena

• เลือก "Data Source" เป็น catalog name ที่เพิ่งสร้าง หลังจากนั้นจะปรากฏข้อมูล table ของ DynamoDB ให้ทำการ select ข้อมูลดู

ขั้นตอนที่ 4: เชื่อมต่อ Amazon QuickSight กับ Amazon Athena ด้วย Federated Query feature

• เปลี่ยน QuickSight region ไปที่ N.Virginia เพื่อแก้ไข configuration และเลือกไปที่ "Manage QuickSight"
• จองข้อมูล SPICE Capacity ให้เรียบร้อย (อ่านว่า SPICE คืออะไร ได้จาก Managing SPICE Capacity
• ในส่วนของ "Security & Permission" ให้เลือก "Add or Remove"
• ให้เลือก Amazon Athena (หากเลือกอยู่แล้ว ให้กด 2 ครั้ง) จะมีหน้าต่างให้เลือก permission สำหรับ Amazon S3 ให้เลือก Athena Spill และ Result Data Bucket พร้อมกับ write permission
• เปลี่ยน QuickSight region ไปที่ Singapore (หรือต้นทางที่ใช้งาน) เพื่อเตรียมพร้อมสำหรับการสร้าง Dataset
• กลับไปที่หน้า AWS Management Console และไปยัง "IAM" Service และไปยัง IAM Role
• เพิ่ม policy ที่ IAM Role "aws-quicksight-s3-consumers-role-v0" ที่ทางระบบจะสร้างให้อัตโนมัติหลังจาก grant S3 permission ใน QuickSight โดยทำการเพิ่ม "inline policy" ชื่อ "InvokeAthenaFedereted" ตาม JSON ด้านล่าง

⚠️ อย่าลืมแก้ "aws_account_id" และ Lambda Function name ที่กำหนดไว้ในขั้นตอนที่ 2 (ตัว "AthenaCatalogName")

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "InvokeAthenaFedereted",
            "Effect": "Allow",
            "Action": "lambda:InvokeFunction",
            "Resource": "arn:aws:lambda:ap-southeast-1:<aws_account_id>:function:dynamocatalog"
        }
    ]
}

ขั้นตอนที่ 5: สร้าง QuickSight Dataset จาก DynamoDB ผ่าน Athena

• เลือกสร้าง Dataset จาก Athena Data Source โดยให้ตั้งชื่อ connection เช่น "athena-dynamodb"
• เลือก catalog name ที่สร้างเอาไว้ (ชื่อเดียวกับที่สร้างไว้ในขั้นตอนที่ 2) และ table ให้เรียบร้อย
• เลือกสร้างข้อมูลจาก SPICE
• รอจน import data เข้าไปที่ SPICE ให้เรียบร้อย
• เปลี่ยน data type ของแต่ละ column ให้เหมาะสมกับต้นทาง ซึ่งจะมีผลกับการนำไปสร้างกราฟต่อ ๆ ไป

ขั้นตอนที่ 6: ทดลองสร้าง QuickSight Analyse จาก DynamoDB Dataset

• ทดลองสร้างกราฟ จะพบว่า สามารถสร้างกราฟต่าง ๆ จากข้อมูล DynamoDB ได้โดยตรง

ℹ️ หมายเหตุ: การเปลี่ยน data type ของแต่ละ column ใน dataset มีผลต่อการสร้างกราฟอย่างมาก

บทสรุป

Amazon QuickSight สามารถเชื่อมต่อโดยตรงกับระบบฐานข้อมูล หรือ data source ที่ไม่ได้ support โดยตรงผ่าน Amazon Athena Federeted Query ได้ โดยผู้ใช้งานสามารถสร้าง Lambda Connector ไปเชื่อมต่อระบบฐานข้อมูลอย่าง Amazon DynamoDB หรือ Amazon DocumentDB ได้

ซึ่งจะช่วยให้ผู้ใช้งาน สามารถสร้างกราฟจากข้อมูลต่าง ๆ ที่อยู่บนระบบฐานข้อมูลโดยไม่จำเป็นต้องย้ายข้อมูลไปที่อื่น ไม่จำเป็นต้องจัดการ application ที่ใช้สำหรับย้ายข้อมูล และยังได้ข้อมูลที่นำมาแสดงผลแบบ real-time อีกด้วย

แหล่งอ้างอิง

[1] https://aws.amazon.com/blogs/big-data/accessing-and-visualizing-data-from-multiple-data-sources-with-amazon-athena-and-amazon-quicksight/
[2] https://aws.amazon.com/blogs/big-data/query-any-data-source-with-amazon-athenas-new-federated-query/

Comments

[Chatchai Komrangded (Bas)]

Great one, Federated query concept from Athena.