ตัวอย่างการนำข้อมูล CSV จาก Amazon S3 เข้า Amazon Elasticsearch Service

สารบัญ (Table of Content)

1. บทนำ
2. แผนผังของระบบ
3. การประเมินราคาเบื้องต้น
4. ข้อจำกัดของตัวอย่างที่ควรรู้
5. ขั้นตอนที่ 1: นำข้อมูลตัวอย่างเข้า Amazon S3
6. ขั้นตอนที่ 2: สร้าง Amazon Elasticsearch Service domain
7. ขั้นตอนที่ 3: สร้าง AWS Cloud9 และเตรียม configuration
8. ขั้นตอนที่ 4: แก้ไข application configuration ให้พร้อมกับการใช้งาน
9. ขั้นตอนที่ 5: Execute import code บน AWS Cloud9
10. ขั้นตอนที่ 6: ตรวจสอบข้อมูลที่ import ที่ Amazon Elasticsearch Service

บทนำ

หลาย ๆ ครั้ง ผู้ใช้งานมีความต้องการที่จะนำข้อมูล จากระบบฐานข้อมูลแบบตาราง (RDBMS) ซึ่งอยู่ในรูปแบบ CSV file นำเข้า (import) ไปยังระบบฐานข้อมูลแบบ NoSQL อย่างเช่น Amazon Elasticsearch Service เป็นต้น และผู้ใช้งานพบว่า Amazon Elasticsearch Service ไม่ได้มี feature อย่างเช่นการ import โดยตรง ทำให้ผู้ใช้งาน พบปัญหาเกี่ยวกับการเขียน application ขึ้นมาเอง และวิธีการกำหนดสิทธิต่าง ๆ

ในบทความนี้จะเป็นตัวอย่างของการนำข้อมูล CSV file เข้า Amazon Elasticsearch Service โดยมีวิธีการ รวมถึงตัวอย่าง code ที่ผู้ใช้งานสามารถนำไปปรับใช้ให้เหมาะสมกับข้อมูลที่ผู้ใช้งานต้องการได้อีกด้วย

แผนผังของระบบ (Architecture Diagram)

การประเมินราคาเบื้องต้น (Cost Estimation)

• ราคา Cluster ของ Amazon Elasticsearch Service - Amazon Elasticsearch Service Pricing
• ราคา Storage ของ S3 - Amazon S3 Pricing
• (option 1) ราคาของ AWS Cloud9 Instance - AWS Cloud9
• (option 2) ราคาเครื่องของ Amazon EC2 - Amazon EC2 Pricing

ℹ️ หมายเหตุ: อาจจะมีราคาอีกนิดหน่อยในส่วนของ Network ที่ยังไม่ได้รวม

ข้อจำกัดของตัวอย่างที่ควรรู้

• CSV file จะต้องมี header อยู่ที่ row แถวแรกของ file
• หากผู้ใช้เลือก Amazon EC2 ในการติดตั้ง application จะต้องทำการติดตั้ง Python Binary version 3.7 เป็นต้นไปด้วย แต่หากใช้ AWS Cloud9 จะทำการติดตั้งไว้ให้เรียบร้อยแล้ว
• ผู้ใช้งานสามารถเลือกใช้งาน Internet Gateway (IGW) หรือ VPC S3 Gateway Endpoint สำหรับเชื่อมต่อระหว่าง Amazon S3 กับ Internal VPC services ได้
• ในตัวอย่าง เป็นการเลือกติดตั้ง Amazon Elasticsearch Service บน VPC และเปิดการใช้งาน "Fine-grained Access Control" ผ่าน HTTP สำหรับ Username และ Password

ขั้นตอนที่ 1: นำข้อมูลตัวอย่างเข้า Amazon S3

• Download ข้อมูลตัวอย่าง SaaS-Sales.csv
• Upload ข้อมูลตัวอย่างขึ้น S3 (e.g. nutchanon-es-importer)

ขั้นตอนที่ 2: สร้าง Amazon Elasticsearch Service domain

• สร้าง Amazon Elasticsearch cluster พร้อมกับปรับ configuration ด้านความปลอดภัยให้เหมาะสมตามนี้
  • กำหนด access control policy ใน "Fine-grained Access Control" เพื่อให้ user สามารถเขียนข้อมูลใน index ที่กำหนดได้
  • เลือก deploy บน VPC และกำหนด security group สำหรับให้ Cloud9 หรือ EC2

ขั้นตอนที่ 3: สร้าง AWS Cloud9 และเตรียม configuration

• สร้าง AWS Cloud9 environment สำหรับใช้งาน
• ตรวจสอบ version ของ python ผ่าน command line โดยคาดหวังว่าจะเจอ Python version 3.7+

python3 -V

• ทำการ download code ตัวอย่างจาก Github:load-s3-to-es[1]

git clone https://github.com/nutchanon-l/load-s3-to-es.git

• ทำการติดตั้ง Python packages สำหรับ pre-requisite ที่จำเป็นผ่าน

pip3 install -r load-s3-to-es/requirements.txt

• ทำการสร้าง IAM Role สำหรับ AWS Cloud9 ให้สามารถดึงข้อมูลจาก Amazon S3 ด้วย IAM Policy ดังตัวอย่าง (อย่าลืมเปลี่ยน Amazon S3 Bucket)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "S3ReadObject",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::nutchanon-es-importer",
                "arn:aws:s3:::nutchanon-es-importer/*"
            ]
        }
    ]
}

• ทำการ attach IAM role ไปยัง AWS Cloud9 Instance ผ่าน Amazon EC2 Console

ขั้นตอนที่ 4: แก้ไข application configuration ให้พร้อมกับการใช้งาน

• แก้ไข config.json ไฟล์ (อย่าลืมเปลี่ยน Elasticsearch endpoint ด้วย)

{
    "s3": {
        "bucket": "nutchanon-es-importer",
        "prefix": "/"
    },
    "elasticsearch": {
        "url": ["https://vpc-nutcha-es-01-jozw26jnqvxcufjccrpcmiowam.ap-southeast-1.es.amazonaws.com"],
        "port": 443,
        "username": "<your_username>",
        "password": "<your_password>"
    }
}

• แก้ไข metadata.json ไฟล์

{
    "index": {
        "es_index_as_filename": true,
        "es_index_name": ""
    },
    "data": {
        "headers": ["Row ID", "Order ID", "Order Date", "Date Key", "Contact Name", "Country", "City", "Region", "Subregion", "Customer", "Customer ID", "Industry", "Segment", "Product", "License", "Sales", "Quantity", "Discount", "Profit"],
        "id_field": "Row ID"
    }
}

ขั้นตอนที่ 5: Execute import code บน AWS Cloud9

• ทำการรัน code ด้วย command ดังต่อไปนี้

cd load-s3-to-es
python3 s3-to-es.py

• รอจนสุดท้ายขึ้นว่า

INFO: Bulk write succeed: 9994 documents

ขั้นตอนที่ 6: ตรวจสอบข้อมูลที่ import ที่ Amazon Elasticsearch Service

• ตรวจสอบ index ที่ทำการ import จาก command ดังนี้ (อย่าลืมเปลี่ยน Elasticsearch endpoint ด้วย)

$ curl -u <your_username>:<your_password> -X GET "https://vpc-nutcha-es-01-jozw26jnqvxcufjccrpcmiowam.ap-southeast-1.es.amazonaws.com/_cat/indices?v&s=index"
health status index                uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_1            cJyYpOa0RkOmvZHKCFAgMw   1   1          0            0       416b           208b
green  open   .opendistro_security 15W1rxD9TJOTfuld6W_p1g   1   2          9            4    172.9kb         59.6kb
green  open   saas-sales           KvhEecP2QvCO4UfThBki_A   5   1       9994            0      8.4mb          4.1mb

• ทดสอบการค้นหาข้อมูลด้วย search API ผ่าน "saas-sales" index (อย่าลืมเปลี่ยน Elasticsearch endpoint ด้วย)

curl -u <your_username>:<your_password> -X GET "https://vpc-nutcha-es-01-jozw26jnqvxcufjccrpcmiowam.ap-southeast-1.es.amazonaws.com/saas-sales/_search"

แหล่งอ้างอิงอื่น ๆ

[1] https://github.com/nutchanon-l/load-s3-to-es

Comments

[Chatchai Komrangded (Bas)]

Good one!