DEV Community: gamer

Formance from 0 to 0.5

gamer — Wed, 28 Dec 2022 15:47:54 +0000

What?
Formance Stack เป็น open-source tool ที่ออกแบบมาเพื่อที่จะช่วย developer สร้าง, จัดการ, และติดตามการเข้าออกของเงินในบัญชี โดยเราสามารถนำ tool นี้มีใช้ได้ในโปรเจ็คขนาดเล็ก หรือแม้กระทั่งใน platform ทางการเงินขนาดใหญ่

Formance Ledger?
Formance Ledger คือ service ที่ทำให้เราสามารถติดตามการเคลื่อนไหวหรือ สถานะเกี่ยวกับการเงินได้แบบ real-time และเราสามารถ disign และบันทึก transaction ทางการเงินที่มีความสับซ้อนได้อีกด้วย ซึ่งเราสามารถเขียนโปรแกรมสั่งการได้โดยใช้ Numscript ที่ทำหน้าที่เป็น DSL (domain-specific language) ที่ถูกออกแบบมาช่วยเรา model transaction ทางการเงิน

Hello Formance!!!
มาลองใช้ง่ายแบบง่ายๆเพื่อให้เห็นภาพมากขึ้น Formance ได้จัดเตรียมวิธี install service ไว้หลายวิธีแต่วิธีที่ผมเลือกจะใช้ Docker

docker run -p 3068:3068 \
-v $HOME/numary:/root/.numary \
--env NUMARY_SERVER_HTTP_BIND_ADDRESS="0.0.0.0:3068" \
ghcr.io/formancehq/ledger:latest

หรือ Docker compose ซึ่งจะมาพร้อมกับ service postgres ซึ่งเป็น database ที่ใช้แทน default ที่เป็น sqlite

curl -L https://raw.githubusercontent.com/formancehq/ledger/main/docker-compose.yml -o docker-compose.yml

docker-compose up -d

ทดสอบโดยการใช้คำสั่ง

curl -X GET http://127.0.0.1:3068/_info

Hello world!!!
ในหัวนี้เราจะเรียนรู้:

การสร้าง Formance Ledger
สร้าง models transaction และ account โดยใช้ Numscript
นำเงินเข้าสู่ระบบด้วย @world account
ตรวจสอบ transaction และ ยอดคงเหลือใน account

อธิบาย @world account เพิ่มเติมที่ต้องมี account นี้เนื่องจากตัว Formance ledger มีการกำหนดว่าเงินที่เข้ามาในระบบไม่สามารถเสกมาจากอากาศลอยๆได้ ดังนั้นจึงต้องมี @world account เพื่อใช้นำเงินจากภายนอกเข้ามาสู่ในระบบ ledger ของเรา

จากหัวข้อด้านบนตอนนี้เราจะมี service Ledger รันอยู่ในเครื่องแล้ว เราลองมาสร้าง transaction แรกกันด้วยการสร้าง Numscript

first.num

send [COIN 100] (
  source = @world
  destination = @centralbank
)

jq -Rs '{plain: .}' first.num \
| curl -H "Content-Type: application/json" \
-X POST --data-binary @- \
https://localhost/api/ledger/{default}/script

Checking balances
ตรวจสอบรายการสามารถทำได้ด้วยการส่งคำสั่ง

curl --location --request GET 'http://localhost/api/ledger/{quickstart}/aggregate/balances?address=centralbank'

Storage consideration
ตัว Formance เองรองรับการเก็บข้อมูลไว้ใน storage 2 อย่างคือ Sqlite และ Postgres ซึ่งโดย default แล้วตัวระบบจะเลือกใช้ Sqlite มาให้ซึ่งสะดวกและง่ายสำหรับการทำการทดสอบบน local แต่ทางระบบเองก็มีการเตือนว่าไม่เหมาะสำหรับการนำมาใช้บน production product และกำลังจะถูก deprecated ใน Formance version 2.X
ตัวเลือกเดียวที่เหมาะสมก็จะเหลือแค่ Postgres ซึ่งเราสามารถใช้งานได้ด้วยการคำหนดค่า Environment

NUMARY_STORAGE_DRIVER=postgres \
NUMARY_STORAGE_POSTGRES_CONN_STRING=postgresql://localhost/dbname \

Concurrency Model
Formance มีการออกแบบการควบคุม concurrency ของ transaction เพื่อป้องกันการเกิด race condition เป็น 2 ส่วนคือ

Pre-commit in-memory or Redis-based locking
Optimistic locking

ส่วนการเลือกระหว่าง in-memory or Redis นั่นพิจารณาจากว่าหากเรา deploy แบบ multi-instances ให้เลือกใช้ Redis
อ่านเพิ่มเติม

Ledger separation
การเลือกแบ่ง Ledger ใน Formance หรือพูดง่ายๆว่าการแบ่ง schema ของ postgres ว่าเราควรจะทำเป็น single ledger หรือ multi-ledger นั่นมีหลักการตัดสิน 2 ข้อคือ

หาก application ของเราไม่มีความจำเป็นต้องแชร์ข้อมูลข้าม ledger กันสามารถทำ multi-ledger ได้
application ที่มี workload ด้าน write สูงและสามารถเก็บข้อมูลแยกกันได้สามารถพิจารณาทำ multi-ledger ได้

เพิ่มเติม

Account
เป็นเสมือน container สำหรับ assets เราสามารถส่งและรับ assets ได้ผ่าน transaction โดยผลรวมของ account จะเท่ากับ

balance(account)=∑postings(destination)−∑postings(source)

การตั้งชื่อ account มีการกำหนดว่าต้องตาม เงื่อนไขดังนี้
^[a-zA-Z_0-9]+(:[a-zA-Z_0-9]+){0,}$
และแนะนำให้ใช้เครื่องหมาย colon ให้การแบ่ง structure เช่น
payments:001:authorizations:001 sales:001:contract
นอกจากนั้นใน account เรายังสามารถเพิ่มตัว metadata เข้าไปได้ด้วยเพื่อใช้อธิบายรายละเอียดเพิ่มเติมของ account นั่นๆ
เพิ่มเติม

Posting
คือการเคลื่อนที่ของจำนวนของ asset จาก account นึงไปยังอีก account นึง เช่น Alice ให้ 100 coins ไปที่ Bob

{
  "source": "alice",
  "destination": "bob",
  "asset": "COIN",
  "amount": 100
}

Transaction
ใน Formance transaction คือการ model การรวมกันของ posting ซึ่งเจตนาคือต้องการต้องการทำให้เป็น atomically ตัวอย่างเช่น Alice ใช้ coin ซื้อ gem ผ่าน counter

{
  "postings": [
    {
      "source": "alice",
      "destination": "teller",
      "amount": 100,
      "asset": "COIN"
    },
    {
      "source": "teller",
      "destination": "alice",
      "amount": 5,
      "asset": "GEM"
    }
  ]
}

เพิ่มเติม

Architecture
architecture
Control dashborad
control dashborad
https://control.formance.com/

Mastering Numscript
coming soon
numscript template

Idempotence

gamer — Tue, 27 Dec 2022 10:07:06 +0000

What & Why

ในระบบปัจจุบัน มันยากที่จะระบบใดๆ จะสามารถการันตีการทำงานแบบ exactly once ได้ ฉะนั้นแล้ว service ใดมีโอกาสที่จะเจอปัญหา duplication request/events เข้ามาในระบบได้เสมอ วิธีการที่ practical กว่า คือที่ฝั่ง consumer ของระบบจะต้องทำให้ operation นั้นมีคุณสมบัติเป็น Idempotent กล่าวคือ เมื่อมี duplicate request/event เกิดขึ้น ระบบจะสามารถจัดการกับปัญหาได้โดยไม่สร้าง duplication record หรือ side effect ที่ไม่พึงประสงค์ในระบบ

วิธีการที่ง่ายที่สุดเพื่อสร้าง Idempotency ให้กับระบบที่ต้องยุ่งกับ database คือพิจารณาว่า เราสามารถทำ upsert กับข้อมูลได้หรือไม่ หรือเราสามารถ ignore ข้อมูลที่ถูกลบไปแล้วได้หรือไม่ เพราะวิธีนี้ เราไม่ต้องจำว่า request ที่เข้ามาใหม่นั้นเคยประมวลผลไปแล้วหรือยัง

แต่ไม่ใช่ทุกครั้งที่เราจะทำ upsert ได้ ฉะนั้นแล้ว อีกเทคนิคหนึ่งที่ช่วยได้ กล่าวคือ ในฝั่ง consumer จะต้องจดจำ message/request id ที่เคยได้รับมา เมื่อมี message/request id ที่ซ้ำเข้ามาอีก ก็อาจจะเลือก ignore ต่อ operation นั้นไปได้เลย

Values & Enablers

หลีกเลี่ยงปัญหา การทำ operation ใดซ้ำ เมื่อได้รับ message เดิมเข้ามา

Guidelines

พิจารณาใช้เทคนิคนี้เมื่อจำเป็นเท่านั้น เช่นกรณีที่ operation ไม่สามารถทำ upsert ได้ อย่างเช่น การหลีกเลี่ยงการส่ง email ซ้ำๆ เป็นต้น
เลือกบันทึกเก็บไว้ในฐานข้อมูล ซึ่งทีมอาจจะพิจารณาใช้ Redis หรือ in-memory database ใดๆ เพื่อให้ได้ประสิทธิภาพสูงสุด
ทีมควรพิจารณาตั้งค่า expiry date ให้กับข้อมูล โดยตั้งเวลาให้เหมาะสมกับเรื่องนั้นๆ เพื่อหลีกเลี่ยงปัญหาข้อมูลบวม
ให้พิจารณาโอกาสที่ระบบจะถูก replay event ประกอบการตั้งเวลา expiry date ด้วย

Cautions

หากตั้ง expiry date เร็วเกินไป ก็จะทำให้เกิด duplicate operation ได้อยู่ดี

References

Micro frontend

gamer — Tue, 27 Dec 2022 09:43:28 +0000

What & Why

Micro Frontend คือการพัฒนา Frontend โดยการแบ่งย่อยส่วนต่างๆ ให้เล็กลงและแยกจากกัน โดยที่แต่ละส่วนจะเป็นอิสระต่อกันในการพัฒนา, แต่ละส่วนจะสามารถมีทีมของตัวเองรับผิดชอบกับความต้องการทางธุรกิจที่เฉพาะเจาะจงได้

หาก Application ในปัจจุบันมีโอกาสสูงที่อนาคตจะมีความซับซ้อนมากขึ้นจาก service ที่มี ทำให้ความต้องการ (requirement) ที่ซับซ้อนมากขึ้น การใช้ codebase Frontend ตัวเดียวรับรองทุก business logic อาจจะมีปัญหาตามมาเรื่องความซ้ำซ้อนและและแยกกันไม่ขาดได้ จาก Frontend เช่น

Map service: ที่ปัจจุบันยังใช้ third party แต่หากในอนาคตจำเป็นต้องพัฒนา service ของตัวเอง ตัว development cycle อาจจะไม่สามารถรวมกันกับ web architecture ปกติได้
หากว่าในอนาคต service มีมากขึ้น และแต่ละ service มี requirement ของตัวเอง การแบ่งทีมพัฒนาแต่ละส่วน แยก testing, deployment แต่ยังรวมกันเป็น 1 เว็บได้ ถือเป็นเรื่องสำคัญ

หน้าตาของ Micro frontend

Values & Enablers

การแยกส่วน frontend component เปรียบได้กับ domain ต่างๆ ซึ่งจะสร้างความคล่องแคล่วในการพัฒนาได้มากขึ้น
การพัฒนา testing, deployment จะแยกออกจากกัน ทำให้แต่ละทีมทำงานโดยไม่ต้อง depend กับใคร เช่น หาก team a จะใช้ frontend stack ต่างกับ team b ย่อมทำได้
การพัฒนา platform จะรองรับขนาดทีมที่ใหญ่ขึ้น feature ที่ซับซ้อนขึ้น และการทำงานที่แยกขาดจากกันมากขึ้น
หากภายใน project Micro Frontend จำเป็นต้อง update version ทั้งของ libary, framework หรือแม้กระทั่งปล่อย release ใหม่ แต่ละ project สามารถทำได้แยกจากกัน และไม่กระทบซึ่งกันและกัน

Guidelines

Spike เครื่องมือสำหรับทำ Micro Frontend เช่น Piral
เลือก service ที่มีความเป็น domain ชัดเจน
แยก Service นั้นออกมาทำ Micro Frontend ผ่านเครื่องมือ (แยก Repo)
ประมินผลลัพท์และหากเหมาะสม ค่อยเริ่มทะยอยทำ Micro Frontend ภายใน service ต่างๆ โดยดูจากความชัดเจนในตัว domain และผลกระทบต่อ platform

Cautions

ระวังเรื่องการแบ่ง Micro fronend หรือ component หากไม่ได้ออกแบบหรือวางแผนให้ดีก่อนเริ่มทำ อาจทำให้เกิดความซับซ้อนเพิ่มมากขึ้นในระบบ
ควรมี knowleage และ resource ที่พร้อมเพียงพอก่อนเริ่ม

Alternatives

อาจพิจารณาทำเป็น Monolith แต่ให้คำนึงถึงการออกแบบ component ออกมาให้ให้เป็นสัดส่วนที่ชัดเจน เพื่อที่จะสามารถนำไป reuse ได้ง่าย หรือการที่จะนำไปแบ่งเป็น Micro Frontend ในอนาคต