DEV Community: Damrongsak Reetanon

เฝ้าดูความเร็วอินเตอร์เน็ตที่บ้าน

Damrongsak Reetanon — Sun, 26 Nov 2023 12:42:48 +0000

บ่ายวันอาทิตย์ นั่งเตรียมเนื้อหาบรรยายอยู่ ก็เหลือบไปเห็น Supadej Suthiphongkanasai โพสต์ว่า "ไปเจอ Git อันนึง น่าสนใจดี เป็น Docker Project ที่จะทำ Speedtest ทุกๆ 1 ชม แล้วเก็บ stat ลงกราฟไว้ ..."
น่าสนใจดี กำลังนั่งง่วง ๆ อยู่เลย ก็เลยทิ้งงาน ลองแวะไปดู Repo ใน Github ดูหน่อยสิว่าจะยังไงดี ... นั่งดูสัก 10 นาที ก็เลยตัดสินใจ ก็ลองเล่นดูเลยก็ได้

ว่ากันจริง ๆ แล้วใน Github ของ Henry Withaker ที่ public ไว้ก็มีอยู่ 30 repos แต่สิ่งที่เราจะลองดูกันก็คือ repo ที่ชื่อว่า Speed-Tracker ซึ่งมี source code และคำอธิบายอย่างละเอียดในการใช้งาน โดยรวม ๆ ก็บอกว่า เค้าใช้ Laravel เขียน back-end, ใช้ React เขียน front-end ส่วนของการทดสอบความเร็วก็ใช้ CLI ของค่าย speedtest.net และสุดท้ายใช้ Chart.js เป็นคนวาดกราฟออกมา
** โดย default จะวัดความเร็วทุก 1 ชั่วโมง (แต่ว่าเราตั้งความถี่เองได้)
** กำหนดได้ว่าจะดูข้อมูลย้อนหลังได้กี่วันตอนแสดงผล
** สามารถ backup & restore ข้อมูลที่เคยเก็บไว้ได้ในรูปแบบของ JSON หรือ CSV
** สามารถส่งข้อความไปยัง Slack, Discord และ Telegram ได้ ถ้าผลที่ speedtest วัดได้ มีค่าต่ำกว่าหรือสูงกว่า ค่าที่คำหนดไว้
** ทำงานร่วมกับ healthcheck.io, Organizr และ InfluxDB ได้
ลงมือกันเลย โดยที่เครื่องที่จะใช้ได้ทำงานติดตั้ง Docker และ docker-compose ไว้เรียบร้องแล้ว จากนั้นก็สร้าง directory data เอาไว้เก็บข้อมูล และให้เข้าถึง speedtest-tracker ที่ TCP/8765

# mkdir data
# cat > docker-compose.yaml <<EOF
version: '3.3'
services:
     speedtest:
         container_name: speedtest
         image: henrywhitaker3/speedtest-tracker
         ports:
             - 8765:80
         volumes:
             - ./data:/config
         environment:
             - OOKLA_EULA_GDPR=true
         logging:
             driver: "json-file"
             options:
                 max-file: "100"
                 max-size: "2048k"
         restart: unless-stopped
EOF
# docker-compose up -d
Creating network "speedtest_default" with the default driver
Pulling speedtest (henrywhitaker3/speedtest-tracker:)...
latest: Pulling from henrywhitaker3/speedtest-tracker
c91af5d1b23e: Pull complete
740fcfa9e15a: Pull complete
ce5b3694a6d6: Pull complete
a83d676a55d9: Pull complete
38ac933c5d8d: Pull complete
dc32e0469fc9: Pull complete
2692dc6e8a90: Pull complete
36a44203a304: Pull complete
df68ab8ba510: Pull complete
712e86a465e0: Pull complete
b87cc77a8de9: Pull complete
Digest: sha256:47159a9402291275bd9f8a8ed4f5c1ce8502de216465ed29da8a3c995b807df1
Status: Downloaded newer image for henrywhitaker3/speedtest-tracker:latest
Creating speedtest ... done

รอสัก 1 นาที แล้วก็ใช้ browser เปิดไปที่ http://hostname:8765 และถ้าต้องการทดสอบการวัดความเร็ว ก็กดปุ่ม "Test again" ได้เลย

สามารถปรับแต่งความถี่ในการวัดความเร็วได้ โดยเลือกเมนู Settings ที่ tab General จากเดิมที่กำหนดไว้ทุก ๆ 1 ชั่วโมง 0 * * * * ผมแก้ไขให้การวัดความเร็วทุก ๆ 30 นาทีเพื่อให้เห็นผลการทำงาน ในช่วงทดสอบได้ชัดเจนขึ้น โดยกำหนดที่ Schedule ให้เป็น */30 * * * *

ขอให้สนุกกับ technology ครับ

Mady by มูลค่าความสุข

Offline Terraform Provider

Damrongsak Reetanon — Sun, 27 Nov 2022 09:25:24 +0000

พอดีว่าระบบที่บ้านเป็น Open-Source Virtualization Solution ที่ชื่อว่า oVirt ซึ่งก็มีความสุขดี ใช้สร้างโน่นนี่นั่นเพื่อทดสอบอะไรไปเรื่อง ... เพียงแต่ว่า ขี้เกียจไม่อยากมานั่งสร้าง VM ที่ละตัว ช่วงแรก ๆ ใช้ Ansible ก็ต้องเขียน playbook สำหรับสร้าง พอจะเปลี่ยงแปลงระบบที่ต้องการทดสอบ ก็ต้องมานั่งแก้ playbook จะลบทิ้งตอนไม่ใช้แล้ว ก็ต้องเขียนอีก playbook อีกชุดเพื่อทำหน้าที่ลบ VM ทั้งหมด ... ซึ่งเป็นจุดอ่อนของการใช้งาน Ansible เพื่อ provisioning แต่พอได้รู้จัก Terraform บอกเลยว่า ตอนโจทย์ในช่วงการ provisioning มากเลย
ปัญหาก็มาอยู่ว่าพอใช้ infrastructure ตัวที่ไม่ค่อยมีใครใช้ ปัญหาเรื่อง Terraform Provider ก็ตามมาทันที ปัญหาแรก ตอน Terraform จาก version 0.12 เปลี่ยนไปเป็น 0.13 แต่ oVirt plugin ก็ไม่พัฒนาตาม จึงใช้ไม่ได้ใน Terraform v 0.13 ต้องเปลี่ยน Terraform version ไป ๆ มา ๆ เวลาทำงาน อยู่บ้านต้องใช้ v0.12 พอไปที่ทำงาน ก็เปลี่ยนเป็น version อื่น เพื่อให้ใช้ plugin รุ่นใหม่ ๆ ได้ ... และแล้ว ผู้พัฒนา oVirt plugin ก็พัฒนาก็พัฒนาให้รองรับ Terraform รุ่นใหม่ ๆ ก็ดูเหมือนจะดี มีความหวัง แต่ก็ไปไม่สุด ไม่ได้เอาไปใส่ไว้ใน Terraform Registry ให้
.... แล้วต้องทำอย่างไรดีล่ะ

ตัวอย่างนี้ เป็นตัวอย่างที่ทำงานบนระบบปฏิบัติการ macOS และ ยังเป็น Macbook Pro รุ่นที่ยังใช้ chip Intel X86_64 อยู่ ดังนั้น การเลือกใช้งาน อาจมีความแตกต่างกันบ้างตามระบบที่ต่างกัน
ลำดับแรก download ตัว Terraform Provider ที่ต้องการมาเก็บไว้ใน directory ที่วางแผนไว้ก่อน

d8k-bpro > ~ curl -OL https://github.com/oVirt/terraform-provider-ovirt/releases/download/v0.99.0/terraform-provider-ovirt_0.99.0_darwin_amd64.zip
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100 11.1M  100 11.1M    0     0  1824k      0  0:00:06  0:00:06 --:--:-- 2412k
d8k-bpro > ~ unzip terraform-provider-ovirt_0.99.0_darwin_amd64.zip
Archive:  terraform-provider-ovirt_0.99.0_darwin_amd64.zip
  inflating: CHANGELOG.md
  inflating: LICENSE
  inflating: README.md
  inflating: terraform-provider-ovirt_0.99.0
d8k-bpro > ~ mkdir -p ~/.terraform.d/providers/local/ovirt/ovirt/0.99/darwin_amd64
d8k-bpro > ~ mv terraform-provider-ovirt_0.99.0 ~/.terraform.d/providers/local/ovirt/ovirt/0.99/darwin_amd64

สร้าง ~/.terraformrc

d8k-bpro > ~ vi ~/.terraformrc
provider_installation {
  filesystem_mirror {
    path    = "/Users/drs/.terraform.d/providers"
  }
  direct {
    exclude = ["local/*/*"]
  }
}

วิธีการเรียกใช้งาน Terraform Plugins จาก Terraform Configuration File

d8k-bpro > project1 vi main.tf

terraform {
  required_providers {
    ovirt = {
      source  = "local/ovirt/ovirt"
      version = "0.99.0"
    }
  }
}


provider "ovirt" {
   username = "admin@internal"
   url = "https://ovirt.example.com/ovirt-engine/api"
   password = var.ovirt_password
}

Initialization Working Directory

d8k-bpro > project1 terraform init

Initializing the backend...

Initializing provider plugins...
- Finding local/ovirt/ovirt versions matching "0.99.0"...
- Finding latest version of hashicorp/null...
- Installing local/ovirt/ovirt v0.99.0...
- Installed local/ovirt/ovirt v0.99.0 (unauthenticated)
- Installing hashicorp/null v3.2.1...
- Installed hashicorp/null v3.2.1 (signed by HashiCorp)

Terraform has created a lock file .terraform.lock.hcl to record the provider
selections it made above. Include this file in your version control repository
so that Terraform can guarantee to make the same selections by default when
you run "terraform init" in the future.

╷
│ Warning: Incomplete lock file information for providers
│
│ Due to your customized provider installation methods, Terraform was forced to calculate
│ lock file checksums locally for the following providers:
│   - local/ovirt/ovirt
│
│ The current .terraform.lock.hcl file only includes checksums for darwin_amd64, so
│ Terraform running on another platform will fail to install these providers.
│
│ To calculate additional checksums for another platform, run:
│   terraform providers lock -platform=linux_amd64
│ (where linux_amd64 is the platform to generate)
╵

Terraform has been successfully initialized!

หมายเหตุ: อาจจะมีข้อความเตือนเรื่องการตรวจสอบความถูกต้องของ Provider ที่ไม่สามารถทำได้อยู่ แต่ไม่ได้มีปัญหาในการใช้งาน

สุดท้าย ในปี 2022 oVirt ก็มี Terraform Providers รุ่นใหม่อยู่ใน Terraform Registry เรียบร้อยแล้ว แต่พบว่า ความสามารถของ provider ตัวใหม่ยังมีความสามารถน้อยกว่าในรุ่นเก่ามาก ผู้ใช้จึงยังเลือกใน Terraform Provider ตัวเก่าอยู่

มูลค่าความสุข

อยากรู้ว่าใน K8s มีการใช้ทรัพยาการในเครื่องอะไรไปเท่าไหร่บ้าง มีอะไรเหลือบ้าง

Damrongsak Reetanon — Sat, 04 Jun 2022 17:16:49 +0000

หลายคนคงสงสัยเหมือนผมว่า ใน K8s cluster ของเรา

ทรัพยากรในเครื่องถูกใช้ไปเยอะไหม
มี App ตัวไหนใช้ทรัพยากรอะไรไปบ้าง
ทรัพยากรในเครื่องใกล้หมดยัง มีเหลืออยู่มากน้อย
อยากดูแบบละเอียด ๆ เลยถึงในระดับ container ว่ากิน memory กิน CPU เยอะไหม
แต่ละ node มีการ request ทรัยากรไปเท่าไหรแล้่ว ได้มีการกำหนด limit ไว้ไหม ยังเหลืออยู่อีกเท่าไหร่

คำถามเหล่านี้ว่าไปแล้ว ก็สามารถหาคำตอบได้จากคำสั่ง kubectl ที่เราคุ้นเคยได้

ถ้าอยากหาคำตอบเรื่อง request และ limit ก็หาได้จาก kubectl describe nodes <node_name>

ถ้าอยากหาคำตอบเรื่องปริมาณการใช้งานทรัพยากร สามารถใช้คำสั่ง kubectl top [pods,nodes] แต่ว่าต้องติดตั้ง metrics server ให้เรียบร้อยก่อนใช้งาน ถ้าอยากเห็นภาพรวมของการใช้ทรัพยากร ก็คือต้องค่อย ๆ ไปไล่ดูทีละ node หรือในบางกรณีก็ต้องค่อย ๆ ไล่ดูทีละ namespace

kube-capacity ช่วยตอบโจทย์ให้เราได้

kube-capacity ถูกพัฒนาขึ้นมาเพื่อให้เราเห็นภาพรวมของ requests, limits และ utilizations ใน Kubernetes Cluster ซึ่งก็จะมีข้อมูลที่มีประโยชน์จาก kubectl top และ kubectl describe มาแสดงผลให้เห็นภาพรวมของทรัพยากรใน cluster ได้ง่ายขึ้น

ก่อนเริ่มต้น

ติดตั้ง metrics server เรียบร้อย
ติดตั้ง kube-capacity (ทดสอบบน macOS v12.3.1)

> brew tap robscott/tap
> brew install robscott/tap/kube-capacity

ดูภาพรวมราย nodes ของ requests และ limits ของ Kubernetes Cluster

❯ kube-capacity
NODE             CPU REQUESTS   CPU LIMITS    MEMORY REQUESTS   MEMORY LIMITS
*                6350m (39%)    7500m (46%)   2040Mi (8%)       340Mi (1%)
cluster4-cp0     950m (47%)     0Mi (0%)      440Mi (24%)       340Mi (18%)
cluster4-cp1     750m (37%)     0Mi (0%)      300Mi (16%)       0Mi (0%)
cluster4-cp2     750m (37%)     0Mi (0%)      300Mi (16%)       0Mi (0%)
cluster4-node0   780m (39%)     1500m (75%)   200Mi (5%)        0Mi (0%)
cluster4-node1   780m (39%)     1500m (75%)   200Mi (5%)        0Mi (0%)
cluster4-node2   780m (39%)     1500m (75%)   200Mi (5%)        0Mi (0%)
cluster4-node3   780m (39%)     1500m (75%)   200Mi (5%)        0Mi (0%)
cluster4-node4   780m (39%)     1500m (75%)   200Mi (5%)        0Mi (0%)

[เพิ่มข้อมูล utilization] ดูภาพรวมราย nodes ของ requests,limits และ utilization ของ Kubernetes Cluster

❯ kube-capacity --util
NODE             CPU REQUESTS   CPU LIMITS    CPU UTIL      MEMORY REQUESTS   MEMORY LIMITS   MEMORY UTIL
*                6350m (39%)    7500m (46%)   5934m (37%)   2040Mi (8%)       340Mi (1%)      8533Mi (35%)
cluster4-cp0     950m (47%)     0Mi (0%)      100m (5%)     440Mi (24%)       340Mi (18%)     1098Mi (61%)
cluster4-cp1     750m (37%)     0Mi (0%)      63m (3%)      300Mi (16%)       0Mi (0%)        1065Mi (59%)
cluster4-cp2     750m (37%)     0Mi (0%)      70m (3%)      300Mi (16%)       0Mi (0%)        1087Mi (60%)
cluster4-node0   780m (39%)     1500m (75%)   1286m (64%)   200Mi (5%)        0Mi (0%)        992Mi (26%)
cluster4-node1   780m (39%)     1500m (75%)   1071m (53%)   200Mi (5%)        0Mi (0%)        986Mi (25%)
cluster4-node2   780m (39%)     1500m (75%)   1104m (55%)   200Mi (5%)        0Mi (0%)        1153Mi (30%)
cluster4-node3   780m (39%)     1500m (75%)   1118m (55%)   200Mi (5%)        0Mi (0%)        1167Mi (30%)
cluster4-node4   780m (39%)     1500m (75%)   1126m (56%)   200Mi (5%)        0Mi (0%)        989Mi (26%)

ดูข้อมูลเป็นราย pods ในแต่ละ node เฉพาะ namespace: test

❯ kube-capacity --pods --namespace test
NODE             POD       CPU REQUESTS   CPU LIMITS   MEMORY REQUESTS   MEMORY LIMITS
*                *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-cp0     *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-cp1     *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-cp2     *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node0   *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node1   *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node2   *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node3   *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node4   *         0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)
cluster4-node4   mynginx   0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

ดูข้อมูลเป็นราย containers ในแต่ละ node เฉพาะ namespace: test

❯ kube-capacity --containers --namespace test
NODE             POD       CONTAINER   CPU REQUESTS   CPU LIMITS   MEMORY REQUESTS   MEMORY LIMITS
*                *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-cp0     *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-cp1     *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-cp2     *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node0   *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node1   *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node2   *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node3   *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

cluster4-node4   *         *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)
cluster4-node4   mynginx   *           0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)
cluster4-node4   mynginx   hello       0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)
cluster4-node4   mynginx   mynginx     0Mi (0%)       0Mi (0%)     0Mi (0%)          0Mi (0%)

เลือกดูเฉพาะข้อมูลที่อยากดู มีหลาย option ให้กรอกดูเฉพาะที่อยากดูได้หลายอย่างให้เลือกเลย

-n หรือ --namespace เพื่อเลือกดูข้อมูลเฉพาะ namespace ที่ระบุเท่านั้น
--namespace-labels key=value เพื่อเลือกดูข้อมูลเฉพาะ namespace ที่มี label ตามที่ระบุไว้
--node-labels key=value เพื่อเลือกดูข้อมูลเฉพาะ node ที่มี label ตามที่ระบุไว้
--pod-labels key=value เพื่อเลือกดูข้อมูลเฉพาะ pod ที่มี label ตามที่ระบุไว้

More Info:
https://github.com/robscott/kube-capacity

มูลค่าความสุข

Install AWX v21.0.0 in Kubernetes with AWX-operator

Damrongsak Reetanon — Mon, 02 May 2022 10:14:58 +0000

ผมมักจะ update ความเป็นมาเป็นไปของ AWX อย่างน้อย ๆ ก็สักปีละครับ หยิบมาดูว่ามีอะไรใหม่ ๆ ไหม แต่ส่วนใหญ่ผมเรียนรู้การใช้งาน AWX อยู่ในรูปแบบ container แบบเครื่องเดียวมาตลอด ปีนี้ลองเปลี่ยนใหม่ หยิบมาลงบน K8s ซะหน่อย
ตอนแรกก็คิดว่าจะใช้เวลาหลายวัน คงลองผิดลองถูกติดตั้งเสร็จ ปรากฎว่า ไม่ยากอย่างที่คิดนะ แปร๊บบบบบบเดียวก็ได้ใช้แล้ว เสียเวลาตรงที่ node เรามี memory ไม่พอ ติดตั้งรอบแรกเสร็จก็เลยยังใช้ไม่ได้ มาดูครับ ไม่ยากเลย

ข้อมูลเบื้องต้น

Kubernetes 1.23.6
node แต่ละ node มีหน่วยความจำ 8 GB (ครั้งแรกทดลองที่ 2 GB ไม่สามารถทำงานได้)
awx-operator 0.20.2
ใช้ Longhorn เป็น Storageฃ
เครื่องที่ใช้ในการติดตั้งต้องมีข้อมูล kubeconfig เรียบร้อยแล้ว
เครืื่องที่ใช้ในการติดตั้งมี kubectl ให้พร้อมใช้งาน
เครื่องที่ใช้ในการติดตั้งมีระบบปฏิบัติการเป็น macOS version 12.3.1
ติดตั้ง kustomize ที่เครื่อง

❯ brew install kustomize
==> Downloading https://ghcr.io/v2/homebrew/core/kustomize/manifests/4.5.4
Already downloaded: /Users/drs/Library/Caches/Homebrew/downloads/4b93fd6dc9174be6d2593f4c63e94d5debc6efcc98907e2397538940cd1f31f7--kustomize-4.5.4.bottle_manifest.json
==> Downloading https://ghcr.io/v2/homebrew/core/kustomize/blobs/sha256:1535062dcc42e6776f9506e12e572e19a5c18017543ece5be92e7c770b53490a
Already downloaded: /Users/drs/Library/Caches/Homebrew/downloads/ee6acdadbe5f876b826fd4191717fd9f71c9d35a6ef8a6c360d9f70927625868--kustomize--4.5.4.monterey.bottle.tar.gz
==> Pouring kustomize--4.5.4.monterey.bottle.tar.gz
==> Caveats
zsh completions have been installed to:
  /usr/local/share/zsh/site-functions
==> Summary
🍺  /usr/local/Cellar/kustomize/4.5.4: 8 files, 13.3MB
==> Running `brew cleanup kustomize`...
Disable this behaviour by setting HOMEBREW_NO_INSTALL_CLEANUP.
Hide these hints with HOMEBREW_NO_ENV_HINTS (see `man brew`).

สร้าง kustomization.yaml

cat >> kustomization.yaml <<EOF
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - github.com/ansible/awx-operator/config/default?ref=0.20.2
images:
  - name: quay.io/ansible/awx-operator
    newTag: 0.20.2
namespace: awx

EOF

เรียกใช้งาน kustomize เพื่อติดตัั้งส่วนประกอบต่าง ๆ ของ awx-operator

❯ kustomize build . | kubectl apply -f -
namespace/awx created
customresourcedefinition.apiextensions.k8s.io/awxbackups.awx.ansible.com created
customresourcedefinition.apiextensions.k8s.io/awxrestores.awx.ansible.com created
customresourcedefinition.apiextensions.k8s.io/awxs.awx.ansible.com created
serviceaccount/awx-operator-controller-manager created
role.rbac.authorization.k8s.io/awx-operator-awx-manager-role created
role.rbac.authorization.k8s.io/awx-operator-leader-election-role created
clusterrole.rbac.authorization.k8s.io/awx-operator-metrics-reader created
clusterrole.rbac.authorization.k8s.io/awx-operator-proxy-role created
rolebinding.rbac.authorization.k8s.io/awx-operator-awx-manager-rolebinding created
rolebinding.rbac.authorization.k8s.io/awx-operator-leader-election-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/awx-operator-proxy-rolebinding created
configmap/awx-operator-awx-manager-config created
service/awx-operator-controller-manager-metrics-service created
deployment.apps/awx-operator-controller-manager created

ตรวจสอบสถานะของ awx-operator-controller-manager

❯ kubectl get pods -n awx
NAME                                               READY   STATUS    RESTARTS   AGE
awx-operator-controller-manager-64976659fc-2c9px   2/2     Running   0          61s

สร้าง Kubernetes Object ชนิด AWX (ซึ่ง CRD นี้ถูกติดตั้งในขั้นตอนที่ 3)

cat >> awx-demo.yaml << EOF
---
apiVersion: awx.ansible.com/v1beta1
kind: AWX
metadata:
  name: awx-demo
spec:
  service_type: nodeport
EOF

หากต้องการดูคุณสมบัติเพิ่มเติน สามารถดูได้ที่

kubectl explain awx --recursive=true

แก้ไข kustomization.yaml โดยเพิ่มบรรทัด - awx-demo.yaml ในส่วนของ resources

cat >> kustomization.yaml <<EOF
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - github.com/ansible/awx-operator/config/default?ref=0.20.2
  - awx-demo.yaml
images:
  - name: quay.io/ansible/awx-operator
    newTag: 0.20.2
namespace: awx

EOF

เรียกใช้งาน kustomize เพื่อติดตัั้งส่วนประกอบต่าง ๆ ของ awx-operator อีกครั้ง

/usr/local/bin/kustomize build . | kubectl apply -f -
namespace/awx unchanged
customresourcedefinition.apiextensions.k8s.io/awxbackups.awx.ansible.com unchanged
customresourcedefinition.apiextensions.k8s.io/awxrestores.awx.ansible.com unchanged
customresourcedefinition.apiextensions.k8s.io/awxs.awx.ansible.com unchanged
serviceaccount/awx-operator-controller-manager unchanged
role.rbac.authorization.k8s.io/awx-operator-awx-manager-role configured
role.rbac.authorization.k8s.io/awx-operator-leader-election-role unchanged
clusterrole.rbac.authorization.k8s.io/awx-operator-metrics-reader unchanged
clusterrole.rbac.authorization.k8s.io/awx-operator-proxy-role unchanged
rolebinding.rbac.authorization.k8s.io/awx-operator-awx-manager-rolebinding unchanged
rolebinding.rbac.authorization.k8s.io/awx-operator-leader-election-rolebinding unchanged
clusterrolebinding.rbac.authorization.k8s.io/awx-operator-proxy-rolebinding unchanged
configmap/awx-operator-awx-manager-config unchanged
service/awx-operator-controller-manager-metrics-service unchanged
deployment.apps/awx-operator-controller-manager unchanged
awx.awx.ansible.com/awx-demo created

รอการติดตั้ง AWX และสามารถตรวจสอบสถานะการติดตั้งได้จาก

kubectl get pods -l "app.kubernetes.io/managed-by=awx-operator" -n awx -w
NAME                  READY   STATUS    RESTARTS   AGE
awx-demo-postgres-0   1/1     Running   0          56s
awx-demo-7db56584fb-z5kxc   0/4     Pending   0          0s
awx-demo-7db56584fb-z5kxc   0/4     Pending   0          0s
awx-demo-7db56584fb-z5kxc   0/4     ContainerCreating   0          0s
awx-demo-7db56584fb-z5kxc   4/4     Running             0          5s

ตรวจสอบรหัสผ่านสำหรับ user admin

❯ kubectl get secret awx-demo-admin-password -o jsonpath="{.data.password}"  -n awx | base64 --decode
e5SlKNCgfoES69IexQTDH97DmKr8YHVM%

browse ไปที่ http://<IP of nodeport>:<nodeport>

ก้าวแรกกับ AWX

มูลค่าความสุข

Create Schedules in AWX

Damrongsak Reetanon — Fri, 12 Nov 2021 06:14:45 +0000

ในกรณีที่อยากสร้าง Job จาก Template ที่เราสร้างไว้แล้ว ให้ทำงานตามช่วงเวลาที่เราต้องการ ไม่ว่าจะเป็นกำหนดให้ทำงานครั้งเดียวตามเวลาที่กำหนด หรือ ทำงานเป็นช่วงเวลา เช่น ทุกนาที ทุกชั่วโมง หรือทุกสัปดาห์ สามารถทำได้โดย

เลือก template ที่เราต้องการสร้าง Schedules
เลือก tab > Schedules
กดปุ่ม ADD
ตั้งชื่อ , กำหนดเวลา แล้ว ช่วงเวลาที่ต้องการ และกดปุ่ม Save
ตรวจสอบความถูกต้อง และเวลาที่ template จะทำงานในครั้งถัดไปได้ที่ Views > Schedules

มูลค่าความสุข

Install Gitlab Community Edition 14.3.0-ce.0 on Docker

Damrongsak Reetanon — Sat, 25 Sep 2021 11:37:52 +0000

"ติดตั้ง Gitlab ใช้เองในบ้าน" เป้าหมายสำหรับเสาร์อาทิตย์สัปดาห์นี้ ... ยอมรับเลยว่าความรู้เรื่อง git ผมน้อยมาก เรียกได้ว่า งู ๆ ปลา ๆ เลยก็ได้ จะใช้ก็อะไร ก็ google เอา แล้วก็ใช้เท่าที่ตัวเองรู้ ... ก็รู้อยู่แหละว่า git ทำอะไรได้หลากหลายมาก เกินกว่าความรู้ที่เรามีอยู่ ก็เลยอยากเพิ่มเติมความรู้เรื่องนี้ซะหน่อย ... gitlab นี่แหละแนวเรา มี Community Edition ให้เลือกใช้ได้ และถ้าถูกใจก็ไปต่อกับ Enterprise Edition

อ้อ ... ถ้าแวะเวียนผ่านมาอ่าน แล้วอยากแบ่งปันความรู้เรื่อง git ให้ผม ขอสมัครเรียนด้วยนะครับ อยากรู้มากกกกก

0.ขั้นตอนการเตรียมความพร้อมก่อนการติดตั้ง โดยรวม ๆ ก็เริ่มจากมี VM ผมเลือกใช้ Ubuntu 20.04.3 LTS ขนาด 4 vCPU 8 GB RAM พร้อมติดตั้ง docker และ docker-compose ไว้เรียบร้อยแล้ว และ domain ที่ใช้ในการทดสอบคือ git.d8k.lo

drs@git:~$ uname -a
Linux git 5.4.0-84-generic #94-Ubuntu SMP Thu Aug 26 20:27:37 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
drs@git:~$ docker version
Client:
 Version:           20.10.7
 API version:       1.41
 Go version:        go1.13.8
 Git commit:        20.10.7-0ubuntu1~20.04.1
 Built:             Wed Aug  4 22:52:25 2021
 OS/Arch:           linux/amd64
 Context:           default
 Experimental:      true

Server:
 Engine:
  Version:          20.10.7
  API version:      1.41 (minimum version 1.12)
  Go version:       go1.13.8
  Git commit:       20.10.7-0ubuntu1~20.04.1
  Built:            Wed Aug  4 19:07:47 2021
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.5.2-0ubuntu1~20.04.2
  GitCommit:
 runc:
  Version:          1.0.0~rc95-0ubuntu1~20.04.2
  GitCommit:
 docker-init:
  Version:          0.19.0
  GitCommit:
drs@git:~$ docker-compose version
docker-compose version 1.25.0, build unknown
docker-py version: 4.1.0
CPython version: 3.8.10
OpenSSL version: OpenSSL 1.1.1f  31 Mar 2020

1.สร้าง directory เพื่อเป็นที่เก็บ configuration และ persistent data รวมถึง key pair สำหรับ TLS ด้วย

drs@git:~$ WORKING_DIR=$HOME
drs@git:~$ mkdir -p ${WORKING_DIR}/gitlab-data/config/ssl
drs@git:~$ mkdir -p ${WORKING_DIR}/gitlab-data/logs
drs@git:~$ mkdir -p ${WORKING_DIR}/gitlab-data/data
drs@git:~$ cat > ${WORKING_DIR}/gitlab-data/config/ssl/gen-tls <<EOF
#!/bin/bash

rm -f *.key *.crt *.csr


openssl ecparam -out ca.key -name prime256v1 -genkey
openssl req -new -x509  -key ca.key -out ca.crt  -subj "/CN=My CA EC"
rm -f server*

openssl ecparam -out server1.key -name prime256v1 -genkey
openssl req -new -key server1.key -out server1.csr -sha256 -subj "/CN=$(hostname)"
echo subjectAltName = DNS:$(hostname),IP:$(ip a show dev enp1s0 |grep "inet "|awk '{print $2}'|cut -d "/" -f 1),IP:127.0.0.1 >> server1.cnf
echo extendedKeyUsage = serverAuth >> server1.cnf
openssl x509 -req -in server1.csr -CAkey ca.key -CA ca.crt -out server1.crt -CAcreateserial -extfile server1.cnf

openssl dhparam -out dhparam 2048
EOF
drs@git:~$ chmod 755 ${WORKING_DIR}/gitlab-data/config/ssl/gen-tls
drs@git:~$ cd ${WORKING_DIR}/gitlab-data/config/ssl
drs@git:~$ ${WORKING_DIR}/gitlab-data/config/ssl/gen-tls
drs@git:~$ cd

2.สร้าง docker-compose.yml และ เรียก dock-compose up -d

drs@git:~$ cat > ${WORKING_DIR}/docker-compose.yml <<EOF
web:
  image: 'gitlab/gitlab-ce:latest'
  restart: always
  hostname: 'git.d8k.lo'
  environment:
    GITLAB_OMNIBUS_CONFIG: |
      external_url 'https://git.d8k.lo'
      gitlab_rails['gitlab_shell_ssh_port'] = 2224
      nginx['redirect_http_to_https'] = true
      nginx['ssl_certificate'] = "/etc/gitlab/ssl/server1.crt"
      nginx['ssl_certificate_key'] = "/etc/gitlab/ssl/server1.key"
      nginx['ssl_dhparam'] = "/etc/gitlab/ssl/dhparam"

  ports:
    - '80:80'
    - '443:443'
    - '2224:22'

  volumes:
    - '${WORKING_DIR}/gitlab-data/config:/etc/gitlab'
    - '${WORKING_DIR}/gitlab-data/logs:/var/log/gitlab'
    - '${WORKING_DIR}/gitlab-data/data:/var/opt/gitlab'
    - '${WORKING_DIR}/gitlab-data/config/ssl:/etc/gitlab/ssl'
EOF
drs@git:~$ docker-compose up -d

3.ตรวจสอบความคีบหน้าของการทำงานของ gitlab-ce ซึ่งใช้เวลาประมาณ 5 นาที ถึงจะพร้อมให้บริการ

ตรวจสอบชื่อ container จากคำสั่ง docker container ls ในกรณีของผมจะชื่อว่า drs_web_1
drs@git:~$ docker logs -f drs_web_1

4.ตรวจสอบรหัสผ่านสำหรับ root เพื่อใช้ในการ login ได้จาก

drs@git:~$ sudo cat ~/gitlab-data/config/initial_root_password
# WARNING: This value is valid only in the following conditions
#          1. If provided manually (either via `GITLAB_ROOT_PASSWORD` environment variable or via `gitlab_rails['initial_root_password']` setting in `gitlab.rb`, it was provided before database was seeded for the first time (usually, the first reconfigure run).
#          2. Password hasn't been changed manually, either via UI or via command line.
#
#          If the password shown here doesn't work, you must reset the admin password following https://docs.gitlab.com/ee/security/reset_user_password.html#reset-your-root-password.

Password: ueK3olh3hY0yA2nHU2OXSBU+Wvh2F620rOaxVrr1Ldc=

# NOTE: This file will be automatically deleted in the first reconfigure run after 24 hours.

ทดสอบการใช้งานได้ที่ https://git.d8k.lo

มูลค่าความสุข

Test Ansible AWX 19.3.0 on Docker

Damrongsak Reetanon — Thu, 23 Sep 2021 16:58:03 +0000

Ansible AWX ใน version 18.0 เป็นต้นไปไม่สามารถติดตั้งในรูปแบบเดิม ๆ ที่เคยทำได้อีกแล้ว และมุ่งไปที่ติดตั้งใน Kubernetes ด้วย operator ซึ่งก็เป็นทิศทางที่เห็นด้วยว่า น่าจะไปในทิศทางนั้น แล้วถ้าต้องการทดสอบล่ะ ทำไงได้บ้าง มาลองดูกันครับ

0.Requirements
เครึ่องที่ใช้ทดสอบ เป็นเครื่องที่มี Memory 8 GB , 4 vCPU พร้อมติดตั้ง docker ไว้ที่เครื่องเรียบร้อยแล้ว โดยที่เลือกใช้ Ubuntu 20.04.3 LTS เป็น OS ในการทดสอบ

1.ติดตั้ง software ที่จำเป็น

$ sudo apt update
$ sudo apt install -y docker-compose python3-pip ansible

2.d/l awx version ที่ต้องการ ณ. วันที่เขียนนี้ version 19.3.0 เป็น latest version และ สั่งสร้าง AWX Container Image

$ git clone -b 19.3.0 https://github.com/ansible/awx.git
$ cd awx
$ make docker-compose-build

3.Running AWX

$ make docker-auth awx/projects docker-compose-sources
$ docker-compose -f tools/docker-compose/_sources/docker-compose.yml run --rm awx_1 make clean-ui ui-devel
$ docker-compose -f tools/docker-compose/_sources/docker-compose.yml up -d

4.ติดตามสถานะการติดตั้ง

$ docker logs -f tools_awx_1

5.เปลี่ยน admin password

$ docker exec -ti tools_awx_1 awx-manage changepassword admin

6.สามารถเข้าถึง Ansible AWX ได้ที่ http://<host>:8013 หรือ https://<host>:8043

มูลค่าความสุข

How to compile Geoip2 Dynamic Module for NGINX Open Source that installed in Ubuntu 20.04 LTS

Damrongsak Reetanon — Wed, 28 Jul 2021 04:36:07 +0000

Update, Upgrade and verify Ubuntu version



$ sudo apt update

$ sudo apt upgrade -y

$ cat /etc/os-release

NAME="Ubuntu"

VERSION="20.04.2 LTS (Focal Fossa)"

ID=ubuntu

ID_LIKE=debian

PRETTY_NAME="Ubuntu 20.04.2 LTS"

VERSION_ID="20.04"

HOME_URL="https://www.ubuntu.com/"

SUPPORT_URL="https://help.ubuntu.com/"

BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"

PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"

VERSION_CODENAME=focal

UBUNTU_CODENAME=focal

Install NGINX and check NGINX version by nginx -v



$ sudo apt install -y nginx

$ nginx -v

nginx version: nginx/1.18.0 (Ubuntu)

Install Development tool and required library



$ sudo apt install -y libmaxminddb0 libmaxminddb-dev mmdb-bin build-essential libpcre3-dev zlib1g-dev libssl-dev libxml2-dev libxslt-dev libgd-dev

Download the same NGINX source code that installed.



$ wget https://nginx.org/download/nginx-1.18.0.tar.gz

$ tar xvfz nginx-1.18.0.tar.gz

$ cd nginx-1.18.0

Download latest version ngx_http_geoip2_module source code from https://github.com/leev/ngx_http_geoip2_module



$ wget https://github.com/leev/ngx_http_geoip2_module/archive/refs/tags/3.3.tar.gz

$ tar xvfz 3.3.tar.gz

Find the original complie options by nginx -V and



$ nginx -V

nginx version: nginx/1.18.0 (Ubuntu)

built with OpenSSL 1.1.1f  31 Mar 2020

TLS SNI support enabled

configure arguments: --with-cc-opt='-g -O2 -fdebug-prefix-map=/build/nginx-KTLRnK/nginx-1.18.0=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -Wdate-time -D_FORTIFY_SOURCE=2' --with-ld-opt='-Wl,-Bsymbolic-functions -Wl,-z,relro -Wl,-z,now -fPIC' --prefix=/usr/share/nginx --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --modules-path=/usr/lib/nginx/modules --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-debug --with-compat --with-pcre-jit --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-http_auth_request_module --with-http_v2_module --with-http_dav_module --with-http_slice_module --with-threads --with-http_addition_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module=dynamic --with-http_sub_module --with-http_xslt_module=dynamic --with-stream=dynamic --with-stream_ssl_module --with-mail=dynamic --with-mail_ssl_module

Compile NGINX with the same option as it build with added Geoip2 module option --add-dynamic-module=./ngx_http_geoip2_module-3.3



$ ./configure --add-dynamic-module=./ngx_http_geoip2_module-3.3 --with-cc-opt='-g -O2 -fdebug-prefix-map=/build/nginx-KTLRnK/nginx-1.18.0=. -fstack-protector-strong -Wformat -Werror=format-security -fPIC -Wdate-time -D_FORTIFY_SOURCE=2' --with-ld-opt='-Wl,-Bsymbolic-functions -Wl,-z,relro -Wl,-z,now -fPIC' --prefix=/usr/share/nginx --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --modules-path=/usr/lib/nginx/modules --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-debug --with-compat --with-pcre-jit --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-http_auth_request_module --with-http_v2_module --with-http_dav_module --with-http_slice_module --with-threads --with-http_addition_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module=dynamic --with-http_sub_module --with-http_xslt_module=dynamic --with-stream=dynamic --with-stream_ssl_module --with-mail=dynamic --with-mail_ssl_module

$ make modules

Copy ngx_http_geoip2_module.so and ngx_stream_geoip2_module.so to Shared NGINX module library



$ sudo cp -vi objs/ngx_http_geoip2_module.so /usr/share/nginx/modules/

$ sudo cp -vi objs/ngx_stream_geoip2_module.so /usr/share/nginx/modules/

Added load_module into /etc/nginx/nginx.conf and restart NGINX



$ sudo vi /etc/nginx/nginx.conf

user www-data;

worker_processes auto;

pid /run/nginx.pid;

include /etc/nginx/modules-enabled/*.conf;

  
  
  --- Add this 2 lines ----


load_module modules/ngx_http_geoip2_module.so;

load_module modules/ngx_stream_geoip2_module.so;

[...]

$ sudo systemctl restart nginx

Verify NGINX configuration and NGINX status



$ sudo nginx -T | grep geoip2

nginx: the configuration file /etc/nginx/nginx.conf syntax is ok

nginx: configuration file /etc/nginx/nginx.conf test is successful

load_module modules/ngx_http_geoip2_module.so;

load_module modules/ngx_stream_geoip2_module.so;

$ sudo systemctl status nginx

● nginx.service - A high performance web server and a reverse proxy server

     Loaded: loaded (/lib/systemd/system/nginx.service; enabled; vendor preset: enabled)

     Active: active (running) since Wed 2021-07-28 11:10:53 +07; 1min 38s ago

       Docs: man:nginx(8)

    Process: 3109605 ExecStartPre=/usr/sbin/nginx -t -q -g daemon on; master_process on; (code=exited, status=0/SUCCESS)

    Process: 3109611 ExecStart=/usr/sbin/nginx -g daemon on; master_process on; (code=exited, status=0/SUCCESS)

   Main PID: 3109613 (nginx)

      Tasks: 3 (limit: 9510)

     Memory: 3.6M

     CGroup: /system.slice/nginx.service

             ├─3109613 nginx: master process /usr/sbin/nginx -g daemon on; master_process on;

             ├─3109614 nginx: worker process

             └─3109615 nginx: worker process

Jul 28 11:10:53 server200 systemd[1]: Starting A high performance web server and a reverse proxy server...

Jul 28 11:10:53 server200 systemd[1]: Started A high performance web server and a reverse proxy server.

มูลค่าความสุข

ติดตั้ง NGINX แบบขี้เกียจ

Damrongsak Reetanon — Sat, 10 Jul 2021 17:31:54 +0000

หลังจากที่ไม่ได้จับ NGINX มาสักพัก มัวแต่ไปนั่งเล่นอย่างอื่นอยู่ แต่พอดีว่าช่วงนี้งานเข้า NGINX รัว ๆ ก็เลยต้อง setup ระบบไว้เตรียมบรรยาย ... แต่มาคราวนี้รู้สึกขี้เกียจ ไม่อยากทำอะไรยุ่งยาก เก็บพลังงานไว้ดีกว่า ... ด้วยความที่เพิ่งไปสอน Ansible มา เห็นว่า NGINX ทำ collection ใหม่ไว้หลายอย่างเลย ลองแวะไปดูให้ละเอียด ... มี Ansible playbook สำหรับติดตั้ง NGINX นินา ก็เลยบันทึกประสบการณ์แบบขี้เกียจ ๆ มาให้ลองอ่านดูครับ

สิ่งที่ต้องเตรียม

server Ubuntu Server 20.04.2 LTS

ติดตั้ง ansible และส่วนอื่น ๆ ที่จำเป็น

$ sudo apt -y update
$ sudo apt install -y ansible
$ ansible-galaxy collection install nginxinc.nginx_core
$ git clone https://github.com/nginxinc/ansible-collection-nginx.git

แก้ไข deploy-nginx.yml

$ cd ansible-collection-nginx/playbooks/
$ vi deploy-nginx.yml
---
- hosts: all
  become: yes
  become_user: root
  become_method: sudo
  connection: local
  collections:
    - nginxinc.nginx_core
  roles:
    - role: nginx

เรียกใช้งาน ansible playbook เพื่อติดตั้ง NGINX

$ ansible-playbook -i "localhost, " deploy-nginx.yml

PLAY [all] *************************************************************************************************************************************************

TASK [Gathering Facts] *************************************************************************************************************************************
ok: [localhost]

TASK [nginx : Check whether you are using a supported NGINX distribution] **********************************************************************************
ok: [localhost] => {
    "changed": false,
    "msg": "Your OS, Ubuntu is supported by NGINX Open Source"
}
[...]
TASK [nginx : Debug NGINX output] **************************************************************************************************************************
skipping: [localhost]

TASK [nginx : Configure logrotate for NGINX] ***************************************************************************************************************
skipping: [localhost]

TASK [nginx : Install NGINX Amplify] ***********************************************************************************************************************
skipping: [localhost]

PLAY RECAP *************************************************************************************************************************************************
localhost                  : ok=14   changed=5    unreachable=0    failed=0    skipped=22   rescued=0    ignored=0

ทดสอบการทำงานของ NGINX

$ curl http://localhost
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

มูลค่าความสุข

ติดตั้ง NGINX Plus แบบขี้เกียจ

Damrongsak Reetanon — Sat, 10 Jul 2021 09:17:50 +0000

หลังจากที่ไม่ได้จับ NGINX มาสักพัก มัวแต่ไปนั่งเล่นอย่างอื่นอยู่ แต่พอดีว่าช่วงนี้งานเข้า NGINX รัว ๆ ก็เลยต้อง setup ระบบไว้เตรียมบรรยาย ... แต่มาคราวนี้รู้สึกขี้เกียจ ไม่อยากทำอะไรยุ่งยาก เก็บพลังงานไว้ดีกว่า ... ด้วยความที่เพิ่งไปสอน Ansible มา เห็นว่า NGINX ทำ collection ใหม่ไว้หลายอย่างเลย ลองแวะไปดูให้ละเอียด ... มี Ansible playbook สำหรับติดตั้ง NGINX Plus นินา ก็เลยบันทึกประสบการณ์แบบขี้เกียจ ๆ มาให้ลองอ่านดูครับ

สิ่งที่ต้องเตรียม

server Ubuntu Server 20.04.2 LTS
Key และ Certificate ที่เป็น Subscription ของ NGINX Plus เก็บที่ $HOME/nginx-repo.key และ $HOME/nginx-repo.crt

ติดตั้ง ansible และส่วนอื่น ๆ ที่จำเป็น

$ sudo apt -y update
$ sudo apt install -y ansible
$ ansible-galaxy collection install nginxinc.nginx_core
$ git clone https://github.com/nginxinc/ansible-collection-nginx.git

แก้ไข deploy-nginx-plus.yml

$ cd ansible-collection-nginx/playbooks/
$ vi deploy-nginx-plus.yml
---
- hosts: all
  become: yes
  become_user: root
  become_method: sudo
  connection: local
  collections:
    - nginxinc.nginx_core
  roles:
    - role: nginx
      vars:
        nginx_type: plus
        nginx_license:
          certificate: /home/drs/nginx-repo.crt
          key: /home/drs/nginx-repo.key

เรียกใช้งาน ansible playbook เพื่อติดตั้ง NGINX Plus

$ ansible-playbook -i "localhost, " deploy-nginx-plus.yml

PLAY [all] *****************************************************************************************************

TASK [Gathering Facts] *****************************************************************************************
ok: [localhost]

TASK [nginx : Check whether you are using a supported NGINX distribution] **************************************
ok: [localhost] => {
    "changed": false,
    "msg": "Your OS, Ubuntu is supported by NGINX Plus"
}
[...]
TASK [nginx : Configure logrotate for NGINX] *******************************************************************
skipping: [localhost]

TASK [nginx : Install NGINX Amplify] ***************************************************************************
skipping: [localhost]

PLAY RECAP *****************************************************************************************************
localhost                  : ok=23   changed=11   unreachable=0    failed=0    skipped=22   rescued=0    ignored=0

ทดสอบการทำงานของ NGINX Plus

$ curl http://localhost
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

มูลค่าความสุข

docker scan ตอน 2 ... ยังมีข้อสงสัยอีกนิดหน่อย !!!

Damrongsak Reetanon — Wed, 02 Jun 2021 04:51:46 +0000

หลังจากที่เขียนเรื่อง docker scan เสร็จแล้ว ก็ยังนั่งเล่นเพิ่มเติมอีกนิดหน่อย เพราะว่ายังมีข้อสงสัยที่ยังหาเหตุผลและคำตอบไม่ได้

ประเด็นแรก docker scan จะตรวจสอบ application ให้ด้วยไหม

ถ้าลองนั่งเล่นดู จะสังเกตุได้ว่าวิธีที่ docker scan ทำก็คือจะเข้าไปกวาดดูใน container image ดูว่ามีไฟล์อะไรอยู่บ้าง แล้วนำไปเปรียบเทียบกับฐานข้อมูลที่ตัวเองมีอยู่ สิ่งที่สงสัยคือ Snyk ที่ docker scan ใช้เป็นเครื่องมือในการหาช่องโหว่จะรู้จักหรือตรวจสอบ application อื่น ๆ ที่เพิ่มเติมจาก base image ที่เป็น OS ด้วยไหม

Damn Vulnerable Web Application (DVWA) น่าจะเป็นตัวทดสอบที่ดี เป็นที่รู้จักในวงกว้าง DVWA เป็น web application ที่ถูกสร้างให้มีช่องโหว่อยู่มากมาย ใช้เพื่อการเรียนรู้ด้าน Web Application Security ถ้า docker scan ทราบช่องโหว่ของ DVWA ได้ จะได้ทดสอบในมุมอื่น ๆ ต่อไป จึงทดสอบด้วย container image ที่ vulnerables/web-dvwa ใน Docker Hub

> docker scan vulnerables/web-dvwa --json --group-issues

คำตอบที่ได้ก็คือ ผลการ scan ไม่รู้ข้อมูลของ DVWA เลย พบแต่ช่องโหว่ของไฟล์ที่ base image ที่เป็น OS สามารถดูผลทดสอบได้ที่นี่ครับ

ประเด็นที่ 2 เจอ option --file

พบว่า เมื่อเปรียบเทียบการใช้ --file และ ไม่ใช้ --file ผลของการรายงานช่องโหว่ไม่ต่างกัน เพราะว่าเป็นรายงานที่ได้จากข้อมูลใน Container Image แต่สิ่งที่ต่างกันจะอยู่ในช่วงท้ายของรายงาน พบว่าการใส่ --file มีคำแนะนำเพิ่มเติมถ้าในกรณีที่ base image ที่ใช้อยู่มีช่องโหว่ จากตัวอย่างในช่วงท้ายรายงานจะแนะนำให้ใช้ base image alpine:3 ซึ่งไม่มีรายงานช่องโหว่ แทนตัวเดิมที่ใช้ alpine:3.11.0

> docker scan -f .\Dockerfile ws-fac

Testing ws-fac...

✗ Low severity vulnerability found in openssl/libcrypto1.1
  Description: Inadequate Encryption Strength
  Info: https://snyk.io/vuln/SNYK-ALPINE311-OPENSSL-1075739
  Introduced through: openssl/libcrypto1.1@1.1.1d-r2, openssl/libssl1.1@1.1.1d-r2, apk-tools/apk-tools@2.10.4-r3, libtls-standalone/libtls-standalone@2.9.1-r0
  From: openssl/libcrypto1.1@1.1.1d-r2
  From: openssl/libssl1.1@1.1.1d-r2 > openssl/libcrypto1.1@1.1.1d-r2
  From: apk-tools/apk-tools@2.10.4-r3 > openssl/libcrypto1.1@1.1.1d-r2
  and 4 more...
  Image layer: Introduced by your base image (alpine:3.11.0)
  Fixed in: 1.1.1j-r0
[...]
✗ High severity vulnerability found in apk-tools/apk-tools
  Description: Out-of-bounds Read
  Info: https://snyk.io/vuln/SNYK-ALPINE311-APKTOOLS-1246343
  Introduced through: apk-tools/apk-tools@2.10.4-r3
  Image layer: Introduced by your base image (alpine:3.11.0)
  Fixed in: 2.10.6-r0

Organization:      damrongsak
Package manager:   apk
Target file:       .\Dockerfile
Project name:      docker-image|ws-fac
Docker image:      ws-fac
Platform:          linux/amd64
Base image:        alpine:3.11.0
Licenses:          enabled

Tested 14 dependencies for known issues, found 11 issues.

Base Image     Vulnerabilities  Severity
alpine:3.11.0  11               5 high, 5 medium, 1 low

Recommendations for base image upgrade:

Minor upgrades
Base Image  Vulnerabilities  Severity
alpine:3    0                0 high, 0 medium, 0 low

ผลรายงานในกรณีที่ไม่ใส่ --file เพื่อเปรียบเทียบกัน

> docker scan  ws-fac

Testing ws-fac...

✗ Low severity vulnerability found in openssl/libcrypto1.1
  Description: Inadequate Encryption Strength
  Info: https://snyk.io/vuln/SNYK-ALPINE311-OPENSSL-1075739
  Introduced through: openssl/libcrypto1.1@1.1.1d-r2, openssl/libssl1.1@1.1.1d-r2, apk-tools/apk-tools@2.10.4-r3, libtls-standalone/libtls-standalone@2.9.1-r0
  From: openssl/libcrypto1.1@1.1.1d-r2
  From: openssl/libssl1.1@1.1.1d-r2 > openssl/libcrypto1.1@1.1.1d-r2
  From: apk-tools/apk-tools@2.10.4-r3 > openssl/libcrypto1.1@1.1.1d-r2
  and 4 more...
  Fixed in: 1.1.1j-r0
[...]
✗ High severity vulnerability found in apk-tools/apk-tools
  Description: Out-of-bounds Read
  Info: https://snyk.io/vuln/SNYK-ALPINE311-APKTOOLS-1246343
  Introduced through: apk-tools/apk-tools@2.10.4-r3
  From: apk-tools/apk-tools@2.10.4-r3
  Fixed in: 2.10.6-r0

Organization:      damrongsak
Package manager:   apk
Project name:      docker-image|ws-fac
Docker image:      ws-fac
Platform:          linux/amd64
Licenses:          enabled

Tested 14 dependencies for known issues, found 11 issues.

มูลค่าความสุข

scan หาช่องโหว่ใน image ด้วยคำสั่ง docker scan

Damrongsak Reetanon — Tue, 01 Jun 2021 09:33:02 +0000

19 พ.ค. 2563 Docker และ Snyk ประกาศความร่วมมือร่วมกันในมุมของการตรวจสอบช่องโหว่ใน Container Image ใน Docker
Snyx เป็นบริษัทที่มีผลิตภัณฑ์ที่มีเครื่องมือที่ช่วยหาช่องโหว่ และแนะนำเพื่อแก้ไข ทั้งในมุม Open Source Dependencies, Code Security, Container Security และ Infrastructure as Code Security
ในกรณีที่ต้องการ scan หาช่องโหว่ในของ Container Image ในเครื่องตัวเอง ต้องเป็น Docker ที่เป็น Docker Desktop version 2.3.6.0 ขึ้นไป

ใช้ได้เฉพาะ Docker Desktop for Mac and Docker Desktop for Windows เท่านั้น

❯ docker version
Client:
 Cloud integration: 1.0.14
 Version:           20.10.6
[...]
 OS/Arch:           darwin/amd64
 Context:           default
 Experimental:      true

Server: Docker Engine - Community
 Engine:
  Version:          20.10.6
  API version:      1.41 (minimum version 1.12)
[...]
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0

❯ docker scan --version
Version:    v0.8.0
Git commit: 35651ca
Provider:   Snyk (1.563.0)

Scan เพื่อตรวจสอบช่องโหว่ของ Container Image

>>>>> ในกรณีที่ไม่พบช่องโหว่ใน Container Image. <<<<<

❯ docker scan  redhat/ubi8-micro

Testing redhat/ubi8-micro...

Organization:      damrongsak
Package manager:   rpm
Project name:      docker-image|redhat/ubi8-micro
Docker image:      redhat/ubi8-micro
Platform:          linux/amd64
Licenses:          enabled

✓ Tested 18 dependencies for known issues, no vulnerable paths found.

>>>>> ในกรณีที่พบช่องโหว่ใน Container Image <<<<<

❯ docker scan centos

Testing centos...

✗ Low severity vulnerability found in libdb-utils
  Description: RHSA-2021:1675
  Info: https://snyk.io/vuln/SNYK-CENTOS8-LIBDBUTILS-1294335
  Introduced through: libdb-utils@5.3.28-39.el8
  From: libdb-utils@5.3.28-39.el8
  Fixed in: 0:5.3.28-40.el8

✗ Low severity vulnerability found in libdb
  Description: RHSA-2021:1675
  Info: https://snyk.io/vuln/SNYK-CENTOS8-LIBDB-1294336
  Introduced through: libdb@5.3.28-39.el8
  From: libdb@5.3.28-39.el8
  Fixed in: 0:5.3.28-40.el8

[...]

Tested 172 dependencies for known vulnerabilities, found 28 vulnerabilities.

For more free scans that keep your images secure, sign up to Snyk at https://dockr.ly/3ePqVcp

ใช้ option --json แสดงผลการ scan ในรูปแบบของ JSON

ผลการ scan ที่ได้จะมีรายละเอียดของข้อมูลที่มากกว่า การแสดงผลแบบที่ไม่ใช้ --json

❯ docker scan --json centos
"vulnerabilities": [
    {
      "title": "RHSA-2021:1679",
      "credit": [
        ""
      ],
      "packageName": "bash",
      "language": "linux",
      "packageManager": "centos:8",
      "description": "## NVD Description\n<i> **Note:** </i>\n<i> Versions mentioned in the description apply to the upstream `bash` package. </i>\n<i> See `Remediation` section below for `Centos:8` relevant versions. </i>\n\nThe bash packages provide Bash (Bourne-again shell), which is the default shell for Red Hat Enterprise Linux. Security Fix(es): * bash: when effective UID is not equal to its real UID the saved UID is not dropped (CVE-2019-18276) For more details about the security issue(s), including the impact, a CVSS score, acknowledgments, and other related information, refer to the CVE page(s) listed in the References section. Additional Changes: For detailed information on changes in this release, see the Red Hat Enterprise Linux 8.4 Release Notes linked from the References section.\n## Remediation\nUpgrade `Centos:8` `bash` to version 0:4.4.19-14.el8 or higher.\n## References\n- [ADVISORY](https://access.redhat.com/errata/RHSA-2021:1679)\n",
      "identifiers": {
        "ALTERNATIVE": [],
        "CVE": [
          "RHSA-2021:1679"
        ],
        "CWE": []
      },
      "severity": "low",
      "severityWithCritical": "low",
      "cvssScore": null,
      "CVSSv3": null,
      "patches": [],
      "references": [
        {
          "title": "ADVISORY",
          "url": "https://access.redhat.com/errata/RHSA-2021:1679"
        }
      ],
      "creationTime": "2021-05-19T08:11:21.843115Z",
      "modificationTime": "2021-05-19T08:11:21.853372Z",
      "publicationTime": "2021-05-19T08:11:21.860359Z",
      "disclosureTime": null,
      "id": "SNYK-CENTOS8-BASH-1294125",
      "nvdSeverity": "low",
      "relativeImportance": null,
      "semver": {
        "vulnerable": [
          "<0:4.4.19-14.el8"
        ]
      },
      "exploit": "No Data",
      "from": [
        "docker-image|centos@latest",
        "bash@4.4.19-12.el8"
      ],
      "upgradePath": [
        false,
        "bash@0:4.4.19-14.el8"
      ],
      "isUpgradable": true,
      "isPatchable": false,
      "name": "bash",
      "version": "4.4.19-12.el8",
      "nearestFixedInVersion": "0:4.4.19-14.el8"
    },
[...]
  "packageManager": "rpm",
  "ignoreSettings": null,
  "docker": {},
  "summary": "28 vulnerable dependency paths",
  "filesystemPolicy": false,
  "filtered": {
    "ignore": [],
    "patch": []
  },
  "uniqueCount": 28,
  "projectName": "docker-image|centos",
  "platform": "linux/amd64",
  "path": "centos"
}

เพิ่ม option --dependency-tree แสดงความเกี่ยวข้องกันของแต่ละไฟล์ใน Container Image

❯ docker scan --dependency-tree redhat/ubi8-micro
docker-image|redhat/ubi8-micro @ latest
   ├─ basesystem @ 11-5.el8
   ├─ bash @ 4.4.20-1.el8_4
   ├─ coreutils-single @ 8.30-8.el8
   ├─ filesystem @ 3.8-3.el8
   ├─ glibc @ 2.28-151.el8
   ├─ glibc-common @ 2.28-151.el8
   ├─ glibc-minimal-langpack @ 2.28-151.el8
   ├─ libacl @ 2.2.53-1.el8
   ├─ libattr @ 2.4.48-3.el8
   ├─ libcap @ 2.26-4.el8
   ├─ libselinux @ 2.9-5.el8
   ├─ libsepol @ 2.9-2.el8
   ├─ ncurses-base @ 6.1-7.20180224.el8
   ├─ ncurses-libs @ 6.1-7.20180224.el8
   ├─ pcre2 @ 10.32-2.el8
   ├─ redhat-release @ 8.4-0.6.el8
   ├─ setup @ 2.12.2-6.el8
   └─ tzdata @ 2021a-1.el8

Testing redhat/ubi8-micro...

Organization:      damrongsak
Package manager:   rpm
Project name:      docker-image|redhat/ubi8-micro
Docker image:      redhat/ubi8-micro
Platform:          linux/amd64
Licenses:          enabled

✓ Tested 18 dependencies for known issues, no vulnerable paths found.

เพิ่ม option --severity เพื่อกำหนดให้แสดงผลเฉพาะกลุ่มของ severity ที่ต้องการเท่านั้น ซึ่งสามารถกำหนดได้ 3 ระดับ low, medium และ high

❯ docker scan --severity=high centos

Testing centos...

✗ High severity vulnerability found in openssl-libs
  Description: RHSA-2020:5476
  Info: https://snyk.io/vuln/SNYK-CENTOS8-OPENSSLLIBS-1052541
  Introduced through: openssl-libs@1:1.1.1g-11.el8
  From: openssl-libs@1:1.1.1g-11.el8
  Fixed in: 1:1.1.1g-12.el8_3

✗ High severity vulnerability found in openssl-libs
  Description: RHSA-2021:1024
  Info: https://snyk.io/vuln/SNYK-CENTOS8-OPENSSLLIBS-1089748
  Introduced through: openssl-libs@1:1.1.1g-11.el8
  From: openssl-libs@1:1.1.1g-11.el8
  Fixed in: 1:1.1.1g-15.el8_3

✗ High severity vulnerability found in nettle
  Description: RHSA-2021:1206
  Info: https://snyk.io/vuln/SNYK-CENTOS8-NETTLE-1287634
  Introduced through: nettle@3.4.1-2.el8
  From: nettle@3.4.1-2.el8
  Fixed in: 0:3.4.1-4.el8_3

✗ High severity vulnerability found in gnutls
  Description: RHSA-2021:1206
  Info: https://snyk.io/vuln/SNYK-CENTOS8-GNUTLS-1287630
  Introduced through: gnutls@3.6.14-6.el8
  From: gnutls@3.6.14-6.el8
  Fixed in: 0:3.6.14-8.el8_3

✗ High severity vulnerability found in bind-export-libs
  Description: RHSA-2021:0670
  Info: https://snyk.io/vuln/SNYK-CENTOS8-BINDEXPORTLIBS-1081045
  Introduced through: bind-export-libs@32:9.11.20-5.el8
  From: bind-export-libs@32:9.11.20-5.el8
  Fixed in: 32:9.11.20-5.el8_3.1

✗ High severity vulnerability found in bind-export-libs
  Description: RHSA-2021:1989
  Info: https://snyk.io/vuln/SNYK-CENTOS8-BINDEXPORTLIBS-1294046
  Introduced through: bind-export-libs@32:9.11.20-5.el8
  From: bind-export-libs@32:9.11.20-5.el8
  Fixed in: 32:9.11.26-4.el8_4



Organization:      damrongsak
Package manager:   rpm
Project name:      docker-image|centos
Docker image:      centos
Platform:          linux/amd64
Licenses:          enabled

Tested 172 dependencies for known issues, found 6 issues.

ข้อจำกัดที่ต้องรู้

ถ้า scan โดยไม่ได้ login กับ Snyk จะ scan ได้เพียง 10 ครั้งต่อเดือนเท่านั้น หากต้องการใช้ต้อง login กับ Snyk ด้วยคำสั่ง docker scan --login

❯  docker scan IMAGE
You have reached the scan limit of 10 monthly scans without authentication.
For additional monthly scans, sign into or sign up for Snyk for free with the following command:
`docker scan --login`

Login ที่ snyk.io ด้วย Docker ID พอ login สำเร็จ Snyk จะอนุญาตให้เรา scan ได้ 200 ครั้งต่อเดืือน

❯ docker scan --login

Now redirecting you to our auth page, go ahead and log in,
and once the auth is complete, return to this prompt and you'll
be ready to start using snyk.

If you can't wait use this url:
https://snyk.io/login?token= [...]


Your account has been authenticated. Snyk is now ready to be used.

มูลค่าความสุข

อ่านต่อตอนที่ 2

docker scan ตอน 2 ... ยังมีข้อสงสัยอีกนิดหน่อย !!!

Damrongsak Reetanon ・ Jun 2 '21

#docker #devsecops