DEV Community: Hải Phạm Ngọc

REST API URI Naming Conventions

Hải Phạm Ngọc — Tue, 11 Feb 2025 03:03:13 +0000

1. Resource là gì?

Resource trong REST là một khái niệm trừu tượng đại diện cho một tập hợp các thực thể có thể được đặt tên, như tài liệu, hình ảnh, dịch vụ, v.v.

Singleton Resources: Đại diện cho một thực thể duy nhất, ví dụ: /customers/{id}
Collection Resources: Chứa nhiều tài nguyên con, ví dụ: /customers
Sub-Collection Resources: Tài nguyên nằm trong một bộ sưu tập khác, ví dụ: /customers/{id}/accounts

2. Thực tiễn tốt nhất trong thiết kế URI

2.1. Sử dụng danh từ để đại diện cho tài nguyên

URI RESTful nên sử dụng danh từ thay vì động từ để đảm bảo tính rõ ràng và dễ hiểu.
Các loại tài nguyên:
- Document: Đại diện cho một thực thể cụ thể (số ít). VD: /users/{id}
- Collection: Chứa nhiều tài nguyên cùng loại. VD: /users
- Store: Do người dùng quản lý. VD: /users/{id}/playlists

2.2. Đảm bảo tính nhất quán

Sử dụng dấu gạch chéo / để chỉ mối quan hệ phân cấp: VD: /device-management/managed-devices/{id}/scripts
Không dùng dấu gạch chéo cuối / vì không có giá trị ngữ nghĩa.
Sử dụng dấu gạch nối - thay vì gạch dưới _ để tránh nhầm lẫn.
Dùng chữ thường trong URI để nhất quán và tránh lỗi.
Không sử dụng phần mở rộng tệp như .xml hay .json.

2.3. Tránh sử dụng động từ trong URI

URI chỉ nên xác định tài nguyên, không mô tả hành động.
Sử dụng phương thức HTTP để xác định thao tác:
- GET /users → Lấy danh sách người dùng
- POST /users → Tạo người dùng mới
- PUT /users/{id} → Cập nhật người dùng
- DELETE /users/{id} → Xóa người dùng
Nếu cần thực hiện hành động, sử dụng tài nguyên trạng thái:
- Thay vì: /scripts/{id}/execute
- Dùng: /scripts/{id}/status với POST và action=execute

2.4. Sử dụng tham số truy vấn để lọc tài nguyên

Không tạo API mới chỉ để lọc dữ liệu, thay vào đó, sử dụng tham số truy vấn:

  /devices?region=USA&brand=XYZ&sort=installation-date

3. Kết luận

Tài nguyên RESTful nên được định danh bằng danh từ.
Tránh đặt động từ trong URI để không biến API REST thành RPC.
Thực hiện các phương thức CRUD bằng HTTP methods thay vì URI động từ.

Source: https://restfulapi.net/resource-naming/

How to install Multipass and libvirt VMs on Ubuntu

Hải Phạm Ngọc — Mon, 16 Sep 2024 15:16:08 +0000

sudo apt install virt-manager libvirt-daemon-system -y
sudo adduser $USER libvirt
sudo reboot now
sudo snap install multipass
sudo snap connect multipass:libvirt
multipass stop --all
multipass set local.passphrase
multipass authenticate
multipass set local.driver=libvirt

How to install Apache Kafka on Ubuntu with KRaft Mode (without Zookeeper): A Step-by-Step Guide

Hải Phạm Ngọc — Mon, 02 Sep 2024 03:45:00 +0000

1. Cài đặt Java Development Kit (JDK)



sudo apt install openjdk-11-jdk

Xác minh việc cài đặt bằng cách kiểm tra phiên bản Java:



java -version

2. Tạo Kafka User



sudo adduser kafka

Bạn sẽ được yêu cầu đặt mật khẩu cho người dùng mới. Sau khi đặt mật khẩu, bạn sẽ được nhắc nhập thông tin bổ sung về người dùng. Bạn có thể nhập chi tiết các thông tin này hoặc chỉ cần nhấn Enter để chấp nhận các giá trị mặc định.

Tiếp theo, bạn cần cấp đặc quyền sudo cho user kafka:



sudo usermod -aG sudo kafka

3. Chuyển sang Kafka User đã tạo

Các bước tiếp theo cần được thực hiện trong user kafka. Do đó, bạn cần chuyển sang user kafka đã tạo trước đó bằng lệnh sau:



su - kafka

4. Cài đặt Apache Kafka

Bạn có thể sử dụng lệnh wget để tải xuống phiên bản ổn định mới nhất của Kafka:



wget https://downloads.apache.org/kafka/3.8.0/kafka_2.13-3.8.0.tgz

Sau khi quá trình tải xuống hoàn tất, bạn cần giải nén nó bằng lệnh sau:



tar -xzvf kafka_2.13-3.8.0.tgz

Di chuyển thư mục kafka đã giải nén sang /opt/apache-kafka để truy cập và quản lý dễ dàng hơn.



sudo mv kafka_2.13-3.8.0 /opt/apache-kafka
sudo chown -R kafka:kafka /opt/apache-kafka

5. Cấu hình biến môi trường `PATH`

Tạo tệp /etc/profile.d/kafka.sh



sudo nano /etc/profile.d/kafka.sh

Thêm các dòng bên dưới vào tệp:



#!/bin/sh

KAFKA_HOME="/opt/apache-kafka"
PATH="${PATH}:${KAFKA_HOME}/bin"

export KAFKA_HOME
export PATH

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.

6. Tạo ID cụm và định dạng bộ lưu trữ bằng `kafka-storage.sh`

Tạo ID mới cho cụm của bạn



/opt/apache-kafka/bin/kafka-storage.sh random-uuid

Output trả về một UUID, ví dụ: 9OYVwS2kT0KnuFU46oCFfQ
Tiếp theo, bạn cần định dạng thư mục lưu trữ (thay thế bằng UUID thu được ở trên), ví dụ:



/opt/apache-kafka/bin/kafka-storage.sh format -t 9OYVwS2kT0KnuFU46oCFfQ -c /opt/apache-kafka/config/kraft/server.properties

Điều này sẽ định dạng thư mục trong log.dirs trong tập tin config/kraft/server.properties (theo mặc định là /tmp/kraft-combined-logs)

7. Tạo systemd service file cho Kafka



sudo nano /lib/systemd/system/kafka-server.service



[Unit]
Description=Apache Kafka Service with KRaft Mode
Requires=network.target
After=network.target

[Service]
Type=simple
User=kafka
Group=kafka
ExecStart=/opt/apache-kafka/bin/kafka-server-start.sh /opt/apache-kafka/config/kraft/server.properties
ExecStop=/opt/apache-kafka/bin/kafka-server-stop.sh
Restart=on-abnormal
Environment="KAFKA_HEAP_OPTS=-Xmx512m -Xms512m"

[Install]
WantedBy=multi-user.target



sudo ln -s /lib/systemd/system/kafka-server.service /etc/systemd/system/kafka-server.service

Yêu cầu systemd tải lại cấu hình của các dịch vụ



sudo systemctl daemon-reload

8. Cấu hình hệ thống khởi động tự động dịch vụ cho Kafka Server (Optional)



sudo systemctl enable kafka-server

9. Khởi động Kafka Services và Verify Status



sudo systemctl start kafka-server



sudo systemctl status kafka-server



● kafka-server.service - Apache Kafka Service with KRaft Mode
     Loaded: loaded (/lib/systemd/system/kafka-server.service; enabled; vendor preset: enabled)
     Active: active (running) since Mon 2024-09-02 03:32:27 UTC; 10min ago
   Main PID: 4531 (java)
      Tasks: 95 (limit: 3530)
     Memory: 386.1M
     CGroup: /system.slice/kafka-server.service
             └─4531 java -Xmx1G -Xms1G -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -XX:MaxInlineLevel=15 -Djava.awt.headless=true -Xlog:gc*:file=/opt/apache-kafka/bin/../logs/kafkaServer-gc.log:time,tags:filecount=10,filesize=100M -Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dkafka.logs.dir=/opt/apache-kafka/bin/../logs -Dlog4j.configuration=file:/opt/apache-kafka/bin/../config/log4j.properties -cp /opt/apache-kafka/bin/../libs/activation-1.1.1.jar:/opt/apache-kafka/bin/../libs/aopalliance-repackaged-2.6.1.jar:/opt/apache-kafka/bin/../libs/argparse4j-0.7.0.jar:/opt/apache-kafka/bin/../libs/audience-annotations-0.12.0.jar:/opt/apache-kafka/bin/../libs/caffeine-2.9.3.jar:/opt/apache-kafka/bin/../libs/checker-qual-3.19.0.jar:/opt/apache-kafka/bin/../libs/commons-beanutils-1.9.4.jar:/opt/apache-kafka/bin/../libs/commons-cli-1.4.jar:/opt/apache-kafka/bin/../libs/commons-collections-3.2.2.jar:/opt/apache-kafka/bin/../libs/commons-digester-2.1.jar:/opt/apache-kafka/bin/../libs/commons-io-2.11.0.jar:/opt/apache-kafka/bin/../libs/commons-lang3-3.12.0.jar:/opt/apache-kafka/bin/../libs/commons-logging-1.2.jar:/opt/apache-kafka/bin/../libs/commons-validator-1.7.jar:/opt/apache-kafka/bin/../libs/connect-api-3.8.0.jar:/opt/apache-kafka/bin/../libs/connect-basic-auth-extension-3.8.0.jar:/opt/apache-kafka/bin/../libs/connect-json-3.8.0.jar:/opt/apache-kafka/bin/../libs/connect-mirror-3.8.0.jar:/opt/apache-kafka/bin/../libs/connect-mirror-client-3.8.0.jar:/opt/apache-kafka/bin/../libs/connect-runtime-3.8.0.jar:/opt/apache-kafka/bin/../libs/connect-transforms-3.8.0.jar:/opt/apache-kafka/bin/../libs/error_prone_annotations-2.10.0.jar:/opt/apache-kafka/bin/../libs/hk2-api-2.6.1.jar:/opt/apache-kafka/bin/../libs/hk2-locator-2.6.1.jar:/opt/apache-kafka/bin/../libs/hk2-utils-2.6.1.jar:/opt/apache-kafka/bin/../libs/jackson-annotations-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-core-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-databind-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-dataformat-csv-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-datatype-jdk8-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-jaxrs-base-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-jaxrs-json-provider-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-module-afterburner-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-module-jaxb-annotations-2.16.2.jar:/opt/apache-kafka/bin/../libs/jackson-module-scala_2.13-2.16.2.jar:/opt/apache-kafka/bin/../libs/jakarta.activation-api-1.2.2.jar:/opt/apache-kafka/bin/../libs/jakarta.annotation-api-1.3.5.jar:/opt/apache-kafka/bin/../libs/jakarta.inject-2.6.1.jar:/opt/apache-kafka/bin/../libs/jakarta.validation-api-2.0.2.jar:/opt/apache-kafka/bin/../libs/jakarta.ws.rs-api-2.1.6.jar:/opt/apache-kafka/bin/../libs/jakarta.xml.bind-api-2.3.3.jar:/opt/apache-kafka/bin/../libs/javassist-3.29.2-GA.jar:/opt/apache-kafka/bin/../libs/javax.activation-api-1.2.0.jar:/opt/apache-kafka/bin/../libs/javax.annotation-api-1.3.2.jar:/opt/apache-kafka/bin/../libs/javax.servlet-api-3.1.0.jar:/opt/apache-kafka/bin/../libs/javax.ws.rs-api-2.1.1.jar:/opt/apache-kafka/bin/../libs/jaxb-api-2.3.1.jar:/opt/apache-kafka/bin/../libs/jersey-client-2.39.1.jar:/opt/apache-kafka/bin/../libs/jersey-common-2.39.1.jar:/opt/apache-kafka/bin/../libs/jersey-container-servlet-2.39.1.jar:/opt/apache-kafka/bin/../libs/jersey-container-servlet-core-2.39.1.jar:/opt/apache-kafka/bin/../libs/jersey-hk2-2.39.1.jar:/opt/apache-kafka/bin/../libs/jersey-server-2.39.1.jar:/opt/apache-kafka/bin/../libs/jetty-client-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-continuation-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-http-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-io-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-security-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-server-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-servlet-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-servlets-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-util-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jetty-util-ajax-9.4.54.v20240208.jar:/opt/apache-kafka/bin/../libs/jline-3.25.1.jar:/opt/apache-kafka/bin/../libs/jopt-simple-5.0.4.jar:/opt/apache-kafka/bin/../libs/jose4j-0.9.4.jar:/opt/apache-kafka/bin/../libs/jsr305-3.0.2.jar:/opt/apache-kafka/bin/../libs/kafka-clients-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-group-coordinator-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-group-coordinator-api-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-log4j-appender-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-metadata-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-raft-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-server-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-server-common-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-shell-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-storage-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-storage-api-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-streams-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-streams-examples-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-streams-scala_2.13-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-streams-test-utils-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-tools-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-tools-api-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka-transaction-coordinator-3.8.0.jar:/opt/apache-kafka/bin/../libs/kafka_2.13-3.8.0.jar:/opt/apache-kafka/bin/../libs/lz4-java-1.8.0.jar:/opt/apache-kafka/bin/../libs/maven-artifact-3.9.6.jar:/opt/apache-kafka/bin/../libs/metrics-core-2.2.0.jar:/opt/apache-kafka/bin/../libs/metrics-core-4.1.12.1.jar:/opt/apache-kafka/bin/../libs/netty-buffer-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/netty-codec-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/netty-common-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/netty-handler-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/netty-resolver-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/netty-transport-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/netty-transport-classes-epoll-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/netty-transport-native-epoll-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/netty-transport-native-unix-common-4.1.110.Final.jar:/opt/apache-kafka/bin/../libs/opentelemetry-proto-1.0.0-alpha.jar:/opt/apache-kafka/bin/../libs/osgi-resource-locator-1.0.3.jar:/opt/apache-kafka/bin/../libs/paranamer-2.8.jar:/opt/apache-kafka/bin/../libs/pcollections-4.0.1.jar:/opt/apache-kafka/bin/../libs/plexus-utils-3.5.1.jar:/opt/apache-kafka/bin/../libs/protobuf-java-3.23.4.jar:/opt/apache-kafka/bin/../libs/reflections-0.10.2.jar:/opt/apache-kafka/bin/../libs/reload4j-1.2.25.jar:/opt/apache-kafka/bin/../libs/rocksdbjni-7.9.2.jar:/opt/apache-kafka/bin/../libs/scala-collection-compat_2.13-2.10.0.jar:/opt/apache-kafka/bin/../libs/scala-java8-compat_2.13-1.0.2.jar:/opt/apache-kafka/bin/../libs/scala-library-2.13.14.jar:/opt/apache-kafka/bin/../libs/scala-logging_2.13-3.9.4.jar:/opt/apache-kafka/bin/../libs/scala-reflect-2.13.14.jar:/opt/apache-kafka/bin/../libs/slf4j-api-1.7.36.jar:/opt/apache-kafka/bin/../libs/slf4j-reload4j-1.7.36.jar:/opt/apache-kafka/bin/../libs/snappy-java-1.1.10.5.jar:/opt/apache-kafka/bin/../libs/swagger-annotations-2.2.8.jar:/opt/apache-kafka/bin/../libs/trogdor-3.8.0.jar:/opt/apache-kafka/bin/../libs/zookeeper-3.8.4.jar:/opt/apache-kafka/bin/../libs/zookeeper-jute-3.8.4.jar:/opt/apache-kafka/bin/../libs/zstd-jni-1.5.6-3.jar kafka.Kafka /opt/apache-kafka/config/kraft/server.properties

Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,283] INFO [BrokerServer id=1] Waiting for all of the authorizer futures to be completed (kafka.server.BrokerServer)
Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,283] INFO [BrokerServer id=1] Finished waiting for all of the authorizer futures to be completed (kafka.server.BrokerServer)
Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,283] INFO [BrokerServer id=1] Waiting for all of the SocketServer Acceptors to be started (kafka.server.BrokerServer)
Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,283] INFO [BrokerServer id=1] Finished waiting for all of the SocketServer Acceptors to be started (kafka.server.BrokerServer)
Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,283] INFO [BrokerServer id=1] Transition from STARTING to STARTED (kafka.server.BrokerServer)
Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,284] INFO Kafka version: 3.8.0 (org.apache.kafka.common.utils.AppInfoParser)
Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,284] INFO Kafka commitId: 771b9576b00ecf5b (org.apache.kafka.common.utils.AppInfoParser)
Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,284] INFO Kafka startTimeMs: 1725247951283 (org.apache.kafka.common.utils.AppInfoParser)
Sep 02 03:32:31 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:32:31,285] INFO [KafkaRaftServer nodeId=1] Kafka Server started (kafka.server.KafkaRaftServer)
Sep 02 03:42:30 ubuntu-vm kafka-server-start.sh[4531]: [2024-09-02 03:42:30,843] INFO [NodeToControllerChannelManager id=1 name=registration] Node 1 disconnected. (org.apache.kafka.clients.NetworkClient)

Chúc các bạn thành công!

How to Install Hadoop on Ubuntu: A Step-by-Step Guide

Hải Phạm Ngọc — Sun, 01 Sep 2024 06:54:17 +0000

Hadoop là một framework mã nguồn mở được thiết kế để lưu trữ và xử lý dữ liệu lớn trên các cụm máy tính. Các thành phần chính của Hadoop bao gồm Hệ thống tệp phân tán Hadoop (HDFS - Hadoop Distributed File System) để lưu trữ và mô hình lập trình MapReduce để xử lý dữ liệu song song. Hadoop giúp các tổ chức quản lý và phân tích hiệu quả các bộ dữ liệu lớn, biến nó thành một công cụ quan trọng trong lĩnh vực phân tích dữ liệu lớn.

Kiến trúc của Hadoop gồm ba thành phần chính:

HDFS dùng để lưu trữ
Yet Another Resource Negotiator (YARN) để quản lý tài nguyên và điều phối công việc
MapReduce để xử lý dữ liệu song song

Các thành phần này phối hợp với nhau để cho phép xử lý hiệu quả và mở rộng các bộ dữ liệu lớn trên các cụm phần cứng phổ thông.

Dưới đây là hướng dẫn từng bước để cài đặt Hadoop Single Node trên Ubuntu:

1. Cài đặt Java Development Kit (JDK)

sudo apt install openjdk-11-jdk

Xác minh việc cài đặt bằng cách kiểm tra phiên bản Java:

java -version

2. Tạo Hadoop User

sudo adduser hadoop

Bạn sẽ được yêu cầu đặt mật khẩu cho người dùng mới. Sau khi đặt mật khẩu, bạn sẽ được nhắc nhập thông tin bổ sung về người dùng. Bạn có thể nhập chi tiết các thông tin này hoặc chỉ cần nhấn Enter để chấp nhận các giá trị mặc định.

Tiếp theo, bạn cần cấp đặc quyền sudo cho user hadoop:

sudo usermod -aG sudo hadoop

3. Cài đặt SSH

SSH (Secure Shell) rất cần thiết để cho phép liên lạc an toàn giữa các nút Hadoop. SSH cho phép bạn kết nối với các máy từ xa một cách an toàn và được Hadoop sử dụng để quản lý các nút phân tán của nó. Thiết lập SSH rất quan trọng để đăng nhập không cần mật khẩu, giúp đơn giản hóa việc quản lý cụm Hadoop.

Trước tiên, bạn cần đảm bảo rằng SSH đã được cài đặt trên hệ thống Ubuntu của bạn. Nếu nó chưa được cài đặt, bạn có thể cài đặt nó bằng lệnh sau:

sudo apt install openssh-client openssh-server

Để xác nhận rằng SSH đã được cài đặt chính xác, bạn có thể kiểm tra vị trí của tệp thực thi máy khách và máy chủ SSH:

which ssh
which sshd

Đầu ra của các lệnh này sẽ hiển thị các đường dẫn như /usr/bin/ssh và /usr/sbin/sshd, cho biết SSH client và SSH server đã được cài đặt.

4. Chuyển sang Hadoop User đã tạo

Các bước tiếp theo cần được thực hiện trong user hadoop. Do đó, bạn cần chuyển sang user hadoop đã tạo trước đó bằng lệnh sau:

su - hadoop

5. Tạo và thiết lập xác thực dựa trên khóa SSH

ssh-keygen -t rsa -b 4096 -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Xác minh rằng SSH đang hoạt động chính xác bằng cách kết nối với localhost:

ssh localhost

Khi kết nối lần đầu tiên, bạn có thể thấy thông báo yêu cầu bạn xác nhận tính xác thực của máy chủ. Nhập 'yes' và nhấn 'Enter' để thêm localhost vào danh sách các máy chủ đã biết.

6. Cài đặt Hadoop

Bạn có thể sử dụng lệnh wget để tải xuống phiên bản ổn định mới nhất của Hadoop:

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz

Sau khi quá trình tải xuống hoàn tất, bạn cần giải nén nó bằng lệnh sau:

tar -xzvf hadoop-3.4.0.tar.gz

Di chuyển thư mục Hadoop đã giải nén sang /opt/apache-hadoop để truy cập và quản lý dễ dàng hơn.

sudo mv hadoop-3.4.0 /opt/apache-hadoop

7. Cấu hình biến môi trường

a. Tạo tệp `/etc/profile.d/hadoop.sh`

sudo nano /etc/profile.d/hadoop.sh

Thêm các dòng bên dưới vào tệp:

#!/bin/sh

HADOOP_HOME="/opt/apache-hadoop"
HADOOP_INSTALL="${HADOOP_HOME}"
HADOOP_MAPRED_HOME="${HADOOP_HOME}"
HADOOP_COMMON_HOME="${HADOOP_HOME}"
HADOOP_HDFS_HOME="${HADOOP_HOME}"
YARN_HOME="${HADOOP_HOME}"
HADOOP_COMMON_LIB_NATIVE_DIR="${HADOOP_HOME}/lib/native"
HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
PATH="${PATH}:${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin"

export HADOOP_HOME
export HADOOP_INSTALL
export HADOOP_MAPRED_HOME
export HADOOP_COMMON_HOME
export HADOOP_HDFS_HOME
export YARN_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR
export HADOOP_OPTS
export PATH

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.

b. Sửa tệp `hadoop-env.sh`

Tệp hadoop-env.sh được sử dụng để định cấu hình môi trường cho Hadoop Daemons. Việc đặt biến JAVA_HOME ở đây đảm bảo rằng Hadoop sử dụng đúng phiên bản Java.

sudo nano /opt/apache-hadoop/etc/hadoop/hadoop-env.sh

Khi tệp được mở, hãy thêm/sửa đổi dòng sau:

export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.

c. Sửa tệp `core-site.xml`

sudo nano /opt/apache-hadoop/etc/hadoop/core-site.xml

Khi tệp được mở, hãy chèn cấu hình sau vào thẻ <configuration>: Cấu hình này đặt hệ thống tệp mặc định thành HDFS chạy trên localhost với cổng 9000.

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.

d. Sửa tệp `mapred-site.xml`

sudo nano /opt/apache-hadoop/etc/hadoop/mapred-site.xml

Khi tệp được mở, hãy chèn cấu hình sau vào thẻ <configuration>:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>${HADOOP_MAPRED_HOME}/share/hadoop/mapreduce/*:${HADOOP_MAPRED_HOME}/share/hadoop/mapreduce/lib/*</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/apache-hadoop</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/apache-hadoop</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/apache-hadoop</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>0.0.0.0:10020</value>
    <description>Address and port for Job History Server (default 0.0.0.0:10020)</description>
  </property>
</configuration>

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.

e. Sửa tệp `hdfs-site.xml`

sudo nano /opt/apache-hadoop/etc/hadoop/hdfs-site.xml

Khi tệp được mở, hãy chèn cấu hình sau vào thẻ <configuration>:

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/hadoop/hdfs/datanode</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>
</configuration>

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.

f. Sửa tệp `yarn-site.xml`

sudo nano /opt/apache-hadoop/etc/hadoop/yarn-site.xml

Khi tệp được mở, hãy chèn cấu hình sau vào thẻ <configuration>:

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.

7. Khởi tạo Hadoop Distributed File System (HDFS)

sudo mkdir -p /data/hadoop/hdfs/{namenode,datanode}
sudo chown -R hadoop:hadoop /data/hadoop
sudo chmod -R 700 /data/hadoop/hdfs

Định dạng NameNode sẽ khởi tạo metadata cho hệ thống tệp Hadoop. Bước này chỉ nên được thực hiện một lần, thường là trong quá trình thiết lập ban đầu, vì việc định dạng lại sẽ xóa metadata hiện có và nội dung hệ thống tệp.

/opt/apache-hadoop/bin/hdfs namenode -format

8. Tạo systemd service file cho Hadoop

Sau khi định dạng NameNode, bạn cần khởi động HDFS Daemons, bao gồm NameNode và DataNode. Khởi động các dịch vụ Hadoop là quá trình khởi tạo các daemon và thành phần cần thiết trong hệ sinh thái Hadoop để giúp cụm hoạt động. Các dịch vụ này bao gồm cả HDFS và YARN

a. Tạo Apache Hadoop DFS Daemons Service File

sudo nano /lib/systemd/system/hadoop-dfs.service

[Unit]
Description=Apache Hadoop DFS Daemons
Requires=network.target
After=network.target

[Service]
Type=forking
User=hadoop
Group=hadoop
ExecStart=/opt/apache-hadoop/sbin/start-dfs.sh
ExecStop=/opt/apache-hadoop/sbin/stop-dfs.sh
Restart=on-failure
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.
Tạo symlink

sudo ln -s /lib/systemd/system/hadoop-dfs.service /etc/systemd/system/hadoop-dfs.service

b. Tạo Apache Hadoop YARN Daemons Service File

sudo nano /lib/systemd/system/hadoop-yarn.service

[Unit]
Description=Apache Hadoop YARN Daemons
Requires=network.target
After=network.target

[Service]
Type=forking
User=hadoop
Group=hadoop
ExecStart=/opt/apache-hadoop/sbin/start-yarn.sh
ExecStop=/opt/apache-hadoop/sbin/stop-yarn.sh
Restart=on-failure
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target

Nhấn Ctrl + X, sau đó nhấn Y và nhấn Enter để lưu các thay đổi và thoát.
Tạo symlink

sudo ln -s /lib/systemd/system/hadoop-yarn.service /etc/systemd/system/hadoop-yarn.service

Yêu cầu systemd tải lại cấu hình của các dịch vụ

sudo systemctl daemon-reload

9. Cấu hình hệ thống khởi động tự động dịch vụ cho Hadoop (Optional)

sudo systemctl enable hadoop-dfs
sudo systemctl enable hadoop-yarn

10. Khởi động Hadoop Services và Verify Status

sudo systemctl start hadoop-dfs
sudo systemctl start hadoop-yarn

Việc xác minh trạng thái daemon của Hadoop bao gồm việc sử dụng lệnh jps, lệnh này liệt kê các quy trình Java để kiểm tra xem các daemon của Hadoop như NameNode, DataNode, PrimaryNameNode, ResourceManager và NodeManagers có đang chạy hay không. Mỗi daemon tương ứng với một quy trình Java, xác nhận trạng thái hoạt động của nó trong cụm Hadoop. Bước này đảm bảo rằng tất cả các thành phần cần thiết đều hoạt động và sẵn sàng xử lý các tác vụ lưu trữ, xử lý và quản lý tài nguyên dữ liệu một cách hiệu quả.

jps

Nếu các daemons khởi động thành công, thì sẽ thấy kết quả tương tự như dưới đây:

1296 NodeManager
1680 SecondaryNameNode
1104 NameNode
929 ResourceManager
3335 Jps
1415 DataNode

Truy cập WebUI NameNode của Hadoop: http://localhost:9870/

Giao diện người dùng NameNode thường hiển thị thông tin cần thiết như tóm tắt cụm, nút dữ liệu, dung lượng HDFS, mức sử dụng hệ thống tệp, v.v. Nó cung cấp thông tin chi tiết về trạng thái chung của HDFS, cho phép quản trị viên và người dùng khắc phục sự cố, quản lý tệp và đảm bảo hiệu suất tối ưu của cụm Hadoop.

Truy cập WebUI của Trình quản lý tài nguyên Hadoop: http://localhost:8088/

Giao diện người dùng ResourceManager thường hiển thị bảng thông tin bao gồm thông tin tóm tắt về các ứng dụng đang hoạt động và đã hoàn thành, số liệu sử dụng cụm, trình quản lý nút, hàng đợi, v.v. Điều này cho phép quản trị viên và người dùng theo dõi trạng thái phân bổ và sử dụng tài nguyên hiện tại.

Chúc các bạn thành công!

Các khái niệm cơ bản về Apache Kafka

Hải Phạm Ngọc — Mon, 25 Mar 2024 11:44:02 +0000

Hướng dẫn cài đặt OpenMPI trên Ubuntu Linux

Hải Phạm Ngọc — Sat, 23 Mar 2024 07:08:44 +0000

Bước 1: Cài đặt GCC và các công cụ biên dịch

  sudo apt install build-essential

Bước 2: Tải, biên dịch và cài đặt OpenMPI

  wget https://download.open-mpi.org/release/open-mpi/v5.0/openmpi-5.0.2.tar.gz
  tar -xvf openmpi-5.0.2.tar.gz
  cd openmpi-5.0.2
  ./configure --prefix="/usr/local"
  make
  sudo make all install

Bước 3: Chỉnh sửa file .bashrc

  nano ~/.bashrc

Thêm vào cuối file các dòng sau:

  export LD_LIBRARY_PATH="${LD_LIBRARY_PATH}:/usr/local/lib"
  export MANPATH="${MANPATH}:/usr/local/share/man"

Ctrl+O -> Enter để lưu lại. Ctrl+X để thoát.

Sau đó, tắt Terminal đi và bật lại.

Bước 4: Kiểm tra

  mpiexec --version
  mpirun --version

Nếu kết quả như dưới đây, thì ta đã cài đặt thành công:

  mpiexec (Open MPI) 5.0.2

  Report bugs to https://www.open-mpi.org/community/help/

DEV Community: Hải Phạm Ngọc

REST API URI Naming Conventions

1. Resource là gì?

2. Thực tiễn tốt nhất trong thiết kế URI

2.1. Sử dụng danh từ để đại diện cho tài nguyên

2.2. Đảm bảo tính nhất quán

2.3. Tránh sử dụng động từ trong URI

2.4. Sử dụng tham số truy vấn để lọc tài nguyên

3. Kết luận

How to install Multipass and libvirt VMs on Ubuntu

How to install Apache Kafka on Ubuntu with KRaft Mode (without Zookeeper): A Step-by-Step Guide

1. Cài đặt Java Development Kit (JDK)

2. Tạo Kafka User

3. Chuyển sang Kafka User đã tạo

4. Cài đặt Apache Kafka

5. Cấu hình biến môi trường PATH

6. Tạo ID cụm và định dạng bộ lưu trữ bằng kafka-storage.sh

7. Tạo systemd service file cho Kafka

8. Cấu hình hệ thống khởi động tự động dịch vụ cho Kafka Server (Optional)

9. Khởi động Kafka Services và Verify Status

How to Install Hadoop on Ubuntu: A Step-by-Step Guide

1. Cài đặt Java Development Kit (JDK)

2. Tạo Hadoop User

3. Cài đặt SSH

4. Chuyển sang Hadoop User đã tạo

5. Tạo và thiết lập xác thực dựa trên khóa SSH

6. Cài đặt Hadoop

7. Cấu hình biến môi trường

a. Tạo tệp /etc/profile.d/hadoop.sh

b. Sửa tệp hadoop-env.sh

c. Sửa tệp core-site.xml

d. Sửa tệp mapred-site.xml

e. Sửa tệp hdfs-site.xml

f. Sửa tệp yarn-site.xml

7. Khởi tạo Hadoop Distributed File System (HDFS)

8. Tạo systemd service file cho Hadoop

a. Tạo Apache Hadoop DFS Daemons Service File

b. Tạo Apache Hadoop YARN Daemons Service File

9. Cấu hình hệ thống khởi động tự động dịch vụ cho Hadoop (Optional)

10. Khởi động Hadoop Services và Verify Status

Các khái niệm cơ bản về Apache Kafka

Hướng dẫn cài đặt OpenMPI trên Ubuntu Linux

5. Cấu hình biến môi trường `PATH`

6. Tạo ID cụm và định dạng bộ lưu trữ bằng `kafka-storage.sh`

a. Tạo tệp `/etc/profile.d/hadoop.sh`

b. Sửa tệp `hadoop-env.sh`

c. Sửa tệp `core-site.xml`

d. Sửa tệp `mapred-site.xml`

e. Sửa tệp `hdfs-site.xml`

f. Sửa tệp `yarn-site.xml`