DEV Community: Fatih ASLAN

Harbor Registry Kurulumu on Ubuntu20LTS

Fatih ASLAN — Thu, 17 Mar 2022 05:49:37 +0000

Harbor: Open source cloud native registry projesidir.

Biz direk ubuntu üzerinde docker container‘ler olarak kurulumu başlatacağız.

Docker kurulumuna başlamadan bridge0‘yu özelleştirebilirsiniz.

sudo mkdir /etc/docker

sudo vim /etc/docker/daemon.json


{
"bip": "192.168.81.1/24"
}

Docker kuralım,

sudo apt install ca-certificates curl gnupg lsb-release -y

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt update

sudo apt install docker-ce docker-ce-cli containerd.io -y

Docker Compose kuralım,

sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

sudo usermod -aG docker $USER

Kurulum yapacağımız harbor versiyonunu indirelim,

wget https://github.com/goharbor/harbor/releases/download/v2.4.1/harbor-offline-installer-v2.4.1.tgz

tar xzf harbor-offline-installer-v2.4.1.tgz

cd harbor/

cp harbor.yml.tmpl harbor.yml

Harbor kurulum öncesi kopyaladığmız “harbor.yml” dosyası üzerinde bir takım değişiklikler yapmanız gerekli, bu değişiklikleri ortamınıza uygun şekilde yapmanız gerekir,

vim harbor.yml

hostname: harbor.fatlan.com
http:
  port: 80
https:
  port: 443
  certificate: /home/fatlan/ssl/fatlancom.crt
  private_key: /home/fatlan/ssl/fatlancom.key
harbor_admin_password: Harbor12345
database:
  password: root123
data_volume: /data

Son olarak harbor kurulum script‘imizi başlatalım.

./install.sh

Akabinde başarılı olan kurulumumuz sonrası ui aracılığıyla da login olduğumuz registry‘imizi cli ile test edelim.

Docker image testi,

docker tag weaveworks/scope harbor.fatlan.com/library/weaveworks-scope

docker login https://harbor.fatlan.com

docker push harbor.fatlan.com/library/weaveworks-scope

docker pull harbor.fatlan.com/library/weaveworks-scope

Helm Chart testi,

helm create fatihcharts (after changed)

touch index.yaml

helm repo index . --url https://harbor.fatlan.com/mycharts

helm package fatihcharts {yada cd fatihcharts, helm package .}

helm registry login https://harbor.fatlan.com {export HELM_EXPERIMENTAL_OCI=1 gerekebilir}

helm push fatihcharts-0.1.0.tgz oci://harbor.fatlan.com/mycharts/

helm pull oci://harbor.fatlan.com/mycharts/fatihcharts

Kubeadm ile Kubernetes Cluster Install (3Node=1Master+2Worker) on Ubuntu20LTS

Fatih ASLAN — Thu, 10 Feb 2022 20:37:51 +0000

Kubeadm ile Kubernetes Cluster kurulumu...

NAME                STATUS   ROLES                  AGE    VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION     CONTAINER-RUNTIME
kubernetes-master   Ready    control-plane,master   122m   v1.23.3   10.10.10.113  <none>        Ubuntu 20.04.3 LTS   5.4.0-97-generic   containerd://1.5.5
kubernetes-node01   Ready    <none>                 115m   v1.23.3   10.10.10.114  <none>        Ubuntu 20.04.3 LTS   5.4.0-97-generic   containerd://1.5.5
kubernetes-node02   Ready    <none>                 115m   v1.23.3   10.10.10.115  <none>        Ubuntu 20.04.3 LTS   5.4.0-97-generic   containerd://1.5.5

1- Tüm Node'ler de çalıştırılmalıdır.

sudo vim /etc/hosts

10.10.10.113 kubernetes-master
10.10.10.114 kubernetes-node01
10.10.10.115 kubernetes-node02

Gerekli paketleri kuralım.

sudo apt update && sudo apt -y install curl apt-transport-https vim git wget gnupg2 software-properties-common ca-certificates

Akabinde swap alanını kapatalım.

sudo swapoff -a
sudo sed -i '/swap/ s/^\(.*\)$/#\1/g' /etc/fstab

Şimdi container runtime kurulumu yapacağız. Alternatifler containerd, docker ve cri-o'dur fakat kubernetes dockershim deprecation yaptığı için biz containerd yapacağız, zaten default olarak containerd geliyor.

sudo tee /etc/modules-load.d/containerd.conf <<EOF
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

sudo sysctl --system

sudo apt install -y containerd

sudo mkdir -p /etc/containerd

sudo containerd config default | sudo tee /etc/containerd/config.toml

sudo systemctl restart containerd.service

#To use the systemd cgroup driver, "set plugins.cri.systemd_cgroup = true" in /etc/containerd/config.toml. When using kubeadm, manually configure the cgroup driver for kubelet

Bu arada container runtime Unix domain socket yolları aşağıdaki gibidir.

Docker      > /var/run/docker.sock
Containerd  > /run/containerd/containerd.sock
Cri-o       > /var/run/crio/crio.sock

Şimdi ise kubernetes paketlerini kuralım.

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

echo "deb https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

sudo apt update
sudo apt -y install kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl
kubectl version --client && kubeadm version

2- Sadece Master Node'sinde çalıştırılmalıdır.

Bu aşamada POD Network'ünü de oluşturacağız. Alternatifler Calico, Canal, Flannel, Romana ve Weave'dir. Biz Calico kurulumu yapacağız.
Kubeadm init ile Cluster'ı oluştururken bunu(--pod-network-cidr) dikkate alacağız.

#calico.yaml dosyasındaki ip bilgisine uygun olarak, bir pod network range'i belirleyerek kubernetes cluster'ımızı oluşturabiliriz,
#subneti "vi calico.yaml" ile değiştirmek istersek, aşağıdaki komutta da ilgili subneti belirtmeliyiz.

curl https://docs.projectcalico.org/manifests/calico.yaml -O

sudo kubeadm init --pod-network-cidr=192.168.0.0/16

Çıktı aşağıdaki gibi olmalıdır. Hem aşağıdaki adımları takip edeceğiz hem de kubeadm join ile cluster'a yeni node'ler ekleyeceğiz.

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

Alternatively, if you are the root user, you can run:

  export KUBECONFIG=/etc/kubernetes/admin.conf

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.10.10.113:6443 --token 6sdzxn.pvgby7g42xq59mfb \
    --discovery-token-ca-cert-hash sha256:c4de5f8322be732828565761ed82274d31f282591017b64ef70891f00bc838a8

Hemen yapalım.

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

#export KUBECONFIG=/etc/kubernetes/admin.conf olarak direk çalıştırmıyorum çünkü permission hatası alırım,
export KUBECONFIG=.kube/config

sudo systemctl status kubelet.service

Hemen calico'yu da deploy edelim. Dosyayı yukarda indirmiştik ve cluster'ı ona göre init etmiştik.

kubectl apply -f calico.yaml

Kubeconfig dosyasinin bulundugu dizin, manifestleri, api-server ve etcd'nin manifestlerini incelemek isterseniz,

ls /etc/kubernetes
ls /etc/kubernetes/manifests
sudo more /etc/kubernetes/manifests/etcd.yaml
sudo more /etc/kubernetes/manifests/kube-apiserver.yaml

Cluster'ı gözlemleyebilirsiniz.

kubectl cluster-info

kubectl get pods -A [--watch]

kubectl get nodes -o wide

#Master'da init sürecinde token bilgisi verilmisti eğer not almadıysanız aşağıdaki komut ile master node üerinden token'ınızı listeleyebilirsiniz,
kubeadm token list

#Var olan token'ı kaydetmediyseniz, elde etmek için,
kubeadm token create --print-join-command

#Master uzerinden ca cert hash'i elde etmek için,
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

3- Sadece Worker None'sinde çalıştırılmalıdır.

Yukarıda master node'yi oluştururken elde ettiğimiz ya da not almadıysak var olan token'ı tekrar elde ettiğimiz komut vasıtasıyla worker node'leri cluster'a dahil edelim.

#sudo kubeadm join <ip>:6443 --token <token> --discovery-token-ca-cert-hash <ca_cert_hash>

sudo kubeadm join 10.10.10.113:6443 --token 6sdzxn.pvgby7g42xq59mfb \
    --discovery-token-ca-cert-hash sha256:c4de5f8322be732828565761ed82274d31f282591017b64ef70891f00bc838a8

Tekrar cluster'ın durumunu gözlemleyebilirisiniz.

Son olarak bashrc'yi edit'leyerek aşağıdaki satırları ilgili node'lere ekleyelim.

sudo vi .bashrc

Tüm Node

swapoff -a

Sadece MASTER/S Node

swapoff -a
export KUBECONFIG=.kube/config

NoT : Ek bilgi

kubeadm init parametreleri:

--control-plane-endpoint : set the shared endpoint for all control-plane nodes. Can be DNS/IP

--pod-network-cidr : Used to set a Pod network add-on CIDR

--cri-socket : Use if have more than one container runtime to set runtime socket path

--apiserver-advertise-address : Set advertise address for this particular control-plane node's API server

Örnek olarak 3 ya da daha fazla Master Node'yi Haproxy ve Keepalived aracılığı ile eklemek isterseniz kubeadm init'i aşağıdaki gibi çalıştırmalısınız.

Yani --control-plane-endpoint adresi belirlediğiniz vrrp olacak, --apiserver-advertise-address ip'si de ilk master node'nizin ip'sini yazabilirsiniz.

sudo kubeadm init --control-plane-endpoint="10.10.10.200:6443" --apiserver-advertise-address=10.10.10.113 --pod-network-cidr=192.168.0.0/16 --upload-certs

oVirt Unlock Virtual Disks, VM and Snapshot

Fatih ASLAN — Sun, 23 Jan 2022 08:52:10 +0000

Beklenmedik durumlarda oVirt üzerinden vm‘ler ya da disk‘ler ya da snap‘ler lock duruma düşebilir. Bu durumu cockpit üzerinden gözlemleyebilirsiniz fakat çözüm için HostedEngine makinesine SSH atıp unlock_entity.sh scriptini kullanabilirsiniz.

Lock durumdaki vm, disk ya da snapshot‘ları aşağıdaki yöntemle consol üzerinden de tespit edebilirsiniz.

/usr/share/ovirt-engine/setup/dbutils/unlock_entity.sh -q -t vm -c
/usr/share/ovirt-engine/setup/dbutils/unlock_entity.sh -q -t disk -c
/usr/share/ovirt-engine/setup/dbutils/unlock_entity.sh -q -t snapshot -c

Akabinde ilgili vm diskini unlock etmek için,

/usr/share/ovirt-engine/setup/dbutils/unlock_entity.sh -t vm UUID_OF_VM

Ya da tüm diskleri unlock etmek için,

/usr/share/ovirt-engine/setup/dbutils/unlock_entity.sh -t all

Genellikle tercih edilmemeli ama db(postgresql) üzerinden de işlem yapılabilir.

su - postgres
scl enable rh-postgresql95 bash
psql
\c engine
select snapshot_id,description,status from snapshots where status = 'LOCKED' and vm_id in (select vm_guid from vm_static where vm_name='');
select image_guid,imagestatus from images where vm_snapshot_id = '' and imagestatus != 1;
update snapshots set status = 'OK' where snapshot_id = '';
updates images set imagestatus = 1 where image_guid = '';

ref:
Helper Utilities: https://www.ovirt.org/develop/developer-guide/db-issues/helperutilities.html
oVirt: Unlock Virtual Disks: https://angrysysadmins.tech/index.php/2018/10/grassyloki/ovirt-unlock-virtual-disks/
Unlock Virtual Disks list: https://bugzilla.redhat.com/show_bug.cgi?id=1678234
How to solve snapshots state ‘LOCKED’ in on Postgres DB: https://noeschanga.wordpress.com/2018/02/09/how-to-solve-snapshots-state-locked-in-ovirt-4-1/
PostgreSql in oVirt(psql enable Ovirt): https://lists.ovirt.org/pipermail/users/2018-April/088432.html

Cephadm(containerized) ile Ceph(Pacific) Storage Kurulumu on Linux

Fatih ASLAN — Sat, 15 Jan 2022 18:56:41 +0000

cephadm octopus versiyonu ile gelmiş olup tamamen container yapıda cluster ayağa kaldrımaktadır.

Ceph is the future of storage : Açık kaynak kodlu, dağıtık, yazılım tabanlı storage sistemidir. Object, block ve file-level storage desteklemektedir. Geleneksel depolama sistemlerinin kısıtlarına karşın Ceph ölçeklenebilir, esnek ve donanım bağımsızlığı sayesinde ekonomikliliğide beraberinde getirir. Ayrıca dağıtık yapıda çalışması sayesinde olası bir arızayı karşın otomatik onarım işlemlerini başlatması, exabyte seviyelerine kadar çıkabilmesi ve 3-in-1 protokol desteği Ceph’i popüler hale getirmiştir.

Yapımız kısaca aşağıdaki gibi; 1 node Ceph servisleri(Monitör, Management, Rados Gateway, Admin client) + 3 OSD node toplam 4 node. Her OSD node’sinde storage cluster için 3’er ayrı disk(/dev/sdb, dev/sdc, dev/sdd gibi). Siz kendi yapınız için yatayda OSD ve dikeyde disk yapınızı çoğaltabilirsiniz.

İlk olarak docker dahil gerekli paketleri indirip, kuralım. Bütün Node‘lerde çalıştırılmalıdır.

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update && sudo apt install chrony python3-pip python3 ca-certificates curl gnupg lsb-release lvm2 docker-ce docker-ce-cli containerd.io -y

sudo vi /etc/chrony/chrony.conf

#pool ntp.ubuntu.com        iburst maxsources 4
#pool 0.ubuntu.pool.ntp.org iburst maxsources 1
#pool 1.ubuntu.pool.ntp.org iburst maxsources 1
#pool 2.ubuntu.pool.ntp.org iburst maxsources 2
server $NTP_SERVER iburst

sudo systemctl restart chrony.service
chronyc sources

echo "$USER ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/$USER
sudo chmod 0440 /etc/sudoers.d/$USER

sudo vi /etc/hosts

10.10.10.144 ceph-yonetici
10.10.10.145 ceph-osdx
10.10.10.146 ceph-osdy
10.10.10.147 ceph-osdz

Admin Node‘de çalıştırılır(ceph-yonetici).

ssh-keygen
ssh-copy-id $USER@ceph-yonetici
ssh-copy-id $USER@ceph-osdx
ssh-copy-id $USER@ceph-osdy
ssh-copy-id $USER@ceph-osdz

vi ~/.ssh/config

$USER parametresi anlık kullanıcı ile değiştirin.

Host ceph-yonetici
   Hostname ceph-yonetici
   User $USER
Host ceph-osdx
   Hostname ceph-osdx
   User $USER
Host ceph-osdy
   Hostname ceph-osdy
   User $USER
Host ceph-osdz
   Hostname ceph-osdz
   User $USER

cephadm‘yi kuralım.

curl --silent https://download.ceph.com/keys/release.asc | sudo apt-key add -
sudo apt-add-repository https://download.ceph.com/debian-pacific
sudo apt install -y cephadm

$USER parametresini anlık kullanıcı(şifresiz root yetkisine sahip olan bir kullanıcı) ile değiştirin, --mon-ip ceph-yonetici ip‘si olmalıdır.

sudo cephadm bootstrap --mon-ip 10.10.10.144 --initial-dashboard-user admin --initial-dashboard-password 1234 --ssh-user $USER --cluster-network 10.10.10.0/24

parametre değerlerini anlamak adına https://docs.ceph.com/en/latest/cephadm/install/ linkini kontrol edebilirsiniz.

Servisleri gözlemleyebilirsiniz.

systemctl status ceph-* --no-pager

Ceph komutlarını yürütmek için yukarıdaki bootstrap çıktısında verilen “You can access the Ceph CLI with:” satırını kullanabilirsiniz. İlgili komut sizi direk admin container‘a bağlayacaktır.

sudo /usr/sbin/cephadm shell --fsid d0232fa8-6d5b-11ec-8fba-23b487996ad5 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring

Ama biz direk host üzerinden de komutları yürütebilmek için aşağıdaki yöntem/leri izleyebiliriz.

alias sudo='sudo '
alias ceph='cephadm shell -- ceph'
alias radosgw-admin='cephadm shell -- radosgw-admin'
echo "alias sudo='sudo '" >> ~/.bashrc
echo "alias ceph='cephadm shell -- ceph'" >> ~/.bashrc
echo "alias radosgw-admin='cephadm shell -- radosgw-admin'" >> ~/.bashrc

Ya da

cephadm add-repo --release pacific
cephadm install ceph-common

Ya da

sudo apt install ceph-common

ceph-yonetici host‘unu _admin‘e ek olarak mon ve mgr olarak ta etiketleyelim çünkü servisler o host üzerinde ayağa kalktı.

sudo ceph orch host label add ceph-yonetici mon  [ya da (cephadm shell -- ceph orch host label add ceph-yonetici mon)]
sudo ceph orch host label add ceph-yonetici mgr  [ya da (cephadm shell -- ceph orch host label add ceph-yonetici mgr)]

Aşağıdaki komutlar ile cluster‘ın durumunu inceleyebilirsiniz.

sudo ceph -s
sudo ceph orch host ls
sudo ceph orch device ls
sudo ceph orch ps

Şimdi diğer host‘ları(OSD) cluster‘a dahil edeceğiz ama öncesinde public key‘i dağıtalım. $USER parametresi anlık kullanıcı ile değiştirin.

ssh-copy-id -f -i /etc/ceph/ceph.pub $USER@ceph-osdx
ssh-copy-id -f -i /etc/ceph/ceph.pub $USER@ceph-osdy
ssh-copy-id -f -i /etc/ceph/ceph.pub $USER@ceph-osdz

Host‘ları dahil edelim.

sudo ceph orch host add ceph-osdx 10.10.10.145 osd
sudo ceph orch host add ceph-osdy 10.10.10.146 osd
sudo ceph orch host add ceph-osdz 10.10.10.147 osd

Şimdi tekrar cluster‘ın durumunu inceleyin.

sudo ceph -s
sudo ceph orch host ls
sudo ceph orch device ls
sudo ceph orch ps

Şimdi ise device ls ile OSD node‘lerinde listelediğimiz diskleri OSD olarak aynı anada ekleyelim.

sudo ceph orch apply osd --all-available-devices

Ya da özellikle işaret ederek de ekleyebiliriz.

sudo ceph orch daemon add osd <host>:<device-path>

Object storage kullanımı için Rados GW‘yi aktif edelim. rgw default port’u 80’dir ve yine default’ta 2 daemon up eder.

sudo ceph orch apply rgw ceph-yonetici [ya da sudo ceph orch apply rgw ceph-yonetici '--placement=label:rgw count-per-host:1' --port=7480]
sudo ceph orch host label add ceph-yonetici rgw

Ek olarak monitor, manager ve radosgw daemon eklemek isterseniz,

# sudo ceph orch apply mon --placement="ceph-yonetici,ceph-osdx,ceph-osdy"
# sudo ceph orch apply mgr --placement="ceph-yonetici,ceph-osdx,ceph-osdy"
# sudo ceph orch apply rgw --placement="ceph-yonetici,ceph-osdx,ceph-osdy"

Daemon - Servis silmek isterseniz,

# sudo ceph orch rm rgw.ceph-yonetici
# sudo ceph orch daemon rm rgw.ceph-osdx

Ceph Dashboard‘dan ve API‘den radosgw‘ye erişebilmek için kullanıcı oluşturabilirsiniz fakat default‘ta var olarak gelir. Changed $ACCESS_KEY and $SECRET_KEY

sudo ceph dashboard set-rgw-credentials
sudo radosgw-admin user create --uid="cephdash" --display-name="Ceph DashBoard2" --system
sudo /usr/sbin/cephadm shell --fsid d0232fa8-6d5b-11ec-8fba-23b487996ad5 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
echo $ACCESS_KEY > /tmp/access_key
echo $SECRET_KEY > /tmp/secret_key
sudo ceph dashboard set-rgw-api-access-key -i /tmp/access_key
sudo ceph dashboard set-rgw-api-secret-key -i /tmp/secret_key

Pool‘umuzu oluşturalım.

sudo ceph osd crush rule ls
sudo ceph osd pool create default.rgw.buckets.data 32 32 replicated replicated_rule
sudo ceph osd pool application enable default.rgw.buckets.data rgw

Swift user oluşturuyorum, siz isterseniz s3 user oluşturabilirsiniz.

sudo radosgw-admin --uid "ceph-demo" --display-name "Ceph Demo Kurulum Kullanıcısı" --subuser=ceph-demo:swift --key-type swift --access full user create
sudo radosgw-admin --uid "ceph-demo" --max-buckets=0 user modify

Uygulama bağlantısı için kullanılabilecek bilgiler

ceph.username = ceph-demo:swift
ceph.password = $SECRET_KEY
ceph.endpoint = http://10.10.10.144:7480/swift/v1
ceph.auth.url = http://10.10.10.144:7480/auth/1.0

Kullanışlı komutlar,

sudo ceph osd pool ls / sudo ceph osd pool ls detail
sudo ceph df detail
sudo ceph osd status
sudo ceph health detail
sudo ceph -s
sudo radosgw-admin user list
sudo radosgw-admin user info --uid=ceph-demo

  cluster:
    id:     d0232fa8-6d5b-11ec-8fba-23b487996ad5
    health: HEALTH_OK

  services:
    mon: 4 daemons, quorum ceph-yonetici,ceph-osdx,ceph-osdy,ceph-osdz (age 19h)
    mgr: ceph-yonetici.uwijtu(active, since 19h), standbys: ceph-osdx.znrgdv
    osd: 9 osds: 9 up (since 13h), 9 in (since 13h)
    rgw: 1 daemons active (1 hosts, 1 zones)

  data:
    pools:   6 pools, 137 pgs
    objects: 240 objects, 6.1 KiB
    usage:   892 MiB used, 89 GiB / 90 GiB avail
    pgs:     137 active+clean

ref:
https://docs.ceph.com/en/pacific/cephadm/install/#enable-ceph-cli
https://chowdera.com/2021/04/20210411052419702x.html
https://dev.to/akhal3d96/exploring-ceph-in-a-multi-node-setup-3c8h
https://achchusnulchikam2.medium.com/deploy-ceph-cluster-with-cephadm-on-centos-8-257b300e7b42

Multi Node Kafka Cluster Installation, Configuration and Test (Java, zookeeper, kafka, cmak) on Ubuntu20

Fatih ASLAN — Wed, 08 Dec 2021 22:24:37 +0000

Hosts dosyasını edit‘leyin.

10.10.10.181 kafka01
10.10.10.51  kafka02
10.10.10.128 kafka03

1- Java install

sudo apt install default-jre default-jdk

Zookeeper ve Kafka servisleri için kullanıcı tanımlayalım

sudo useradd -m kafka -s /usr/sbin/nologin
sudo useradd -m zookeeper -s /usr/sbin/nologin

2- Zookeeper kurulum ve yapılandırılması Tüm node‘ler aynı adımlar

cd /opt/

sudo wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz

sudo tar xzf apache-zookeeper-3.6.3-bin.tar.gz

sudo rm apache-zookeeper-3.6.3-bin.tar.gz

sudo mv apache-zookeeper-3.6.3-bin/conf/zoo_sample.cfg apache-zookeeper-3.6.3-bin/conf/zoo.cfg

sudo vi apache-zookeeper-3.6.3-bin/conf/zoo.cfg

dataDir=/var/zookeeper
clientPort=2181
server.1=10.10.10.181:2888:3888
server.2=10.10.10.51:2888:3888
server.3=10.10.10.128:2888:3888

sudo mkdir /var/zookeeper/ -p

Herbir node‘de farklı echo satırı yapılabilir.

#kafka01 node
sudo echo '1' >> /var/zookeeper/myid

#kafka02 node
sudo echo '2' >> /var/zookeeper/myid

#kafka03 node
sudo echo '3' >> /var/zookeeper/myid

Servisin düzgün çalışıp çalışmadığını manual olarak aşağıda ki komutlarla test edebilirsiniz, biz ayrıca systemd servisi haline getireceğiz

sudo /opt/apache-zookeeper-3.6.3-bin/bin/zkServer.sh start /opt/apache-zookeeper-3.6.3-bin/conf/zoo.cfg
sudo /opt/apache-zookeeper-3.6.3-bin/bin/zkServer.sh stop /opt/apache-zookeeper-3.6.3-bin/conf/zoo.cfg

Şimdi ilgili klasörlere zookeeper kullanıcısı için sahiplik yetkisi verelim.

sudo chown -R zookeeper:zookeeper /opt/apache-zookeeper-3.6.3-bin/
sudo chown -R zookeeper:zookeeper /var/zookeeper/

Zookeeper systemd servis dosyasını create edelim

sudo vi /lib/systemd/system/zookeeper.service


[Unit]
Description=Zookeeper Daemon
Documentation=http://zookeeper.apache.org
Requires=network.target
After=network.target

[Service]
Type=forking
WorkingDirectory=/opt/apache-zookeeper-3.6.3-bin
User=zookeeper
Group=zookeeper
ExecStart=/opt/apache-zookeeper-3.6.3-bin/bin/zkServer.sh start /opt/apache-zookeeper-3.6.3-bin/conf/zoo.cfg
ExecStop=/opt/apache-zookeeper-3.6.3-bin/bin/zkServer.sh stop /opt/apache-zookeeper-3.6.3-bin/conf/zoo.cfg
ExecReload=/opt/apache-zookeeper-3.6.3-bin/bin/zkServer.sh restart /opt/apache-zookeeper-3.6.3-bin/conf/zoo.cfg
TimeoutSec=30
Restart=on-failure

[Install]
WantedBy=default.target

sudo systemctl daemon-reload
sudo systemctl start zookeeper.service
sudo systemctl enable zookeeper.service
sudo systemctl status zookeeper.service

3- Kafka kurulum ve yapılandırılması Tüm node‘ler aynı adımlar

cd /opt/

sudo wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz

sudo tar xzf kafka_2.13-3.0.0.tgz

sudo rm kafka_2.13-3.0.0.tgz

Herbir node‘de farklı kafka config ayarı yapılır

sudo vi kafka-3.0.0-src/config/server.properties

kafka01 node

broker.id=1
advertised.host.name=kafka01
advertised.listeners=PLAINTEXT://kafka01:9092
zookeeper.connect=10.10.10.181:2181,10.10.10.51:2181,10.10.10.128:2181
default.replication.factor=3
#delete.topic.enable = true

kafka02 node

broker.id=2
advertised.host.name=kafka02
advertised.listeners=PLAINTEXT://kafka02:9092
zookeeper.connect=10.10.10.181:2181,10.10.10.51:2181,10.10.10.128:2181
default.replication.factor=3
#delete.topic.enable = true

kafka03 node

broker.id=3
advertised.host.name=kafka03
advertised.listeners=PLAINTEXT://kafka03:9092
zookeeper.connect=10.10.10.181:2181,10.10.10.51:2181,10.10.10.128:2181
default.replication.factor=3
#delete.topic.enable = true

Servisin düzgün çalışıp çalışmadığını manual olarak aşağıda ki komutlarla test edebilirsiniz, biz ayrıca systemd servisi haline getireceğiz.

sudo /opt/kafka_2.13-3.0.0/bin/kafka-server-start.sh /opt/kafka_2.13-3.0.0/config/server.properties
sudo /opt/kafka_2.13-3.0.0/bin/kafka-server-stop.sh /opt/kafka_2.13-3.0.0/config/server.properties

Kafka systemd servis dosyasını create edelim

sudo vi /lib/systemd/system/kafka.service


[Unit]
Description=Kafka Daemon
Documentation=https://kafka.apache.org
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
WorkingDirectory=/opt/kafka_2.13-3.0.0
User=kafka
Group=kafka
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/opt/kafka_2.13-3.0.0/bin/kafka-server-start.sh /opt/kafka_2.13-3.0.0/config/server.properties
ExecStop=/opt/kafka_2.13-3.0.0/bin/kafka-server-stop.sh /opt/kafka_2.13-3.0.0/config/server.properties
TimeoutSec=30
Restart=on-failure

[Install]
WantedBy=default.target

sudo systemctl daemon-reload
sudo systemctl start kafka.service
sudo systemctl enable kafka.service
sudo systemctl status kafka.service

TEST CLI and UI

Kafka Cluster‘ı komut satırı ile test etmek

#Testi başlatmak, topic açmak için;
/opt/kafka_2.13-3.0.0/bin/kafka-console-producer.sh --topic <fatihaslan> --bootstrap-server kafka01:9092,kafka02:9092,kafka03:9092


#Topic'leri dinlemek için(baştan sona);
/opt/kafka_2.13-3.0.0/bin/kafka-console-consumer.sh --topic <fatihaslan> --bootstrap-server kafka01:9092,kafka02:9092,kafka03:9092 --from-beginning


#Topic detaylarını görmek için lider, replica vs;
/opt/kafka_2.13-3.0.0/bin/kafka-topics.sh --describe --bootstrap-server kafka01:9092,kafka02:9092,kafka03:9092 --topic <fatihaslan>
Topic: fatihaslan       TopicId: qA4gvDiUS0eDH9_V-JngPw PartitionCount: 1       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: fatihaslan       Partition: 0    Leader: 2       Replicas: 1,3,2 Isr: 2,3,1

4- CMAK kurulum ve yapılandırılması Tek host‘ta yapılması yeterlidir

sudo git clone https://github.com/yahoo/CMAK.git

cd CMAK/

vi /opt/CMAK/conf/application.conf

kafka-manager.zkhosts="10.10.10.181:2181,10.10.10.51:2181,10.10.10.128:2181"
cmak.zkhosts="10.10.10.181:2181,10.10.10.51:2181,10.10.10.128:2181"

./sbt clean dist

sudo cp /home/ubuntu/.sbt/1.0/staging/9fe122a9540185ff93da/cmak/target/universal/cmak-3.0.0.5.zip .

sudo unzip cmak-3.0.0.5.zip

cd cmak-3.0.0.5/

sudo bin/cmak -Dconfig.file=/opt/CMAK/conf/application.conf -Dhttp.port=9000

Open GUI http://10.10.10.181:9000/

add cluster

Cluster Name enter <3NodesKafkaBroker>

Cluster Zookeeper Hosts <10.10.10.181:2181,10.10.10.51:2181,10.10.10.128:2181>

SAVE

Kubernetes Install (5Node=3Master+2Worker) With Kubespray on Ubuntu20LTS

Fatih ASLAN — Mon, 25 Oct 2021 19:34:24 +0000

fatlan@kube-master01:~$ kubectl get nodes -o wide
NAME            STATUS   ROLES                  AGE     VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION     CONTAINER-RUNTIME
kube-master01   Ready    control-plane,master   5h51m   v1.22.2   10.10.10.191  <none>        Ubuntu 20.04.3 LTS   5.4.0-89-generic   docker://20.10.9
kube-master02   Ready    control-plane,master   5h51m   v1.22.2   10.10.10.192  <none>        Ubuntu 20.04.3 LTS   5.4.0-89-generic   docker://20.10.9
kube-master03   Ready    control-plane,master   5h51m   v1.22.2   10.10.10.193  <none>        Ubuntu 20.04.3 LTS   5.4.0-89-generic   docker://20.10.9
kube-worker01   Ready    <none>                 5h50m   v1.22.2   10.10.10.194  <none>        Ubuntu 20.04.3 LTS   5.4.0-89-generic   docker://20.10.9
kube-worker02   Ready    <none>                 5h50m   v1.22.2   10.10.10.195  <none>        Ubuntu 20.04.3 LTS   5.4.0-89-generic   docker://20.10.9

Tüm hostlarda çalıştırılır
$USER aktif kullanıcı ile değiştirilir

sudo echo "$USER ALL=(ALL) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/$USER

Ansible client makinesinde çalıştırılmalı(10.10.10.191)

ssh-keygen
ssh-copy-id $USER@10.10.10.191
ssh-copy-id $USER@10.10.10.192
ssh-copy-id $USER@10.10.10.193
ssh-copy-id $USER@10.10.10.194
ssh-copy-id $USER@10.10.10.195

git clone https://github.com/kubernetes-sigs/kubespray.git

cd kubespray/

sudo apt install python3-pip

cat requirements.txt

sudo pip3 install -r requirements.txt

cp -rfp inventory/sample inventory/mycluster

declare -a IPS=(10.10.10.191 10.10.10.192 10.10.10.193 10.10.10.194 10.10.10.195)

CONFIG_FILE=inventory/mycluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}

Aşağıdaki hostname'leri kendi yapınıza göre değiştirebilirsiniz

vi kubespray/inventory/mycluster/hosts.yaml

all:
  hosts:
    kube-master01:
      ansible_host: 10.10.10.191
      ip: 10.10.10.191
      access_ip: 10.10.10.191
    kube-master02:
      ansible_host: 10.10.10.192
      ip: 10.10.10.192
      access_ip: 10.10.10.192
    kube-master03:
      ansible_host: 10.10.10.193
      ip: 10.10.10.193
      access_ip: 10.10.10.193
    kube-worker01:
      ansible_host: 10.10.10.194
      ip: 10.10.10.194
      access_ip: 10.10.10.194
    kube-worker02:
      ansible_host: 10.10.10.195
      ip: 10.10.10.195
      access_ip: 10.10.10.195
  children:
    kube-master:
      hosts:
        kube-master01:
        kube-master02:
        kube-master03:
    kube-node:
      hosts:
        kube-master01:
        kube-master02:
        kube-master03:
        kube-worker01:
        kube-worker02:
    etcd:
      hosts:
        kube-master01:
        kube-master02:
        kube-master03:
    k8s-cluster:
      children:
        kube-master:
        kube-node:
    calico-rr:
      hosts: {}

cat kubespray/inventory/mycluster/group_vars/all/all.yml

cat kubespray/cluster.yml

cat kubespray/inventory/mycluster/group_vars/k8s_cluster/k8s-cluster.yml

ansible-playbook -i inventory/mycluster/hosts.yaml --become --become-user=root cluster.yml

#Sadece tek makinede çalıştırmak için parametreyi kullanabilirsiniz, --limit <hostname or ip>

$USER aktif kullanıcı ile değiştirilir

mkdir -p .kube

sudo cp /etc/kubernetes/admin.conf .kube/

sudo chown $USER:$USER .kube/admin.conf

export KUBECONFIG=$PWD/.kube/admin.conf

kubectl get nodes -o wide

Node'ler reboot olduktan sonra eğer swap alanı kullanılıyorsa, .profile ya da .bashrc düzenleyebilirsiniz
ve node'ler reboot olunca cron ya da rc.local ya da systemd servis script dosyası oluşturabilirsiniz

Tüm NODE

swapoff -a
export LC_ALL=C

Sadece MASTER/S NODE

swapoff -a
export KUBECONFIG=$PWD/.kube/admin.conf
export LC_ALL=C

ref: 1

Ubuntu/Debian/Ceph/Pardus Local Mirror, Repository Kurulum with Ftp, Http and Https Used apt-mirror, Rsyncmirror and Wget

Fatih ASLAN — Sun, 10 Oct 2021 13:54:25 +0000

İnternet hızından, güvenlik sebebiyle ya da intranet ağınızdan dolayı apt için local yansı kurmanız gerekebilir.

Aşağıda ülke bazında yakın depoları kullanarak yansı oluşturabiliriz.

Ubuntu: https://launchpad.net/ubuntu/+archivemirrors

Debian: https://wiki.debian.org/SourcesList#Repository_URL | https://debgen.simplylinux.ch/

Ceph: https://download.ceph.com/

Pardus: https://belge.pardus.org.tr/display/PYMBB/Pardus+Repo+Mirrorlama

Bu işlem için ilgili makinede yeterince disk alanı(TB olması tavsiye edilir) ayrıca bonding nic ve simetrik yüksek seviyede net bandwidth olması tavsiye edilir.

sudo apt install apt-mirror proftpd-basic apache2 rsync wget git

With apt-mirror

Konuya girmeden önce, defaultta yüklenen apt-mirror paketinde bazı sorunlar mevcut bu yüzden aşağıdaki ilgili repodaki apt-mirror’u kendinize indirin ve default apt-mirror yerine aşğıdaki gibi güncelleyin.

git clone https://github.com/Stifler6996/apt-mirror.git
cd apt-mirror
cp apt-mirror /usr/bin/apt-mirror

sudo vi /etc/apt/mirror.list

Aşağıdaki satırları değiştiriyorum, verileri saklayacağı yeri data’nın altında ayarlıyorum ayrıca Ubuntu 20 ve Ceph repolarını aşağıdaki gibi ekliyorum.

set base_path    /data/apt-mirror


deb http://archive.ubuntu.com/ubuntu focal main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu focal main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu/ focal-updates main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ focal-updates main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ focal-security main restricted universe multiverse
deb http://archive.ubuntu.com/ubuntu/ focal-backports main restricted universe multiverse
deb-src http://archive.ubuntu.com/ubuntu/ focal-backports main restricted universe multiverse
deb http://archive.canonical.com/ubuntu focal partner
deb-src http://archive.canonical.com/ubuntu focal partner
deb https://download.ceph.com/debian-pacific/ focal main restricted universe multiverse

Ve mirror’lamayı başlatıyoruz.

sudo apt-mirror

İşlem bitiminde ls ile kontrol edelim.

fatlan@u20-repo:~$ ls /data/apt-mirror/mirror/
archive.canonical.com  archive.ubuntu.com  download.ceph.com

Şimdi Proftp’yi hem directory’sini(/srv/ftp) hem de kullanıcıların(anonymous olarak) bağlanabilmesi için yapılandıralım.

sudo vi /etc/proftpd/conf.d/anonymous.conf

<Anonymous ~ftp>
   User                    ftp
   Group                nogroup
   UserAlias         anonymous ftp
   RequireValidShell        off
#   MaxClients                   10
   <Directory *>
     <Limit WRITE>
       DenyAll
     </Limit>
   </Directory>
 </Anonymous>

Servisi başlatalım

sudo systemctl restart proftpd.service

Şimdi apt-mirror path’lerini ftp için mount edelim.

sudo mount --bind /opt/apt-mirror/mirror/archive.ubuntu.com/  /srv/ftp/

Ceph için;

sudo mkdir -r /srv/ftp/ceph
sudo mount --bind /opt/apt-mirror/mirror/download.ceph.com/  /srv/ftp/ceph/

Debian ve Pardus için;

sudo mkdir -r /srv/ftp/debian
sudo mkdir -r /srv/ftp/pardus
sudo mount --bind /opt/apt-mirror/mirror/deb.debian.org/  /srv/ftp/debian/
sudo mount --bind /opt/apt-mirror/mirror/depo.pardus.org.tr/  /srv/ftp/pardus/

“mount” ve “df -h” komutlarıyla durumu gözlemleyebilirsiniz.

Şimdi crontab’ı yapılandıralım,

NoT: @reboot'lar cron tarafında çalışmayabilir, fstab kullanabilirsiniz ya da kalıcı dizinleri en başından seçip tüm servislerde işaret edebilirsiniz ya da systemd unit file ile servis yazabilirsiniz.

crontab -e

@reboot sleep 5
@reboot sudo mount --bind /opt/apt-mirror/mirror/archive.ubuntu.com/  /srv/ftp/
@reboot sudo mount --bind /opt/apt-mirror/mirror/download.ceph.com/  /srv/ftp/ceph/
@reboot sudo mount --bind /opt/apt-mirror/mirror/deb.debian.org/  /srv/ftp/debian/
@reboot sudo mount --bind /opt/apt-mirror/mirror/depo.pardus.org.tr/  /srv/ftp/pardus/
0  2  *  *  *  sudo /usr/bin/apt-mirror >> /data/apt-mirror/mirror/archive.ubuntu.com/ubuntu/apt-mirror.log

Şimdi de apache2’yi yapılandıralım. Ben default config üzerinde sadece 80 olarak yapılandıracağım, siz isterseniz hem özelleştirebilir hem de 443’ü aktif edebilirsiniz.

sudo vi /etc/apache2/sites-enabled/000-default.conf

<VirtualHost *:80>
        ServerAdmin webmaster@localhost
        DocumentRoot /srv/ftp/

        <Directory "/srv/ftp">
            Options Indexes MultiViews
            AllowOverride None
            Require all granted
        </Directory>

        ErrorLog ${APACHE_LOG_DIR}/error.log
        CustomLog ${APACHE_LOG_DIR}/access.log combined

</VirtualHost>

With rsync

Sadece apt-mirror yerine dosyaları indirmek ve güncel tutmak için rsync’yi kullanacağız. Proftp ve apache2 aynı kalacak, sadece dizin yolunu değiştirmeniz gerekebilir.

sudo mkdir -p /data/apt-mirror/ubuntu
rsync -a rsync://archive.ubuntu.com/ubuntu /data/apt-mirror/ubuntu

#rsync bant genişliği belirlemek için(bayt olarak ölçer) --bwlimit=256 ve indirmenin ilerlemesini görmek için “--progress” parametrelerini rsync komutuna ekleyebilirsiniz.

Yansıyı güncel tutmak içinse https://wiki.ubuntu.com/Mirrors/Scripts adresindeki hazır scripti("/usr/local/bin/sync_ubuntu_mirror.sh") kullanabilirsinz.

crontab -e

0 2 * * * /usr/local/bin/sync-ubuntu-mirror.sh > /dev/null 2> /dev/null

With wget

sudo mkdir -p /data/apt-mirror/ubuntu
cd /data/apt-mirror/ubuntu
wget -r -nH --no-parent http://archive.ubuntu.com/ubuntu/

#isterseniz indirilen kısımlardan belli dosya ve versiyonlu yapıları exclude edebilirsiniz. --reject="index.html*" --reject="*-dbg*" --reject="*13.2.0*"

Ama hem repoyu güncel tutmak için ve hem de her seferinde indirmeleri başa sarmamak(bandwidth’ten yememek) için yukardaki mirror scriptini kullamalısınız.

CLİENT TARAFI

sudo vi /etc/apt/sources.list

deb http://10.10.10.203/ubuntu/ focal-updates main restricted universe multiverse
deb-src http://10.10.10.203/ubuntu/ focal-updates main restricted universe multiverse

deb http://10.10.10.203/ubuntu/ focal-security main restricted universe multiverse
deb-src http://10.10.10.203/ubuntu/ focal-security main restricted universe multiverse

deb http://10.10.10.203/ubuntu/ focal-backports main restricted universe multiverse
deb-src http://10.10.10.203/ubuntu/ focal-backports main restricted universe multiverse

deb http://10.10.10.203/ubuntu focal partner
deb-src http://10.10.10.203/ubuntu focal partner

deb http://10.10.10.203/ubuntu focal main restricted universe multiverse
deb-src http://10.10.10.203/ubuntu focal main restricted universe multiverse

deb http://10.10.10.203/ceph/debian-pacific/ focal main

fatlan@u20-repo-client:~$ sudo apt update
Hit:1 http://10.10.10.203/ubuntu focal-updates InRelease
Hit:2 http://10.10.10.203/ubuntu focal-security InRelease
Hit:3 http://10.10.10.203/ubuntu focal-backports InRelease
Get:4 http://10.10.10.203/ubuntu focal InRelease [265 kB]
Hit:5 http://10.10.10.203/ceph/debian-pacific focal InRelease
Fetched 265 kB in 1s (345 kB/s)
Reading package lists... Done
Building dependency tree
Reading state information... Done
74 packages can be upgraded. Run 'apt list --upgradable' to see them.

Redhat/CentOS/Oracle Üzerinden Samba Server(SMB/CIFS File Sharing) Kurulum ve Konfigürasyonu

Fatih ASLAN — Tue, 14 Sep 2021 20:21:02 +0000

Samba(SMB/CIFS) ağ üzerinden farklı işletim sistemleri arası dosya paylaşımına olanak tanıyan dosya paylaşım sistemidir. Bu klavuzda Linux üzerinde Samba server aracılığıyla paylaşılan belgelere diğer işletim sistemlerinin erişimi amaçlanmıştır.

SUNUCU Tarafı;

Servis kurulur

yum install samba -y

Servisler çalıştırılır

systemctl start smb.service
systemctl start nmb.service

systemctl enable smb.service
systemctl enable nmb.service

Kullanıcı oluşturalım. Aşağıdaki komut kullanıcının home dizinini de oluşturulur ve ben orayı kullanacağım. Ayrıca /home dizini kullanmak durumunda da değilsiniz. Kullanıcıları ayrı ayrı yönetmek açısından faydalı olabilir ama farklı dizin kullanırsanız tüm kullanıcıları o dizine de yönlendirebilirsiniz(hatta aşağıda göreceksiniz valid user kısmına @group ismide yapabilirsiniz sonra dahil edeceğiniz kullanıcıları ikincil grup olarak bu gruba ekleyebilirsiniz), kaldı ki orda da ayrı ayrı yönetebilirsiniz ve daha uygun da olabilir. Bu durumda(/samba dizini ele alınmıştır) ikinci satırdaki komutu çalıştırmanız daha uygun olur.

/home dizinini kullanmak için;

useradd -s /sbin/nologin winuser

Oluşturduğunuz farklı dizini kullanmak için;

useradd -M -d /samba/winuser -s /usr/sbin/nologin winuser

Samba bağlantısı için şifre atayalım, bilgiler “/var/lib/samba” altında saklanır.

smbpasswd -a winuser

ilgili dizine örnek bir paylaşacağım dosya oluşturuyorum

echo "merhaba smb/cifs paylaşımım" > /home/winuser/pyls.txt

Bu arada SELinux varsayılanda home dizin paylaşımını engelliyor, dosyaların haricinde SELinux açısından servisilerin de boolen tipi etiketleri var bu durumu aşağıdaki komutla gözlemleyebilirsiniz.

getsebool -a | egrep -i samba

Aşağıdaki komutla da aktif edebilirsiniz ev tekrar yukarıda komutla on olduğunu gözlemleyebilirsiniz.

setsebool -P samba_enable_home_dirs on

Daha sonrasında “/etc/samba/smb.conf” dosyasına aşağıdaki gibi yapılandırıyoruz.

[global]
...
server min protocol = LANMAN1
...


[winuser]
        comment = Redhat Samba Server
        path = /home/winuser/
        valid users = winuser
        browseable = Yes
        writable = Yes
        read only = No
        inherit acls = Yes

Servisler yeniden başlatılır

systemctl restart smb.service
systemctl restart nmb.service

Ayrıca local firewall aktifse

firewall-cmd --zone=public --add-service=samba --permanent

Check smb.conf

testparm

Current Samba connection

smbstatus

KULLANICI Tarafı;

Linux üzerinden,

İlk etapta aşağıdaki paket kurulmalıdır.

yum install samba-client -y

Bağlantı testi için,

smbclient -L 10.10.10.96 -U winuser

Smbclient ile login olup gözlemleyelim.

smbclient //ip_address/shared -U smb_user%smb_pass

smbclient //10.10.10.96/winuser -U winuser%winuser

smb: \> ?
?              allinfo        altname        archive        backup         
blocksize      cancel         case_sensitive cd             chmod          
chown          close          del            deltree        dir            
du             echo           exit           get            getfacl        
geteas         hardlink       help           history        iosize         
lcd            link           lock           lowercase      ls             
l              mask           md             mget           mkdir          
more           mput           newer          notify         open           
posix          posix_encrypt  posix_open     posix_mkdir    posix_rmdir    
posix_unlink   posix_whoami   print          prompt         put            
pwd            q              queue          quit           readlink       
rd             recurse        reget          rename         reput          
rm             rmdir          showacls       setea          setmode        
scopy          stat           symlink        tar            tarmode        
timeout        translate      unlock         volume         vuid           
wdel           logon          listconnect    showconnect    tcon           
tdis           tid            utimes         logoff         ..             
!
smb: \> l
  .                                   D        0  Sun Aug 22 16:34:48 2021
  ..                                  D        0  Sun Aug 22 16:30:27 2021
  .bash_logout                        H       18  Thu May 27 18:09:35 2021
  .bash_profile                       H      141  Thu May 27 18:09:35 2021
  .bashrc                             H      376  Thu May 27 18:09:35 2021
  pyls.txt                            N       24  Sun Aug 22 16:34:48 2021

Aşağıdaki gibi mount işlemini yapabilirsiniz.

mount -t cifs -o username=winuser,pass=winuser //10.10.10.96/winuser /mnt

Aşağıdaki komutla da son mount durumlarını gözlemleyebilirsiniz.

df -h

mount

Mount işleminin kalıcı hale gelebilmesi için /etc/fstab içine yazmayı unutmayın. Dilerseniz user, pass bilgilerini dosyadan da okutabilirsiniz. İlgili link size yardımcı olacaktır.

//10.10.10.96/winuser                      /mnt                    cifs     username=winuser,pass=winuser   0 0

Ayrıca “smb://10.10.10.96/winuser” ile de hem TUI hem de GUI bağlanabilirsiniz.

Windows üzerinden,

Network – Map network drive...

ref:

computernetworkingnotes | ubuntu

ceph-deploy ile Ubuntu Linux 16 ve 20 Üzerinde Ceph Pasific Cluster Storage Kurulumu – Object Storage

Fatih ASLAN — Tue, 14 Sep 2021 20:15:02 +0000

Ceph is the future of storage : Açık kaynak kodlu, dağıtık, yazılım tabanlı storage sistemidir. Object, block ve file-level storage desteklemektedir. Geleneksel depolama sistemlerinin kısıtlarına karşın Ceph ölçeklenebilir, esnek ve donanım bağımsızlığı sayesinde ekonomikliliğide beraberinde getirir. Ayrıca dağıtık yapıda çalışması sayesinde olası bir arızayı karşın otomatik onarım işlemlerini başlatması, exabyte seviyelerine kadar çıkabilmesi ve 3-in-1 protokol desteği Ceph'i bu denli zevkle kullanılabilir ve göz bebeği haline getirmiştir.

Yapımız kısaca aşağıdaki gibi;
1 node Ceph servisleri(Monitör, Management, Rados Gateway, Admin client) + 3 OSD node toplam 4 node.
Her OSD node’sinde storage cluster için 3’er ayrı disk(/dev/sdb, dev/sdc, dev/sdd gibi).
Siz kendi yapınız için yatayda OSD ve dikeyde disk yapınızı çoğaltabilirsiniz.

Her OSD sunucusunda diskler herhangi bir yere mount edilmemiş ve lvm yapılmamış olmalıdır. Ben 100GB alan verdim.

NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda      8:0    0  100G  0 disk 
|-sda1   8:1    0   99G  0 part /
|-sda2   8:2    0    1K  0 part 
`-sda5   8:5    0  975M  0 part [SWAP]
sdb      8:16   0   100G  0 disk 
sdc      8:32   0   100G  0 disk 
sdd      8:48   0   100G  0 disk 
sr0     11:0    1 1024M  0 rom

Bütün node'lerde çalıştırılmalı;

sudo apt update
#ubuntu 16
sudo apt install chrony python-minimal -y
#ubuntu 20
sudo apt install chrony  python3-pip -y

sudo sed -i 's/pool 2.debian.pool.ntp.org offline iburst/server $NTP_ADDRESS iburst/g' /etc/chrony/chrony.conf
sudo systemctl restart chrony.service

sudo useradd -d /home/cephuser -m cephuser
sudo passwd cephuser
#enter a password: 'Complex_Pass'
echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser
sudo chmod 0440 /etc/sudoers.d/cephuser

sudo vi /etc/hosts

10.10.10.201 ceph-ops
10.10.10.202 ceph-stgx
10.10.10.203 ceph-stgy
10.10.10.204 ceph-stgz

Sadece Admin node'de çalıştırılmalı(yani ceph servislerinin kurulacağı ceph-ops node'si);

ssh-keygen

ssh-copy-id cephuser@ceph-ops
ssh-copy-id cephuser@ceph-stgx
ssh-copy-id cephuser@ceph-stgy
ssh-copy-id cephuser@ceph-stgz

sudo vi ~/.ssh/config

Host ceph-ops
   Hostname ceph-ops
   User cephuser
Host ceph-stgx
   Hostname ceph-stgx
   User cephuser
Host ceph-stgy
   Hostname ceph-stgy
   User cephuser
Host ceph-stgz
   Hostname ceph-stgz
   User cephuser

#ubuntu 16
wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb https://download.ceph.com/debian-mimic/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

#ubuntu 20
#NoT: U20 için repoya source'ye eklerken sources.list.d'ye eklemek yerine direkt olarak "/etc/apt/source.list" altına eklemeniz daha uygun olabilir.
#Çünkü özellikle bu kurulum sırasında pasific kurmak isterken ceph sources.list.d'nin altındaki ceph.list source'sini octopus'a çekiyor.
#Fakat source.list altına eklediğinizde, burda yetkisi olmadığından ve değiştiremediğinden pacific versiyonunda kurulum sağlayabiliyorsunuz. "deb https://download.ceph.com/debian-pacific/ focal main"

wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo apt-key add -
echo deb https://download.ceph.com/debian-octopus/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list

sudo apt update

#ubuntu 16
sudo apt install ceph-deploy -y

#ubuntu 20
pip3 install git+https://github.com/ceph/ceph-deploy.git
PATH=$PATH:/home/$USER/.local/bin

mkdir mycluster
cd mycluster
ceph-deploy new ceph-ops

vi ceph.conf

osd pool default pg num = 8
osd pool default pgp num = 8
mon_initial_members = ceph-ops
mon_host = 10.10.10.201
public network = 10.10.10.0/24
cluster network = 10.10.20.0/24
rgw_override_bucket_index_max_shards = 500
mon_pg_warn_max_object_skew = 0

ceph-deploy install ceph-ops ceph-stgx ceph-stgy ceph-stgz
ceph-deploy mon create-initial
ceph-deploy admin ceph-ops
ceph-deploy mgr create ceph-ops
ceph-deploy rgw create ceph-ops

#Fiziksel osd'lerde öncesinde yapılandırlmış LVM varsa tespit edilip, temizlenmelidir.
ceph-deploy osd create ceph-stgx --data /dev/sdb
ceph-deploy osd create ceph-stgx --data /dev/sdc
ceph-deploy osd create ceph-stgx --data /dev/sdd

ceph-deploy osd create ceph-stgy --data /dev/sdb
ceph-deploy osd create ceph-stgy --data /dev/sdc
ceph-deploy osd create ceph-stgy --data /dev/sdd

ceph-deploy osd create ceph-stgz --data /dev/sdb
ceph-deploy osd create ceph-stgz --data /dev/sdc
ceph-deploy osd create ceph-stgz --data /dev/sdd

#Ceph kurulumlarında OSD başına 50 ila 100 arasında PG düşmeli, bundan dolayı OSD sayısıyla 50 ve 100 çarpılarak minumum ve maksimum PG değerleri elde edilir.
#Örnek olarak 9 OSD'li bir kurulumda açılacak pool'ların PG değerlerinin toplamı 9x50=450 ile 9x100=900 arasında olmalıdır.
#default.rgw.buckets.data pool'una 450 ile 900 arasındaki 2'nin katı olan 512 değeri verilir, böylece ceph'in açma potansiyeli olan diğer pool'lar için verilen 8 default pg num(ceph.conf'da verildi) değeriyle bu eşik aşılmamış olur.
sudo ceph osd pool create default.rgw.buckets.data 512 512 replicated replicated_rule 20000000

#Swift user oluşturuyorum, siz isterseniz s3 user oluşturabilirsiniz.
sudo radosgw-admin --uid "ceph-demo" --display-name "Ceph Demo Kurulum Kullanıcısı" --subuser=ceph-demo:swift --key-type swift --access full user create
sudo radosgw-admin --uid "ceph-demo" --max-buckets=0 user modify

#Uygulama bağlantısı için kullanılabilecek bilgiler
ceph.username = ceph-demo:swift
ceph.password = W2ocBJ4WwWvHfsARsO9PtD9HbFmJNKI4CYEZFACQ
ceph.endpoint = http://10.10.10.201:7480/swift/v1
ceph.auth.url = http://10.10.10.201:7480/auth/1.0

Ceph dashboard'ı aktif edebilirsiniz.

#ubuntu 16
sudo ceph mgr module enable dashboard
sudo ceph dashboard create-self-signed-cert
sudo ceph config set mgr mgr/dashboard/server_addr ceph-ops
sudo ceph config set mgr mgr/dashboard/server_port 8443
sudo ceph mgr services #service url check
sudo ceph dashboard set-login-credentials admin admin

#ubuntu 20
sudo apt install ceph-mgr-dashboard
sudo ceph mgr module enable dashboard
sudo ceph dashboard create-self-signed-cert
sudo ceph config set mgr mgr/dashboard/server_addr ceph-ops
sudo ceph config set mgr mgr/dashboard/server_port 8443
sudo ceph mgr services #service url check
#Set the login credentials. Password read from -i <file>
sudo ceph dashboard set-login-credentials admin -i admin.txt

Aşağıdaki komutlarla da Ceph'i kontol edebilirsiniz.

sudo ceph osd pool ls / sudo ceph osd pool ls detail
sudo ceph df detail
sudo ceph osd status
sudo ceph health detail
sudo ceph -s

  cluster:
    id:     9c2bdf0d-528a-47c0-b466-4ed3b404162c
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum ceph-ops (age 40m)
    mgr: ceph-ops(active, since 4m)
    osd: 9 osds: 9 up (since 37m), 9 in (since 37m)
    rgw: 1 daemon active (ceph-ops)

  task status:

  data:
    pools:   6 pools, 138 pgs
    objects: 189 objects, 5.1 KiB
    usage:   11 GiB used, 79 GiB / 278 GiB avail
    pgs:     137 active+clean

Ubuntu Üzerine DNS(Named - Bind) Servisinin Kurulum ve Yapılandırması - Public or Private DNS

Fatih ASLAN — Tue, 14 Sep 2021 20:09:29 +0000

sudo apt install -y bind9 bind9utils bind9-doc dnsutils

Yapılandırma dosyaları /etc/bind/ altındadır.

Oluşturacağımız forward zone ve reverse zone bu dosya içerisinde belirtiyoruz /etc/bind/named.conf.local

cd /etc/bind

sudo vi named.conf.options

Aşağıdaki yapılandırma satırlarını ortamınıza göre şekillendirebilirsiniz.


        allow-query { any; };
        listen-on port 53 { any; };
        allow-transfer { none; };
        recursion yes;
        querylog yes;
        allow-recursion { any; };
        version "Ubuntu DNS Server for fatlan.com";
        dnssec-validation auto;
        listen-on-v6 { any; };
        forwarders {
            8.8.8.8;
        };

sudo vi named.conf.local

zone "fatlan.com" IN {

     type master;

     file "/etc/bind/fatlan.com";

     allow-update { none; };
};


zone "0.0.127.in-addr.arpa" IN {

     type master;

     file "/etc/bind/reverse.fatlan.com";

     allow-update { none; };
};

Şimdi fatlan.com ve reverse.fatlan.com dosyalarını oluşturalım.

sudo cp db.local  fatlan.com

sudo cp db.127  reverse.fatlan.com

sudo vi fatlan.com

127.0.0.1 no'lu ip'ler yerine sizin için ilgili ip'yi girmeniz önerilir.

;
; BIND data file for local loopback interface
;
$TTL    604800
@       IN      SOA     ns.fatlan.com. root.ns.fatlan.com. (
                              2         ; Serial
                         604800         ; Refresh
                          86400         ; Retry
                        2419200         ; Expire
                         604800 )       ; Negative Cache TTL
;
@       IN      NS      ns.fatlan.com.
@       IN      A       127.0.0.1
@       IN      AAAA    ::1
ns      IN      A       127.0.0.1

sudo vi reverse.fatlan.com

127.0.0.1 no'lu ip'ler yerine sizin için ilgili ip'yi girmeniz önerilir.

;
; BIND reverse data file for local loopback interface
;
$TTL    604800
@       IN      SOA     ns.fatlan.com. root.ns.fatlan.com. (
                              1         ; Serial
                         604800         ; Refresh
                          86400         ; Retry
                        2419200         ; Expire
                         604800 )       ; Negative Cache TTL
;
@       IN      NS      ns.fatlan.com.
NS      IN      A       127.0.0.1
1       IN      PTR     ns.fatlan.com.

sudo named-checkconf

sudo named-checkzone fatlan.com /etc/bind/fatlan.com

sudo named-checkzone reverse.fatlan.com /etc/bind/reverse.fatlan.com

sudo systemctl start bind9.service

Şimdi dns server'ımı /etc/resolv.cond dan bu dns gösterip aşağıdaki testleri yapıyorum.

ilgili portları tespit için aşağıdaki komutları kullanabilirsiniz.

sudo ss -plnta | egrep -i named

sudo netstat -plnta | egrep -i named

NoT: Her kayıt eklendiğinde mutlaka Serial kısmı arttırılmalıdır.

fatlan.com için örnek kayıtlar...

fatlan.com.   IN     MX   10   mail.fatlan.com.

www     IN       A      127.0.0.1
mail    IN       A      127.0.0.1

ftp     IN      CNAME   www.fatlan.com.

reverse.fatlan.com için örnek kayıtlar...

3     IN      PTR    www.fatlan.com.
4     IN      PTR    mail.fatlan.com.

ref: https://ubuntu.com/server/docs/service-domain-name-service-dns

pg_auto_failover ile PostgreSQL Cluster Kurulumu

Fatih ASLAN — Tue, 14 Sep 2021 20:03:00 +0000

Monitor(10.10.10.147) + 3 PostgreSQL(10.10.10.144, 10.10.10.145, 10.10.10.146) Toplam 4 NODE

Aşağıdaki komut tüm node'lerde, sudo yetkili kullanıcı ile çalıştırılmalıdır.

curl https://install.citusdata.com/community/deb.sh | sudo bash
sudo apt-get install postgresql-13-auto-failover-1.5

NoT: PostgreSQL default'ta 5432 portundan çalışır, yukarıdaki kurulum esnasında otomatik olarak PostgreSQL ayağa kalktığı için 5432 port kullanımda olur. Biz de gelecekte herhangi bir karışıklığa sebebiyet vermemek için(yani dışarıdan bir kullanıcı veritabanına bağlanmak için psql dediğinde varsayılan olarak 5432 portu üzerinden çalışan PostgreSQL instance veritabanına bağlantı yapacaktır. Doğal olarak pg_auto_failover ile biz farklı portlar üzerinden cluster kurulumu yapabileceğimiz için psql ile cluster'a ip ya da portu belirterek cluster PostgreSQL'e bağlantı sağlayabiliriz. Biz hem bu durumun önüne geçip birden fazla instance PostgreSQL çalışmasını önlemek hem de farklı kullanıcılarda oluşabilecek kafa karışıklığının önüne geçebilmek için varsayılan PostgreSQL servisini kapatıp, pasif hale getiriyoruz. )

sudo systemctl stop postgresql.service

sudo systemctl disable postgresql.service

Akabinde Monitor Node'sinde(10.10.10.147) çalıştırılır.

Posgres kullanıcısına geçilir.

sudo su - postgres

export PGDATA=./monitor

pg_autoctl create monitor --ssl-self-signed --hostname 10.10.10.147 --auth trust --run

ctrl+c   # servisin çalıştığı görülür ve kesilir

postgres kullanicisindan çıkılır ve sudo yetkili kullaniciya dönülür.

pg_autoctl -q show systemd --pgdata /var/lib/postgresql/monitor | sudo tee /etc/systemd/system/pgautofailover.service

sudo systemctl daemon-reload
sudo systemctl enable pgautofailover
sudo systemctl start pgautofailover
sudo systemctl status pgautofailover

1. Node(10.10.10.144)

Posgres kullanıcısına geçilir.

sudo su - postgres

export PGDATA=./data

pg_autoctl create postgres --hostname 10.10.10.144 --auth trust --ssl-self-signed --monitor 'postgres://autoctl_node@10.10.10.147:5432/pg_auto_failover?sslmode=require' --run

ctrl+c    # servisin çalıştığı görülür ve kesilir

postgres kullanicisindan çıkılır ve sudo yetkili kullaniciya dönülür.

pg_autoctl -q show systemd --pgdata /var/lib/postgresql/data | sudo tee /etc/systemd/system/pgautofailover.service

sudo systemctl daemon-reload
sudo systemctl enable pgautofailover
sudo systemctl start pgautofailover
sudo systemctl status pgautofailover

2. Node(10.10.10.145)

Posgres kullanıcısına geçilir.

sudo su - postgres

export PGDATA=./data

pg_autoctl create postgres --hostname 10.10.10.145 --auth trust --ssl-self-signed --monitor 'postgres://autoctl_node@10.10.10.147:5432/pg_auto_failover?sslmode=require' --run

ctrl+c    # servisin çalıştığı görülür ve kesilir

postgres kullanicisindan çıkılır ve sudo yetkili kullaniciya dönülür.

pg_autoctl -q show systemd --pgdata /var/lib/postgresql/data | sudo tee /etc/systemd/system/pgautofailover.service

sudo systemctl daemon-reload
sudo systemctl enable pgautofailover
sudo systemctl start pgautofailover
sudo systemctl status pgautofailover

3. Node(10.10.10.145)

Posgres kullanıcısına geçilir.

sudo su - postgres

export PGDATA=./data

pg_autoctl create postgres --hostname 10.10.10.146 --auth trust --ssl-self-signed --monitor 'postgres://autoctl_node@10.10.10.147:5432/pg_auto_failover?sslmode=require' --run

ctrl+c    # servisin çalıştığı görülür ve kesilir

postgres kullanicisindan çıkılır ve sudo yetkili kullaniciya dönülür.

pg_autoctl -q show systemd --pgdata /var/lib/postgresql/data | sudo tee /etc/systemd/system/pgautofailover.service

sudo systemctl daemon-reload
sudo systemctl enable pgautofailover
sudo systemctl start pgautofailover
sudo systemctl status pgautofailover

Cluster kurulumumuz tamamlandı.

Şimdi Monitör node'sinde cluster statusunu gostermek için, posgres kullanıcısına bağlanıp,

export PGDATA=./monitor

pg_autoctl show state

  Name |  Node |        Host:Port |       LSN |   Connection |       Current State |      Assigned State
-------+-------+------------------+-----------+--------------+---------------------+--------------------
node_1 |     1 | 10.10.10.144:5432 | 0/8000B78 |   read-write |             primary |             primary
node_2 |     2 | 10.10.10.145:5432 | 0/8000B78 |    read-only |           secondary |           secondary
node_3 |     3 | 10.10.10.146:5432 | 0/8000B78 |    read-only |           secondary |           secondary

Monitör node'sinde connection string'i görmek için yine posgres kullanıcısında,

export PGDATA=./monitor

pg_autoctl show uri

        Type |    Name | Connection String
-------------+---------+-------------------------------
     monitor | monitor | postgres://autoctl_node@10.10.10.147:5432/pg_auto_failover?sslmode=require
   formation | default | postgres://10.10.10.145:5432,10.10.10.144:5432,10.10.10.146:5432/postgres?target_session_attrs=read-write&sslmode=require

Monitör node'sinde cluster log'larını görmek için yine posgres kullanıcısında,

export PGDATA=./monitor

pg_autoctl show events

Veritabanına dışarıdan(remote vs) erişim için pg_hba.conf dosyasında ilgili ayarlamalar yapılmalıdır, nasıl yapılacağına dair dosya içinde gerekli yönlendirme mevcuttur. Bu değişiklikler her node için ayrı ayrı yapılmalıdır.

#pg_hba.conf değişiklik yapıldığında

export PGDATA=./data

export PATH=/usr/lib/postgresql/13/bin:$PATH

pg_ctl reload

PostgreSQL db connection example;

sudo -u postgres psql postgres://10.10.10.144:5432,10.10.10.145:5432,10.10.10.146:5432/postgres?target_session_attrs=read-write

PostgreSQL JDBC Spring read replica example;

spring.datasource.url=jdbc:postgresql://10.10.10.144:5432,10.10.10.145:5432,10.10.10.146:5432/postgres?currentSchema=postgres&targetServerType=master

ref:

pg_auto_failover github | readthedocs | ytube

CHROOT ile Linux ve Container’lardaki izolasyon meselesini anlayalım

Fatih ASLAN — Sun, 01 Aug 2021 13:55:46 +0000

Chroot adından da anlaşılacağı üzere change root olarak, kök dizini değiştirme ya da başka bir deyişle izole edilmiş farklı sanal kök dizinleri oluşturmak için kullanılır. Yani servis ve uygulamaların çalıştırdığı her bir process’in gördüğü ya da çalıştığı “root” “kök” “/” dizini değiştirmek için kullanılır.

İnternetten bulduğum aşağıdaki görsel ile durum daha kolay anlaşılabilir.

Şimdi biz chroot’u kullanarak kendi process’lerimiz için oluşturacağımız sanal root dizini ile Linux ve Container için dosya sistemi izolasyon konusunu anlamaya çalışalım.

NoT: Bash, her kullanıcı için ilk başlangıç progress’idir(çünkü bash ile yönetimimizi gerçekleştiririz), her hizmet ve uygulama altında çalışan süreçler olarak yer alır. Bundan ötürü bizde bash’e chroot uygulayarak konuyu ele alacağız.

İlk önce kendi sanal root directory’imizi oluşturalım

mkdir jailroot

Sonra komutları atacağımız bin klasörünü oluşturalım

mkdir jailroot/bin

Akabinde bash ve istediğimiz binary executable(komutlar)leri bu dizin altına atacağız. Ben bash, ps, pwd, ls, cat, mount, w, id, tree komutlarını bu dizin altına atacağım ve onunla beraber bir takım klasörler oluşturacağım.

Fakat bu komutların çalışabilmesi için bağımlı olduğu kütüphaneleri de bu sanal root(jailroot) dizinin altına gönderilmesi gerekir.

Bash ve diğer komutlara ait bağımlı lib’leri görebilmek için “ldd” ve “readelf” komutlarını kullanabilirsiniz.

ldd /bin/bash

readelf -d /bin/bash | egrep -i "needed|rpath"

Şimdi dosyaları sanal root(jailroot)un altına atalım. Tabi bağımlı kütüphane dosyalarını da gönderelim. Normalde yukarıdaki komutlar ile sadece kullanacağınız komutların kütüphane dosyalarını bulup atabilirsiniz ama ben direk uğraşmadan olduğu gibi atıyorum.

cp -a /lib jailroot/

cp -a /lib64 jailroot/

cp /bin/bash jailroot/bin/

cp /bin/ls jailroot/bin/

cp /bin/cat jailroot/bin/

cp /bin/mount jailroot/bin/

cp /bin/ps jailroot/bin/

cp /bin/pwd jailroot/bin/

cp /usr/bin/w jailroot/bin/

cp /usr/bin/id jailroot/bin/

cp /usr/bin/tree jailroot/bin/

Hiyerarşiye uygun bir takım klasörler oluşturalım.

mkdir   jailroot/opt

mkdir   jailroot/var

mkdir   jailroot/tmp

Son olarak change root yapalım.

chroot jailroot /bin/bash

Tüm attığımız komutlar çalışıyor, özellikle pwd ve tree komutlarını çalıştırdığınızda kök directory’nin izole olarak göründüğünü fark edebilirsiniz. Fakat w ve ps koutlarında aşağıdaki gibi uyarı alacaksınız.

Bu komutların çalışabilmesi için en tepedeki /proc süreçler dosyalarının saklandığı dizinin proc olarak chroot alanına mount(mount proc /proc -t proc) edilmesi gerekiyor uyarısı veriyor.

Bu yüzden aşağıdaki gibi proc klasörünü oluşturalım ve mount komutunu çalıştıralım.

mkdir   jailroot/proc

mount proc /proc -t proc

Ve sırasıyla w, ps ve mount komutlarını run edersek sorunsuz bir şekilde çalıştığını görebiliriz.

Böylelikle dosya sistemi izolasyon konusunu, hatta volume mount konusuda aklımıza yakınlaştırmış olduk.

Tabi konu aslında bunlarla sınırlı değil kaldı ki chroot tam yalıtım sağlamaz ve etkileri yalnızca kök bağlama noktasıyla sınırlıdır. Asıl önemli olan namespaces’ler ve cgroup’lardır ki container teknolojileri bunların üzerine bina edilmiştir.