DEV Community: Andy Costanza

Utilisez Gitlab.com pour déployer automatiquement votre site web Hugo

Andy Costanza — Mon, 30 Mar 2020 08:05:21 +0000

Cela fait maintenant plusieurs mois que j'ai migré mon site de Wordpress à Hugo. Alors, non, je ne vous expliquerai pas qu'est-ce que c'est Hugo car on l'a déjà fait. Non, je ne vous expliquerai pas pourquoi Hugo c'est mieux que Wordpress car on l'a déjà fait. Non, je ne vous expliquerai pas non plus comment récupérer le contenu de votre Wordpress car on l'a déjà fait

Dans cet article je vais vous expliquer comment, grâce au CI de GitLab, j'ai automatisé la publication de mes articles sur un hébergement Web qui dispose d'un accès FTP.

Prérequis

Vous disposez d'un compte sur une instance GitLab
Votre instance GitLab dispose d'un GitLab Runner qui se chargera du CI/CD
Vous avez installé Hugo, généré votre site et installé votre thème

Description de processus

Dans notre exemple, nous allons "pusher" sur notre repository GitLab notre site hugo avec le fichier qui décris comment construire et publier notre site web. GitLab va lire ce fichier et démarrer une tâche qui se chargera d'exécuter chaque étape nécessaire à la construction du site pour terminer par publier le site généré sur le serveur FTP de votre hébergement web.

Voir le schéma...

Le secret du déploiement automatique

GitLab CI dispose de fonctionnalités équivalentes à Travis-CI ou même notre bon vieux Jenkins avec l'avantage d'avoir tout sous la main et directement intégré à son projet.

Voici notre fichier .gitlab-ci.yml de référence :

stages:
  - build
  - deploy
build:
  stage: build
  image: jojomi/hugo
  script:
  - hugo version
  - git submodule update --init --recursive
  - hugo -d public_html
  artifacts:
    paths:
    - public_html
  only:
  - master
deploy:
  stage: deploy
  script:
    - apt-get update -qq && apt-get install -y -qq lftp
    - lftp -u $FTP_LOGIN,$FTP_PASSWORD $FTP_HOST -e "mirror -v --parallel=2 -e -R --ignore-time -p ./public_html/ www/ ; quit"
    - echo "deployment complete"
  dependencies:
    - build

Le fichier est découpé en 2 étapes : build et deploy
L'étape deploy dépend de la bonne exécution de l'étape build
L'étape build ne s'exécutera que sur la branche master
Dans build on fait référence à l'image docker jojomi/hugo qui sera utilisé pour construire notre site web
Dans build on exécutera les commandes définies dans script qui se chargeront d'initialisé le thème de notre site et transformera votre site Hugo en site statique HTML dans le dossier public_html du conteneur
Si tous se passe correctement, on passe à l'étape de deploy
On installe les outils qui nous manque pour uploader des fichiers par FTP
On termine par le transfert de fichier en tant que tel en publiant le contenu du public_html dans le répertoire www du serveur FTP de votre hébergement web.

Ajouter les variables de connexion FTP dans votre GitLab

Dans la dernière commande ci-dessus, nous utilisons des variables $FTP_LOGIN,$FTP_PASSWORD et $FTP_HOST pour protéger ses valeurs d'une simple lecture du contenu du repository.

Dans les paramètres de votre repository, rendez-vous dans Intégration et livraison continue et dans la section Variables ajoutez ces 3 noms de variables ainsi que les valeurs et n'oubliez pas de glisser le curseur sur Protégée

Voilà, vous êtes paré pour publier automatiquement votre site web à chaque push dans votre repository GitLab

Docker sur Arch Linux

Andy Costanza — Thu, 26 Mar 2020 08:27:49 +0000

Voici un petit guide de mise en route pour déployer une application Spring Boot dans un conteneur docker sur ArchLinux

Pré-requis

Les commandes ci-dessous sous exécutée sur ArchLinux.

Installation de docker et de ses autres outils

$ sudo pacman -Syu docker docker-compose docker-machine
$ sudo systemctl start docker
$ sudo systemctl enable docker

Modification des droits d'accès de l'utilisateur

ATTENTION :

If you want to be able to run docker as a regular user, add your user to the docker user group.
Anyone added to the docker group is root equivalent. More information here and here.

$ sudo gpasswd -a ${USER} docker
$ sudo reboot

Sous GNOME j'ai dû redémarrer la machine car un simple déconnexion de session n'a pas suffi.

Testons la configuration

Est-ce que Docker est bien configuré

$ docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

Si on vous demande un mot de passe c'est que vous avez merdé lors de l'ajout du groupe docker à votre utilisateur

Récupérons un simple projet Spring Boot, compilons le

$ mkdir Projets
$ cd Projets
$ git clone https://gitlab.com/docker-spring-cloud/docker-demo.git
$ cd docker-demo
$ ./mvnw install dockerfile:build

Félicitation, vous venez de compiler et de "conteneuriser" votre première application Spring Boot

Démarrons le conteneur Docker

$ docker image ls
REPOSITORY                     TAG                 IMAGE ID            CREATED             SIZE
andycostanzacom/docker-demo    latest              18c5d16986d9        2 hours ago         119MB
openjdk                        8-jdk-alpine        97bc1352afde        7 weeks ago         103MB
$ docker run -p 8080:8080 -t andycostanzacom/docker-demo

Dans votre navigateur internet, ouvrez la page http://localhost:8080/hello et si la page vous répond "hello" c'est que tout va bien, vous venez d'appeler un endpoint Spring Boot dans un conteneur docker.

Trucs et astuces

Pour savoir quel conteneur est en cours de fonctionnement :

$ docker ps
CONTAINER ID        IMAGE                         COMMAND                  CREATED             STATUS              PORTS                    NAMES
43721a2aff5d        andycostanzacom/docker-demo   "java -cp app:app/li…"   8 seconds ago       Up 7 seconds        0.0.0.0:8080->8080/tcp   hungry_greider

Pour arrêter un conteneur :

$ docker stop 43721a2aff5d
43721a2aff5d

Ouais je sais, il pourrait être plus explicite que de renvoyer juste le Container ID!

Créer un miroir privé des paquets Arch Linux sur un Synology DS218j

Andy Costanza — Thu, 26 Mar 2020 08:25:20 +0000

Confinement oblige, les réseaux qui font ce qu'internet est aujourd'hui sont extrêmement sollicités ces derniers jours. Selon DE-CIX, nous avons des pics journaliers à plus de 9 Terabits/sec

Je vous laisse deviner, à quelles heures sont ces pics ?

C'est exactement les heures pendant lesquels je suis sur mes pc Arch Linux et les moments où j'ai tendances à faire les mises à jour ou installer de nouvelles applications.

J'ai justement un Synology DS218j que j'utilise pour archiver mes photos dans le cadre de mon activité complémentaire et il lui reste encore quelques Go de disponible pour héberger un petit miroir privé des paquets Arch Linux.

Configuration du Synology

Je pars du postulat que vous avez déjà un Synology monté, configuré et fonctionnel.

Créez un nouveau dossier partagé sur votre volume

Créez 2 répertoires : repo et tmp

Installez Web Station si ce n'est déjà fait :
Créez un Virtual Host basé sur le port

Choisir le miroir Arch Linux le plus rapide

Sur votre machine :

Installez pacman-contrib si ce n'est déjà fait
Utilisez rankmirrors pour tester le miroir le plus proche de chez vous. La commande ci-dessous permet de tester les miroirs en Belgique, France, Hollande et Allemagne :

curl -s "https://www.archlinux.org/mirrorlist/?country=FR&country=NL&country=BE&country=GE&protocol=https&use_mirror_status=on" | sed -e 's/^#Server/Server/' -e '/^#/d' | rankmirrors -n 5 -

Parmi les 5 plus rapide, vérifiez lesquels sont compatibles avec rsync sur le site www.archlinux.org/mirrors.

Dans mon cas c'est archlinux.mailtunnel.eu que j'utiliserai dans mon script de synchro

Script de synchro

Connectez-vous en SSH sur votre Synology. ex: ssh monUtilisateurSynology@192.168.1.2 si l'ip de votre NAS est 192.168.1.2
En se basant sur le script disponible sur wiki.archlinux.org, j'ai créé le script de synchro avec vim /volume1/archlinux/syncrepo.sh
J'ai ajouté les bons répertoires et les bonnes URLs vers le miroir que j'ai testé plus haut et voici à quoi le script ressemble :

#!/bin/bash
#
########
#
# Copyright © 2014-2019 Florian Pritz <bluewind@xinu.at>
#
# This program is free software; you can redistribute it and/or modify
# it under the terms of the GNU General Public License as published by
# the Free Software Foundation; either version 2 of the License, or
# (at your option) any later version.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program; if not, see <http://www.gnu.org/licenses/>.
#
########
#
# This is a simple mirroring script. To save bandwidth it first checks a
# timestamp via HTTP and only runs rsync when the timestamp differs from the
# local copy. As of 2016, a single rsync run without changes transfers roughly
# 6MiB of data which adds up to roughly 250GiB of traffic per month when rsync
# is run every minute. Performing a simple check via HTTP first can thus save a
# lot of traffic.

# Directory where the repo is stored locally. Example: /srv/repo
target="/volume1/archlinux/repo"

# Directory where files are downloaded to before being moved in place.
# This should be on the same filesystem as $target, but not a subdirectory of $target.
# Example: /srv/tmp
tmp="/volume1/archlinux/tmp"

# Lockfile path
lock="/volume1/archlinux/syncrepo.lck"

# If you want to limit the bandwidth used by rsync set this.
# Use 0 to disable the limit.
# The default unit is KiB (see man rsync /--bwlimit for more)
bwlimit=0

# The source URL of the mirror you want to sync from.
# If you are a tier 1 mirror use rsync.archlinux.org, for example like this:
# rsync://rsync.archlinux.org/ftp_tier1
# Otherwise chose a tier 1 mirror from this list and use its rsync URL:
# https://www.archlinux.org/mirrors/
source_url='rsync://archlinux.mailtunnel.eu/archlinux/'

# An HTTP(S) URL pointing to the 'lastupdate' file on your chosen mirror.
# If you are a tier 1 mirror use: http://rsync.archlinux.org/lastupdate
# Otherwise use the HTTP(S) URL from your chosen mirror.
lastupdate_url='https://archlinux.mailtunnel.eu/lastupdate'


#### END CONFIG

[ ! -d "${target}" ] && mkdir -p "${target}"
[ ! -d "${tmp}" ] && mkdir -p "${tmp}"

exec 9>"${lock}"
flock -n 9 || exit

rsync_cmd() {
    local -a cmd=(rsync -rtlH --safe-links --delete-after ${VERBOSE} "--timeout=600" "--contimeout=60" -p --delay-updates --no-motd "--temp-dir=${tmp}")

    if stty &>/dev/null; then
        cmd+=(-h -v --progress)
    else
        cmd+=(--quiet)
    fi

    if ((bwlimit>0)); then
        cmd+=("--bwlimit=$bwlimit")
    fi

    "${cmd[@]}" "$@"
}

# if we are called without a tty (cronjob) only run when there are changes
if ! tty -s && [[ -f "$target/lastupdate" ]] && diff -b <(curl -Ls "$lastupdate_url") "$target/lastupdate" >/dev/null; then
    # keep lastsync file in sync for statistics generated by the Arch Linux website
    rsync_cmd "$source_url/lastsync" "$target/lastsync"
    exit 0
fi

rsync_cmd --exclude='*.links.tar.gz*' --exclude='/other' --exclude='/sources' --exclude='/iso' "${source_url}" "${target}"

#echo "Last sync was $(date -d @$(cat ${target}/lastsync))"

Ajouter une tâche planifiée dans le Synology

Toujours connecté en SSH à votre Synology, modifiez votre /etc/crontab : sudo vim /etc/crontab
Ajoutez la tache de synchro pendant les heures creuses du trafic mondial :

0   5   *   *   *   root    bash /volume1/archlinux/syncrepo.sh

Ajouter votre miroir privé dans votre /etc/pacman.d/mirrorlist

Sur votre machine :

Modifiez votre /etc/pacman.d/mirrorlist et ajouter l'url vers votre NAS comme premier serveur dans la liste

Server = http://nas:9080/$repo/os/$arch
#Server = http://192.168.1.2:9080/$repo/os/$arch ou utilisez directement l'ip du NAS si l'url ci-dessus ne fonctionne pas
Server = ...

Conclusion

Je sais que je ne suis qu'une goute d'eau dans cet océan de données qui transit par seconde mais si cet article peut donner des idées à d'autres, nous pourrons faire des rivières et celles-ci pourront, peut être, lisser le trafic mondial et soulager internet