EC2 Spot instances : Comment simuler une fin d'instance et lancer une commande avant la terminaison

AWS EC2 Spot instances permet de réduire jusqu'a 90% le cout des EC2, le concept de Spot instances se base sur des instances a durée limitée et qu'AWS met à disposition par rapport au surplus de capacité présente.

Interruption d'instance

Avant qu'une instance se termine de manière inattendue un signal est envoyé à celle-ci 2mn avant, l'idée de ce post est de voir comment simuler un signal de terminaison et lancer une commande avant pour par exemple faire une sauvegarde des travaux effectués.

Architecture

Détails

L'architecture est composé des éléments suivants :
1/AWS Fault Injection Simulator (FIS) qui va permettre de simuler une "terminaison" d'instance Spot

2/AWS EventBridge pour prendre en charge l'événement de terminaison et pouvoir lancer la commande via le service Run Command (3)

3/AWS Systems Manager Run Command va pouvoir lancer sur l'EC2 la commande qu'on lui aura spécifié (L'agent SSM doit être présent sur l'instance avec les bons droits IAM)

FIS - Configuration

Commençons par configurer le service FIS, en se rendant sur l'interface on sélectionne "Create Experiment Template"

Puis on complète la description, éventuellement on peut lui donner un nom, si un role IAM n'est pas déjà présent il faut en créer un spécifique a FIS

A noter que dans IAM ne figure pas le service FIS par défaut

On choisit donc un service temporaire dans la liste (EC2 par exemple) et puis une fois la policy créé avec les droits uniquement pour envoyer une interruptions aux instances Spot

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowFISExperimentRoleSpotInstanceActions",
            "Effect": "Allow",
            "Action": [
                "ec2:SendSpotInstanceInterruptions"
            ],
            "Resource": "arn:aws:ec2:*:*:instance/*"
        }
    ]
}

On édite le "Trust relationships" pour indiquer le service fis.amazonaws.com

On revient ensuite sur l'interface de configuration de FIS et on crée une nouvelle action (action type : aws:ec2:send-spot-instance-interruptions), en précisant qu'on souhaite laisser 2mn avant que l'instance soit terminée dans le champ "durationBeforeInterruption" et on lui précise la Target (celle-ci est automatiquement créée il suffit juste de la sélectionner)

Une fois enregistré on édite la target en lui précisant la/les resource(s) qu'on souhaite simuler

Ici dans ce cas on a sélectionné toutes les instances ayant le tag Name avec la valeur "Test-Spot"

On peut ensuite créer le template d'experimentation, un message va s'afficher comme quoi on a pas d'action de stop du template, dans ce cas c'est pas grave puisqu'il s'agit juste de lui envoyer un signal d'arrêt le stop se fera de lui meme :)

Par la suite on pourra le lancer via le menu déroulant des actions en sélectionnant "Start", mais pas pour l'instant car il faut auparavant configurer EventBridge

AWS EventBridge - Configuration

Pour la partie EventBridge on va lui indiquer comme pattern le service EC2 et l'événement d'interruption d'une spot instance

Puis laisser tel quel la partie "event bus" et en "target" sélectionner ces paramètres

En Target : Systems Manager Run Command
Document : AWS-RunShellScript
Target key : le tag que l'instance a, qui permet de "viser" celle-ci, précédé par tag, ex. tag:Name
Target Value(s) : Valeur du tag, ex. Spot-Instance
Puis sélectionner "constant" dans les paramètres à choisir.
Indiquer la commande puis "Add" et au final "Create"

Conclusion

Une fois que les différents elements sont mis en place, on peut maintenant tester le mécanisme en lançant dans FIS l'expérimentation qui va par la suite déclencher la commande qu'on souhaite envoyer à l'instance via EventBridge, 2mn avant que celle-ci soit terminée