The latest articles on DEV Community by Anthony DASSE (@anthonydasse). https://dev.to/anthonydasse https://media2.dev.to/dynamic/image/width=90,height=90,fit=cover,gravity=auto,format=auto/https:%2F%2Fdev-to-uploads.s3.amazonaws.com%2Fuploads%2Fuser%2Fprofile_image%2F152365%2Ff036179b-2d7a-4b5c-bd27-e72f2c8c0ca5.jpeg https://dev.to/anthonydasse en Anthony DASSE Thu, 08 Mar 2018 07:11:39 +0000 https://dev.to/anthonydasse/introduction-a-apache-kafka-7m8 https://dev.to/anthonydasse/introduction-a-apache-kafka-7m8 <p>Cet article (et ses futurs petits frères) a pour vocation de vous présenter l’utilisation de Kafka.</p> <p>Durant les premières parties, je vais simplifier un maximum les concepts de Apache Kafka (et cela peut choquer des gens …).</p> <h4> <strong>Apache Kafka</strong> </h4> <p>Apache Kafka est un système de messages distribué. Ce dernier est opensource et sous licence Apache. Il a été placé sous la bannière opensource par Linkedin qui continue à contribuer à son développement.</p> <p>Il est souvent comparé à d’autres systèmes de messages mais Kafka offre bien plus que ces outils.</p> <p>Il est certainement un des outils les plus appropriés et les plus appréciés pour gérer des messages d’un SI d’entreprise.</p> <p>Avec l’utilisation d’un tel outil (il en est de même pour ses concurrents), vous supprimez une des choses les plus lourdes d’un SI d’entreprise (ou dans votre application) : <em>*l’adhérence*</em>.</p> <p>Le fait de savoir que l’information doit être envoyé au composant <code>C</code> et à l’application <code>A</code> créé un réel problème lorsque l’on veut faire évoluer les applications facilement.</p> <p>Le concept des messages distribués est simple, je suis le composant <code>X</code>, je fais mon travail et je notifie mon environnement via un message. Les composants ou applications intéressés par mon message le récupèrent et travaillent avec. Dans notre cas, le composant <code>X</code> ne savait pas à qui il envoyait le message.</p> <h4> <strong>Rapides concepts</strong> </h4> <p>Kafka permet donc de gérer des messages.</p> <p>Ces messages sont envoyés par des Producer (Producteur de messages).</p> <p>Un message donné concerne un sujet, dans Kafka on appelle cela un Topic.</p> <p>Le Consumer (Consommateur de messages), lui, s’intéresse à un ou plusieurs sujets, il s’abonne donc aux Topics. Il recevra donc tous les messages concernant ces fameux topics.</p> <p><a href="https://res.cloudinary.com/practicaldev/image/fetch/s--qAI-Wznn--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://cdn-images-1.medium.com/max/726/1%2A3xMMAnMHfY5R4e4gxYTAKQ.png" class="article-body-image-wrapper"><img src="https://res.cloudinary.com/practicaldev/image/fetch/s--qAI-Wznn--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://cdn-images-1.medium.com/max/726/1%2A3xMMAnMHfY5R4e4gxYTAKQ.png" alt=""></a></p> <p>Kafka est un cluster constitué de Brokers.</p> <p><em>Un Broker c’est quoi ?</em></p> <p>C’est simplement une instance d’un serveur Kafka.</p> <p>On peut donc facilement se constituer un cluster Kafka en instanciant les services Kafka.</p> <p><a href="https://res.cloudinary.com/practicaldev/image/fetch/s--88r_vafy--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://cdn-images-1.medium.com/max/425/1%2A3osCkvu1FNU2djmv8ov2_A.png" class="article-body-image-wrapper"><img src="https://res.cloudinary.com/practicaldev/image/fetch/s--88r_vafy--/c_limit%2Cf_auto%2Cfl_progressive%2Cq_auto%2Cw_880/https://cdn-images-1.medium.com/max/425/1%2A3osCkvu1FNU2djmv8ov2_A.png" alt=""></a></p> <p>Cette gestion en cluster permet d’améliorer le partitionnement et la réplication des données.</p> <p><em>En quoi c’est utile ?</em></p> <p>La partitionnement est important lorsque le volume de données va augmenter.</p> <p>En utilisant un double partitionnement sur un Topic, on pourra augmenter le “débit” de lecture des messages en rajoutant un consommateur. Un consommateur s’occupera donc d’une partition d’un Topic.</p> <p>La réplication de données est très utilisée dans les systèmes “clusters”.</p> <p>Rappelez-vous, une instance Kafka garde les messages … si le serveur sur lequel est lancé le service crash … les données sont perdues. En utilisant la réplication, on s’assure que les données sont disponibles sur un ou plusieurs autres serveurs.</p> <p>Cela permet aussi de facilement scaler Kafka si le nombre de message augmente ou si on veut accélérer le traitement.</p> <p>Et là, c’est le drame. Comment Kafka fait-il pour gérer tout ce petit monde ?</p> <p>Il se base sur Apache Zookeeper (très utilisé dans les systèmes distribués). Pour faire simple, Zookeeper permet de savoir quel service est où … et Kafka lui demande juste : “Hey, il est où mon broker 1”. (J’ai vraiment simplifié le concept).</p> <h4> Le stockage des messages </h4> <p>Gros point positif, Kafka stocke les messages.</p> <p>Ce stockage est basé sur un structure de données appelé : *<em>LOG*</em></p> <p>… Non rien à voir avec les logs applicatifs ou techniques que l’on peut utiliser à coup de log4j.</p> <p>Il s’agit d’un tableau de messages ordonnés.</p> <p>L’ordonnancement est réalisé à partir de la date d’arrivé du message.</p> <p>Chaque message se voit donner un index, dans Kafka on appel cela un offset.</p> <blockquote> <p>La rétention des messages peut être gérée dans la configuration du cluster Kafka (limite de taille ou limite de temps).</p> </blockquote> microservices kafka architecture