DEV Community

Cover image for 🔬 J'ai mappé les offres d'emploi public de l'OPT-NC avec le référentiel ESCO à l'aide d'embeddings et de Qwen3-32B-AWQ avec 2xT4 sur Kaggle
adriens
adriens

Posted on Edited on

🔬 J'ai mappé les offres d'emploi public de l'OPT-NC avec le référentiel ESCO à l'aide d'embeddings et de Qwen3-32B-AWQ avec 2xT4 sur Kaggle

❔ Contexte

Avant de me lancer de l'organisation du HackAVP :

J'avais à cœur de préparer un "trésor de données", qui pourrait patiemment être constitué au fil du temps.

Mon but était avant tout d'assouvir ma curiosité

sur ces données : les postes recherchés, les corpus, les compétences, les métiers, les exigences.

Et en faisant cette veille sur ces données et les référentiels liés, j'ai fini par découvrir le référentiel Européen ESCO :

La classification ESCO recense et catégorise les aptitudes, les compétences, les certifications et les professions pertinentes pour le marché du travail, lenseignement et la formation au sein de lUE. Elle présente systématiquement les liens entre les différents concepts.

🍿 Pour les impatients

🤩 Ce que j'adore faire

S'il y a bien une activité que j'adore mener car très satisfaisante pour moi, c'est de :

relier des corpus de texte bruts à des référentiels stricts élaborés par des experts afin d'apporter cette perspective experte sur nos propres données : celles des offres d'emploi (Avis de Vacances de Postes)

... mais n'étant pas expert RH et les données étant volumineuses (surtout côté ESCO), utiliser de l'automatisation pour faire cela à l'échelle... et voir ce que ça donne.

Mais avant tout... c'est vraiment une histoire de curiosité :

👨‍🔬 L'expérimentation

A l'aide des données ESCO que j'avais préparées en amont via le dataset Kaggle ESCO v1.2.1, le processus consiste en 3 étapes :

  1. 🔗 Rappel — des embeddings (multilingual-e5-large) proposer pour chaque AVP une douzaine de professions ESCO candidates, et pour chaque exigence (skills, competencyRequired) une douzaine de compétences candidates
  2. 🤖 Validation — un LLM (Qwen3-32B-AWQ via vLLM, mode raisonnement) choisit parmi ces candidates celles qui correspondent réellement, ou aucune. (Son raisonnement est conservé pour expliquer chaque lien à posteriori.)
  3. 📊 Analyses : On analyse directement dans le notebook ce qui en ressort

💡 Les découvertes

La carte

Mapper des titres de postes avec des professions ESCO

Mapper des phrases avec des compétences ESCO

Les liens impossibles à trouver

La constellation des compétences attendues

Les 25 compétences ESCO les plus demandées

Le profil de compétences ESCO par direction

Thématiques ESCO les plus représentées

Les métiers recrutés selon la classification internationale ISCO

Liens direction et groupes ISCO

Ressemblances entre postes

Le spécifique : ce que les AVPs ajoutent ou oublient

Exigences sans équivalent ESCO

Explication du raisonnement

🔭 Perspectives d'amélioration data

  • Compléter avec les données permettant d'améliorer le matchin en labélisant certaines données
  • Prototyper un agent pour aider à rédiger des AVPs qui matchent mieux le référentiel ESCO

📑 Ressources

📚 Référentiels

💻 Notebooks et modèles

Top comments (6)

Collapse
 
adriens profile image
adriens •

Bonjour, et merci pour ta contribution !
Le processus d'évaluation par le jury démarre ce jour !

N'hésite pas à follower cet article, réagir et partager les réalisations des autres challengers 🫶

Collapse
 
adriens profile image
adriens •

Collapse
 
adriens profile image
adriens •

Collapse
 
adriens profile image
adriens •

Collapse
 
adriens profile image
adriens •

Collapse
 
adriens profile image
adriens •