Un projet visant à démocratiser les approches de sobriété grâce à un système RAG (Retrieval-Augmented Generation) et des outils d'analyse automatisée.
Important
Il est interdit de pusher de la documentation générée par IA. De même, pour les issues et la description des PR. En faisant cela, vous gagnez du temps mais en faites perdre aux autres. De même, soyez prudent avec le code généré par IA car, outre sa fiabilité qu'il faut vérifier, il est excessivement verbeux. Le code et la doc sont aussi bien des actifs que des passifs donc il faut viser une certaine efficience : assez mais pas trop.
Le projet est structuré en plusieurs sous-projets :
- Visualisation (branche
visualizations-combinednon encore mergée) :- Carbon budget : budget carbone restant par pays pour rester sour les 2°C de réchauffement
- Décomposition monde et UE de scénarios de décarbonation en Population - Décarbonation - Efficacité énergétique - Sobriété
- Indicateurs de bien-être (EWBI)
- Library : base d'articles sur la sobriété dont le code de création est défini dans
library/. Il contient aussi un sous-packagetaxonomydéfinissant une taxonomie métier visant à enrichir les métadonnées des articles. - Policy analysis (dans
policy_analysis/) : pipeline d'extraction et d'analyse de politiques de sobriété et de leurs impacts dont les résultats ont vocation à être inclus dans le RAG. - ChatSufficiency (dans
rag_system/) : chatbot destiné aux experts des politiques publiques, branchés en RAG sur la library et les résultats de la policy analysis.
Voici un schéma d'architecture du projet :
La library est constituée en deux grandes étapes :
- Pré-screening : récupération des références des articles traitant de la sobriété sur OpenAlex
- Extraction full-text : récupération des textes complets pour autant d'articles que possible
- Extraction de la taxonomie : les métadonnées des articles sont enrichis par une taxonomie extraite des articles par traitement NLP.
- Extraction des politiques : les chunks sont analysés et les politiques citées extraites par LLM
- Clustering des politiques pour identifier les principaux types de politiques identifiés
- Extraction des impacts des cluster de politiques dans les chunks de la library selon les dimension de la taxonomie
- Classification en Sufficiency / Potential Sufficiency / Not Sufficiency
Il s'agit de brancher un un système de Retrieval Augmented Generation (RAG) sur la library, soit un chatbot composé de deux sous-systèmes :
- un retriever ~ moteur de recherche sur la library ;
- un LLM répondant à la requête à partir des documents retournés par le retriever.
Le travail initial s'est fondé sur la librairie open source Kotaemon, qui s'est avérée amener plus de complications qu'elle n'en évitait. Il a donc été décidé d'en sortir et de réimplémenter les fonctionnalités nécessaires avec du code custom.
Chaque dossier est un projet indépendant, mais voici les dépendances communes à installer.
Installer uv :
curl -LsSf https://astral.sh/uv/install.sh | sh
source $HOME/.local/bin/envInstaller pre-commit avec uv (pas obligatoire si vous avez déjà pre-commit installé) :
uv tool install pre-commit --with pre-commit-uv
pre-commit --version # check proper installation
pre-commit install # activate hooks before each commit
Lancer les pre-commit hooks manuellement :
pre-commit run --all-files
Voici dans les grosses mailles les étapes prévues:
- Nettoyage du repo et de la base de données postgres
- Refactoring pour mieux isoler les sous-projets
- Recréer la library
- Chunking et embedding pour ingestion en base vectorielle
- V0 du chatbot sans policy analysis
- Finalisation du pipeline de policy analysis et application à un petit échantillon de la library
- V1 du chatbot avec intégration de la policy analysis
- V2 de la library : extraction markdown et chunking plus fin
- Application du pipeline de policy analysis à toute la library, ou une portion conséquente (besoin de ressources de calcul importantes -> Jean Zay)
- V2 du chatbot