Skip to content

Commit 5c97f8a

Browse files
author
Abderrahman EL OUALI
committed
Add: Data pipeline end2end
1 parent a2e638c commit 5c97f8a

1 file changed

Lines changed: 28 additions & 50 deletions

File tree

‎pages/projects/project-weather-data-pipeline.html‎

Lines changed: 28 additions & 50 deletions
Original file line numberDiff line numberDiff line change
@@ -65,7 +65,7 @@ <h1>Pipeline Meteo de Bout en Bout</h1>
6565
<p>Conception d un pipeline ETL batch complet pour ingerer des donnees meteo depuis une API publique, les transformer, les modeliser en entrepot local et les visualiser dans un dashboard interactif.</p>
6666

6767
<div class="project-meta">
68-
<article class="meta-card"><span>Role</span><strong>Data Engineer Junior</strong></article>
68+
<article class="meta-card"><span>Role</span><strong>Data Engineer </strong></article>
6969
<article class="meta-card"><span>Type</span><strong>Projet Personnel</strong></article>
7070
<article class="meta-card"><span>Niveau</span><strong>Oriente Production</strong></article>
7171
<article class="meta-card"><span>Stack</span><strong>Python, Pandas, DuckDB, SQLite, Metabase</strong></article>
@@ -95,63 +95,41 @@ <h1>Pipeline Meteo de Bout en Bout</h1>
9595
</article>
9696

9797
<section class="project-section reveal">
98-
<h2>Description</h2>
99-
<p>Ce projet met en place un flux data engineering de bout en bout: ingestion API, stockage brut, transformation analytique, chargement en entrepot et exposition BI. L objectif est de reproduire un environnement local proche des pratiques de production.</p>
98+
<h2>Contexte</h2>
99+
<p>Projet personnel de data engineering orientee production pour construire un pipeline meteo complet: ingestion API, transformation de donnees et exposition d indicateurs dans un dashboard BI.</p>
100100
</section>
101101

102102
<section class="project-section reveal">
103-
<h2>Responsabilites Principales</h2>
103+
<h2>Solution technique</h2>
104104
<ul class="project-list">
105-
<li>Developpement d un script Python d ingestion pour collecter des donnees meteo depuis une API publique.</li>
106-
<li>Mise en place du stockage brut en JSON (couche data lake).</li>
107-
<li>Developpement de la logique de transformation avec Pandas.</li>
108-
<li>Chargement des donnees curiees dans un data warehouse SQLite.</li>
109-
<li>Connexion du warehouse a Metabase pour la business intelligence.</li>
110-
<li>Conception de dashboards interactifs sur les tendances de temperature et d humidite par ville.</li>
105+
<li>Script Python d ingestion batch pour collecter les donnees meteo via API REST.</li>
106+
<li>Stockage brut en JSON dans une couche raw (logique data lake).</li>
107+
<li>Transformation et nettoyage des donnees avec Pandas.</li>
108+
<li>Chargement des donnees curiees dans un entrepot local SQLite.</li>
109+
<li>Preparation analytique avec DuckDB et modelisation de tables pour la BI.</li>
110+
<li>Connexion de la base a Metabase pour visualiser temperature et humidite par ville.</li>
111111
</ul>
112112
</section>
113113

114114
<section class="project-section reveal">
115-
<h2>Points Forts de l Architecture</h2>
116-
<ul class="project-list">
117-
<li>Pipeline d ingestion en batch.</li>
118-
<li>Architecture data en couches: raw -> transformed -> warehouse -> BI.</li>
119-
<li>Environnement local reproductible avec virtualenv.</li>
120-
<li>Design de pipeline modulaire et extensible.</li>
121-
</ul>
122-
</section>
123-
124-
<section class="project-section reveal">
125-
<h2>Stack Technique</h2>
126-
<ul class="project-list">
127-
<li>Python, Pandas, DuckDB, SQLite.</li>
128-
<li>Metabase, API REST, Modelisation de donnees.</li>
129-
</ul>
130-
</section>
131-
132-
<section class="project-section reveal">
133-
<h2>Valeur Metier</h2>
134-
<p>Ce projet demontre la capacite a construire des pipelines data proches de la production, transformer des donnees semi-structurees, modeliser des jeux analytiques et livrer des insights actionnables via des dashboards BI.</p>
135-
</section>
136-
137-
<section class="project-section reveal">
138-
<h2>Tags</h2>
139-
<ul class="project-list">
140-
<li>data-engineering</li>
141-
<li>etl</li>
142-
<li>data-pipeline</li>
143-
<li>bi</li>
144-
<li>metabase</li>
145-
<li>python</li>
146-
</ul>
147-
</section>
148-
149-
<section class="project-section reveal">
150-
<h2>Perimetre du Projet</h2>
151-
<ul class="project-list">
152-
<li>Type de projet: Projet Personnel.</li>
153-
<li>Niveau: Data Engineer Junior (Oriente Production).</li>
154-
</ul>
115+
<h2>Resultats</h2>
116+
<div class="results-grid">
117+
<article class="result-card">
118+
<i class="fas fa-layer-group"></i>
119+
<h3>Pipeline de bout en bout</h3>
120+
<p>Mise en place d une architecture en couches raw -> transformed -> warehouse -> BI.</p>
121+
</article>
122+
<article class="result-card">
123+
<i class="fas fa-chart-line"></i>
124+
<h3>Dashboards exploitables</h3>
125+
<p>Visualisations claires des tendances de temperature et d humidite par ville.</p>
126+
</article>
127+
<article class="result-card">
128+
<i class="fas fa-cogs"></i>
129+
<h3>Approche reproductible</h3>
130+
<p>Environnement local reproductible avec virtualenv et pipeline modulaire extensible.</p>
131+
</article>
132+
</div>
155133
</section>
156134
</section>
157135
</main>

0 commit comments

Comments
 (0)