Plateforme Data Lake & Analytics Data Lake & Analytics Platform

Architecture moderne pour l'ingestion, le stockage et l'analyse de données Modern architecture for data ingestion, storage and analytics

Une solution complète qui transforme les données brutes en insights actionnables. Conçue pour les équipes data, les analystes et les décideurs qui ont besoin de fiabilité, de performance et de flexibilité dans le traitement de volumes massifs de données. A complete solution that transforms raw data into actionable insights. Designed for data teams, analysts and decision-makers who need reliability, performance and flexibility in processing massive data volumes.

Pour Qui ? Who Is It For?

Une plateforme conçue pour différents profils et besoins A platform designed for different profiles and needs

Décideurs Decision Makers
Analyses & Dashboards Analytics & Dashboards
Data Engineers Data Engineers
Pipelines & Orchestration Pipelines & Orchestration
Analystes Analysts
Requêtes SQL & Exploration SQL Queries & Exploration
Auditeurs Auditors
Traçabilité & Conformité Traceability & Compliance

Bénéfices Clés Key Benefits

Les avantages d'une plateforme data moderne et robuste The advantages of a modern and robust data platform

100%
Open Source Open Source
Versionné Versioned
Time Travel & Rollback
Rapide Fast
Requêtes Distribuées Distributed Queries
Évolutif Scalable
Cloud-Native

Architecture Technique Technical Architecture

Un pipeline de données moderne et modulaire construit sur les meilleures technologies open-source A modern and modular data pipeline built on best-in-class open-source technologies

Architecture Diagram

Cas d'Usage Use Cases

Des pipelines de données concrets exploitant la plateforme Concrete data pipelines leveraging the platform

Marchés Publics Public Procurement

Pipeline automatisé pour l'ingestion, le nettoyage et l'analyse de données de marchés publics. Les documents PDF publiés par la DGCMEF sont extraits et structurés en Excel via un modèle LLM, puis stockés, nettoyés, validés et chargés dans un entrepôt de données versionné pour l'exploration via des dashboards interactifs. Automated pipeline for ingestion, cleaning and analysis of public procurement data. PDF documents published by DGCMEF are extracted and structured into Excel via an LLM model, then stored, cleaned, validated and loaded into a versioned data warehouse for exploration through interactive dashboards.

Site DGCMEFDGCMEF Website Documents PDFPDF Documents Extraction LLM PDF → Excel structuréPDF → Structured Excel MinIO Raw Fichiers ExcelExcel files Nettoyage & ValidationCleaning & Validation Excel → Parquet MinIO Processed Parquet Iceberg Tables via Trino • Versionnévia Trino • Versioned 3 tables + rollback3 tables + rollback Superset Dashboards interactifsInteractive dashboards Analyse & ConformitéAnalysis & Compliance
Source Source
Stockage Storage
Traitement Processing
Analytique Analytics
Consommation Consumption
Suivi des Espaces Verts - Ouagadougou Green Space Monitoring - Ouagadougou

Acquisition automatique d'images satellite via l'API Sentinel Hub tous les 5 jours, couvrant l'ensemble de la ville de Ouagadougou. Les images sont stockées, traitées et nettoyées, puis mises à disposition d'une plateforme externe pour alimenter un système de suivi de l'occupation des espaces verts urbains. Automatic satellite image acquisition via Sentinel Hub API every 5 days, covering the entire city of Ouagadougou. Images are stored, processed and cleaned, then made available to an external platform to feed an urban green space occupation monitoring system.

Cycle de 5 jours5-day cycle Sentinel Hub API Connexion & RequêtesConnection & Queries Copernicus Sentinel-2 Acquisition ImagesImage Acquisition Couverture OuagadougouOuagadougou coverage Imagerie multispectraleMultispectral imagery MinIO Raw Images brutesRaw imagery TraitementProcessing Nettoyage imagesImage cleaning MinIO Processed Données nettoyéesCleaned data Iceberg Tables via Trino • Versionnévia Trino • Versioned Plateforme ExterneExternal Platform Suivi espaces vertsGreen space monitoring Occupation urbaineUrban occupation
Source externe External source
Stockage Storage
Traitement Processing
Analytique Analytics
Consommation Consumption

Accès aux Services Access Services

Interfaces web pour gérer, explorer et analyser vos données Web interfaces to manage, explore and analyze your data