ISMEA University
ISMEA
ISMEAInstitut des Sciences, du Management et d'Économie Appliquée
Menu
Université
Formations
Admissions
Recherche & Innovation
Vie Universitaire
International
E-Learning & Tech
Espace Étudiant
Postuler Espace apprenant
Apache Airflow 2.8 + dbt + ClickHouse

ETL & Data Pipeline

DAGs actifs
8
Runs (24h)
247
Données ingérées
247 GB/j
Échecs (7j)
3

DAGs Airflow

lms_user_events_etl
Cron: */15 min8 tâchesDernière: il y a 8minDurée: 47s
SUCCESS
analytics_daily_aggregation
Cron: 0 2 * * *24 tâchesDernière: il y a 12hDurée: 14m 32s
SUCCESS
media_views_tracking
Cron: */30 min6 tâchesDernière: il y a 22minDurée: 1m 47s
SUCCESS
payments_reconciliation
Cron: 0 4 * * *12 tâchesDernière: il y a 10hDurée: 23m 14s
SUCCESS
certifications_blockchain_sync
Cron: 0 */6 * * *4 tâchesDernière: il y a 2hDurée: 4m 18s
SUCCESS
whisper_transcriptions_pipeline
Cron: */1 hour14 tâchesDernière: il y a 32minDurée: 8m 47s
FAILED
sirh_institutions_sync
Cron: 0 1 * * *9 tâchesDernière: il y a 13hDurée: 6m 22s
SUCCESS
ldap_users_provisioning
Cron: 0 */4 * * *5 tâchesDernière: il y a 3hDurée: 2m 47s
RUNNING

Modèles dbt

stg_users.sqlstaging8.4M
stg_courses.sqlstaging847
stg_enrollments.sqlstaging247k
fct_daily_activity.sqlmart1.2M
fct_user_journey.sqlmart847k
dim_courses_enriched.sqlmart847
Entrepôt ClickHouse
Tables:47
Volume:2.4 TB
Lignes:1.8 B
Compression:7.4x
Query p95:247ms
Replicas:3