En tant que Senior Cloud Data Engineer chez Progi, vous serez responsable de la transformation et orchestration de la plateforme de données cloud, avec un focus particulier sur les couches Silver et Gold (BigQuery, Dataform, Cloud Composer).
Votre rôle sera central dans l’évolution de notre plateforme vers un modèle data-driven avancé, incluant l’optimisation des coûts, la performance des pipelines et la mise en place des premières capacités en Machine Learning / AI en production.
Vous agirez en propriétaire end-to-end des pipelines de données (architecture medallion) et contribuerez activement à bâtir une plateforme robuste, performante et prête pour les usages analytiques et prédictifs.
Responsabilités principales
Ownership de la plateforme data (Medallion)
Concevoir, construire et maintenir les couches Silver et Gold dans BigQuery
Assurer l’implémentation complète d’une architecture Medallion (bronze / silver / gold)
Garantir la qualité, la cohérence et la scalabilité des datasets
Orchestration & pipelines
Développer et maintenir des pipelines ELT/ETL avec Dataform et Cloud Composer
Orchestrer les workflows de transformation et de chargement de données
Assurer un monitoring fiable des pipelines en production
Ingestion de données
Implémenter des stratégies d’ingestion via :
APIs
Bases de données (MySQL, etc.)
Standardiser les flux d’ingestion pour assurer leur robustesse et leur réutilisabilité
Optimisation BigQuery (clé du rôle)
Optimiser les coûts et les performances des workloads BigQuery
Mettre en place des bonnes pratiques :
partitioning / clustering
query optimization
data lifecycle management
Suivre et améliorer en continu l’efficacité de la plateforme
Data & Machine Learning enablement
Collaborer à la mise en place des premiers cas d’usage ML/AI
Préparer les données pour des pipelines de machine learning en production
Participer à l’intégration avec les outils GCP liés au ML (ex : Vertex AI)
CI/CD & bonnes pratiques
Contribuer à la mise en place et l’amélioration des pipelines CI/CD (Git, automatisation)
Appliquer les standards d’ingénierie modernes (tests, versioning, documentation)
Collaboration
Travailler étroitement avec les équipes BI, produit et techniques
Participer à la définition des besoins analytiques et des modèles de données
Promouvoir une culture de data engineering orientée performance et valeur métier
Profil recherché Expérience
Minimum 5 ans d’expérience en data engineering
Minimum 2 ans sur Google Cloud Platform (GCP)
Compétences techniques
Expérience pratique souhaitée
Construction de pipelines de données en production
Optimisation des coûts et performance BigQuery
Migration ou modernisation vers le cloud
Expérience avec des projets de Machine Learning (atout fort)
Atouts
Expérience avec CI/CD et Git
Connaissance des outils d’ingestion (API, bases transactionnelles)
Expérience dans un environnement data à forte volumétrie
Ce qui différencie ce rôle
Ownership complet de la couche de transformation (pas juste builder)
Impact direct sur :
les coûts cloud
la performance data
la stratégie AI/ML
Rôle hybride Data Engineer + Data Platform + AI en devenir
La connaissance de l'anglais est essentiel afin d'accomplir sa prescription de travail avec les différentes parties prenantes.