Our client is seeking a Data Engineer to join the Business Intelligence Big Data Team. In this newly created role, you will build high-performance data pipelines on the Google Cloud Platform (GCP), collaborating with Data Scientists and stakeholders to enhance analytic capabilities.
Core Responsibilities
- Design and develop high-performance data processing and ingestion frameworks.
- Partner with Business Analysts to expand data coverage and improve analytic depth.
- Deliver clean, defect-free code, participate in peer reviews, and provide post-deployment support.
- Research and recommend emerging technologies to optimize the Big Data environment.
- Independently resolve complex development issues within a large-scale IT landscape.
Technical Requirements
- GCP Expertise: Hands-on experience with BigQuery, Dataflow, Dataproc, Pub/Sub, and Cloud Composer.
- Proficiency in Apache Spark (using Scala or PySpark).
- 3+ years of experience with mainstream languages such as Python, Java, or Scala.
- Demonstrated experience developing scalable Big Data ingestion frameworks.
- Experience in writing ETLs for data ingestions from multiple enterprise data sources / databases.
Key Competencies
- Strong analytical skills specifically tailored to "Big Data" environments.
- Ability to take initiative and learn new technical standards and processes quickly.
- Motivation to work independently on multifaceted, complex projects.
________________
Notre client recherche un ingénieur de données pour joindre l'équipe d'intelligence d'affaires et de Big Data. Dans ce poste nouvellement créé, vous bâtirez des pipelines de données haute performance sur la plateforme Google Cloud (GCP), en collaborant avec des scientifiques de données et des parties prenantes pour améliorer les capacités analytiques.
Responsabilités principales
- Concevoir et développer des frameworks de traitement et d'ingestion de données haute performance.
- Participer avec les analystes d'affaires à l'élargissement de la couverture des données et à l'amélioration de la profondeur analytique.
- Livrer un code propre et sans défaut, participer aux révisions par les pairs et assurer le soutien après le déploiement.
- Rechercher et recommander des technologies émergentes pour optimiser l'environnement Big Data.
- Résoudre de manière autonome des problèmes de développement complexes au sein d'un écosystème TI de grande envergure.
Exigences techniques
- Expérience concrète avec BigQuery, Dataflow, Dataproc, Pub/Sub et Cloud Composer.
- Maîtrise d'Apache Spark (utilisant Scala ou PySpark).
- Plus de 3 ans d'expérience avec des langages courants tels que Python, Java ou Scala.
- Expérience démontrée dans le développement de frameworks d'ingestion de données massives et dans la rédaction d'ETL pour l'ingestion à partir de multiples sources de données et bases de données d'entreprise.
Compétences clés
- Fortes capacités d'analyse spécifiquement adaptées aux environnements « Big Data ».
- Capacité à prendre des initiatives et à apprendre rapidement de nouvelles normes et processus techniques.
- Motivation à travailler de manière indépendante sur des projets complexes et multifacettes.
Job Types: Full-time, Fixed term contract
Pay: $45.00-$50.00 per hour
Expected hours: 37.5 per week
Language:
Work Location: Hybrid remote in Mississauga, ON L4W 0B6
