Gcp Data Engineer

Crée en 2022, WHIZE est une filiale du groupe Neurones spécialisée dans :
Le développement de solutions sur mesure en architecture Serverless (Azure, AWS, GCP)
Le déploiement de solutions décisionnelles grâce à notre offre Data Intelligence

Chez WHIZE, nos collaborateurs sont notre ressource la plus précieuse et sont la clé du succès de nos projets pour nos clients. Notre politique RH se caractérise par une écoute attentive, une bienveillance constante et un suivi personnalisé, mettant ainsi en avant nos valeurs essentielles.

Vos missions :

En tant que GCP Data Engineer, vous serez responsable de la conception, du développement et de l’optimisation des flux de données sur l’écosystème Google Cloud Platform, afin de fournir aux équipes Data Analysts, Data Scientists et métiers des données fiables, sécurisées et performantes.

Vos responsabilités incluront :

• Concevoir, développer et maintenir des pipelines de données sur GCP

• Intégrer et transformer des données issues de sources variées (bases SQL/NoSQL, API, ERP, CRM, fichiers plats…)

• Utiliser les services GCP tels que BigQuery, Dataflow, Dataproc, Pub/Sub, Cloud Storage, Composer ou Looker

• Développer des traitements distribués et optimisés avec PySpark ou Spark sur Dataproc

• Orchestrer et automatiser les workflows avec Cloud Composer (Airflow) ou équivalents

• Mettre en place des contrôles de qualité, cohérence et sécurité des données (IAM, Data Catalog, DLP…)

• Optimiser les performances des traitements et maîtriser les coûts d’infrastructure

• Documenter les flux et assurer leur traçabilité

• Collaborer avec les équipes Data et IT pour fournir des datasets prêts à l’emploi

• Participer à la veille technologique sur GCP et les solutions data cloud

Profil recherché :

• Expérience en Data Engineering, dont une partie significative sur GCP

• Solides compétences en SQL et en programmation orientée Data

• Maîtrise d’au moins plusieurs services GCP orientés data (BigQuery, Dataflow, Dataproc, Pub/Sub, Cloud Storage…)

• Expérience avec PySpark ou Spark pour le traitement de données

• Connaissance des architectures Data Lake et Data Warehouse sur GCP

• Sensibilité aux problématiques de sécurité, gouvernance et optimisation des coûts

• Capacité à travailler en équipe et à communiquer avec des profils techniques et métiers