Data Engineer (Remote) H/F

Licorne Society a été mandaté par une startup qui développe des solutions SaaS de pointe, pour recruter un Data Engineer & Cloud Specialist.

Description du poste

En tant que Data Engineer, vous jouerez un rôle clé dans la conception, la mise en place, et l'optimisation des pipelines de données, contribuant ainsi à la performance et à l'efficacité de leurs systèmes de traitement de données. Vous serez également chargé de gérer leurs infrastructures de données, notamment notre data warehouse (ClickHouse), tout en garantissant la qualité, la sécurité, et la scalabilité des données. Ce poste représente une nouvelle opportunité au sein de l'entreprise, et nous recherchons une personne prête à exploiter pleinement ce rôle pour soutenir la croissance de leurs produits ainsi que celle de l'entreprise.

Responsabilités

• Concevoir, développer et maintenir des solutions de gestion de données robustes et évolutives en utilisant AWS comme infrastructure principale.
• Gérer et optimiser l'infrastructure AWS, en veillant à la sécurité, la scalabilité, et l'efficacité des applications de données et des applications web.
• Implémenter et maintenir des pipelines CI/CD automatisés pour les déploiements d'applications web et de traitement de données, garantissant des cycles de développement rapides et fiables.
• Administrer et optimiser les bases de données orientées colonnes, telles que ClickHouse, pour la gestion et l'analyse de grandes quantités de données.
• Concevoir, développer et gérer des bus de données avec des performances élevées, capables de traiter des flux de données dépassant 100 transactions par seconde.
• Assurer la gestion et la supervision de l'infrastructure des applications web, en garantissant leur disponibilité, leur performance, et leur sécurité.
• Mettre en place des mesures de sécurité robustes et conformes aux normes de l'industrie pour protéger les données sensibles et assurer la sécurité des applications web et des systèmes de données.
• Créer, automatiser et optimiser les pipelines ETL pour l'ingestion de données depuis diverses sources internes et externes dans ClickHouse, tout en garantissant l'intégrité et la fiabilité des données.
• Assurer la scalabilité, l'efficacité, et la sécurité des systèmes de traitement des données et des applications web afin de répondre aux besoins croissants de l'entreprise.
• Développer et maintenir des scripts pour nettoyer, enrichir et transformer les données à partir de sources variées, afin de les préparer pour l'analyse.
• Surveiller et gérer la performance des systèmes de données et des applications web, intervenir rapidement en cas de problème, et effectuer une maintenance proactive pour minimiser les interruptions.
• Concevoir et optimiser des processus automatisés de gestion de données, garantissant leur disponibilité et leur fraîcheur pour les équipes d'analyse.
• Optimiser la performance des requêtes SQL et améliorer l'efficacité des traitements de données à grande échelle pour garantir des temps de réponse rapides.
• Se tenir à jour sur les nouvelles technologies et tendances dans les domaines du cloud, du data engineering, du DevOps et du développement web, afin d'identifier et d'intégrer de nouvelles solutions pouvant améliorer les pipelines de données, l'infrastructure des applications web et l'ensemble de l'environnement cloud.

Le profil idéal

• Expérience : 5+ années d'expérience en ingénierie des données, avec une expertise avérée en gestion d'infrastructure AWS, et une solide expérience en pratiques DevOps.
• Technologies : Connaissance approfondie de Serverless, Docker, ClickHouse, Mysql, AWS, DBT, Airbyte, et des outils de visualisation comme Preset.
• Automatisation et optimisation : Fortes compétences en automatisation de flux de travail et en optimisation des performances, avec une passion pour l'amélioration continue des systèmes.
• Sécurité des données : Rigueur dans la mise en place de mesures de sécurité des données, avec une attention particulière à la conformité et à la qualité.
• Esprit analytique : Capacité à analyser, tester, apprendre et répéter, avec un focus sur les données pour prendre des décisions éclairées.
• Résolution de problèmes : Aptitude à résoudre des problèmes complexes liés à la gestion de données massives et à l'optimisation des systèmes, avec une orientation vers les résultats.

Les + de l'offre

• L'entreprise privilégie le travail à distance: En Europe, tu as la liberté de travailler depuis ton domicile ou un espace de coworking.
• Des opportunités de développement professionnel : Ils croient que chaque employé a le potentiel de devenir un leader. Ils offrent des opportunités pour apprendre, grandir et influencer le futur de leur entreprise.
• Une culture d'innovation : Ils encouragent constamment leurs équipes à penser en dehors des sentiers battus et à apporter de nouvelles idées.
• Forte croissance de l'entreprise avec en conséquences avec des perspectives d'évolutions fortes.

Location: Ile-de-France, FR

Posted Date: 11/15/2024