UPBET
Engenheiro de Software Sênior Full Stack - Dados
Job Location
Brasil, Brazil
Job Description
Resumo da Posição:
Procuramos um Engenheiro de Software Sênior Full Stack com foco em Engenharia de Dados que será responsável por construir e manter pipelines de dados de alta qualidade. Este profissional apoiará a infraestrutura de dados e contribuirá para o desenvolvimento de produtos analíticos robustos e insights estratégicos para o negócio.
Responsabilidades:
- Desenvolver, monitorar e otimizar pipelines de dados, garantindo a integridade, confiabilidade e qualidade dos dados.
- Colaborar com as equipes de análise de dados e ciência de dados para definir e atender às necessidades de coleta e transformação de dados.
- Implementar e gerenciar estruturas de armazenamento e transformação de dados (ETL), aplicando melhores práticas em arquitetura de dados.
- Realizar manutenção e monitoramento de data lakes e data warehouses em ambiente multi-cloud (AWS e Oracle).
- Garantir que os dados estejam prontos e acessíveis para consultas em tempo real e relatórios analíticos.
- Atuar no aprimoramento contínuo dos processos de ingestão e transformação, utilizando ferramentas de Big Data como Spark, Airflow e Kafka.
- Implementar soluções de segurança e compliance de dados (GDPR, LGPD), assegurando a conformidade de armazenamento e compartilhamento de dados.
- Definir padrões de qualidade de dados e participar de auditorias de integridade e controle de versões dos dados.
Requisitos:
- Conhecimento avançado em manipulação e modelagem de dados, usando Python e frameworks de dados (pandas, Spark).
- Experiência com bancos de dados relacionais e NoSQL e tecnologias como Redshift, BigQuery, MongoDB.
- Experiência prática em DevOps, com automação e deploy de pipelines de dados e configuração de monitoramento.
- Habilidades em comunicação para atuar com stakeholders e transformar requisitos de dados em soluções técnicas viáveis.
Diferenciais:
- Experiência em arquitetura de soluções de dados, como data lakes e data mesh.
- Certificações em nuvem voltadas para big data (AWS Certified Big Data, Google Professional Data Engineer).
Location: Brasil, BR
Posted Date: 11/10/2024
Contact Information
Contact | Human Resources UPBET |
---|