Especialista Apache Airflow (Python) (492)

FormaçãoSuperior completo em Tecnologia da Informação, Engenharia da Computação ou áreas relacionadasNível de experiênciaSêniorSetorTILocal de atuação100% RemotoRequisitosDesenhar e implementar pipelines de dados complexos, utilizando os recursos avançados do Apache Airflow, como tarefas, dependências, agendamento, monitoramento e alertas;Desenvolver e otimizar workflows Python para execução de diferentes tipos de tarefas nos pipelines, como extração, transformação e carregamento de dados, análises, machine learning, entre outros;Configurar e administrar ambientes Apache Airflow, tanto, garantindo alta disponibilidade, escalabilidade e segurança;Integrar o Airflow com outras ferramentas e serviços de dados, como bancos de dados, data lakes, serviços de mensageria, APIs, entre outros, expandindo as capacidades dos pipelines;Monitorar o desempenho dos pipelines, identificar gargalos e realizar ajustes e otimizações para melhorar a eficiência e confiabilidade; Resolver problemas e depurar erros nos pipelines, utilizando as ferramentas de monitoramento e registro do Airflow;Colaborar com equipes de engenharia de dados, análise e negócios para entender requisitos e melhorar os fluxos de trabalho.HabilidadesSólida experiência em desenvolvimento de software usando a linguagem Python;Profundo conhecimento da ferramenta Apache Airflow, sua arquitetura, componentes e funcionalidades;Familiaridade com conceitos de engenharia de dados, como processamento em larga escala, arquiteturas de dados, ETL/ELT, data lakes e data warehouses;Conhecimento de bancos de dados relacionais e não relacionais, APIs, mensageria e outras tecnologias comumente utilizadas em projetos de dados; Habilidade em resolução de problemas e pensamento crítico para identificar e resolver gargalos e problemas nos pipelines;Boa comunicação e capacidade de colaborar com equipes multidisciplinares de engenharia, análise e negócios;Familiaridade com práticas de DevOps, infraestrutura como código e ferramentas de CI/CD.
(492) Desenvolvedor Sênior - MenvieVagas

Location: São Paulo, BR

Posted Date: 8/25/2024