PL Engenharia de Dados

ília6 days agoFull–time
Aqui na ília nossas vagas estão sempre abertas para todas as pessoas e não se restringem quanto a gênero, etnia, orientação sexual, fatores sociais, condições físicas ou intelectuais (PCD) etc. Incentivamos a candidatura de integrantes de todos os grupos minoritários! Sobre a ília Somos especialistas em tecnologia, dados e design, impulsionando a transformação digital de grandes players do mercado há mais de 10 anos, nos setores financeiro, seguros e mobilidade. Com mais de 450 profissionais, estamos presentes no Brasil e Europa, atendendo aos mercados da América Latina, Europa e América do Norte, desenvolvendo produtos digitais de alta qualidade e com foco em resultados de negócios. Somos uma equipe inovadora, criativa e apaixonada por tecnologia. Certificada pelo 5°ano consecutivo como Great Place to work aqui na ília acreditamos que pessoas mudam o mundo, e investimos nelas. Nossas awesome deliveries são feitas de pessoas para pessoas, afinal awesome people make awesome deliveries! #Vempraília! Sobre a vaga: Estamos procurando um engenheiro de dados de nível pleno para se juntar à nossa equipe e dar suporte ao desenvolvimento de uma arquitetura Lakehouse em nuvem. Esta função se concentrará na construção e otimização de pipelines de dados, implementação de fluxos de trabalho de orquestração e garantia de escalabilidade e desempenho do processamento de dados. Este profissional irá atuar com equipes multifuncionais para projetar soluções de dados robustas, utilizando tecnologias de nuvem e aderindo às melhores práticas em engenharia de dados. Esta é uma excelente oportunidade para profissionais que buscam sólida experiência em engenharia de dados, que estão ansiosos para crescer e causar impacto em projetos inovadores. Principais responsabilidades: • Desenvolvimento e orquestração de pipeline: • Projetar, construir e manter pipelines de dados eficientes para processamento de dados em lote e streaming. • Implementar fluxos de trabalho de orquestração de pipeline usando ferramentas modernas para garantir confiabilidade e escalabilidade. • Arquitetura Lakehouse: • Contribuir para o desenvolvimento e otimização de uma arquitetura Lakehouse, incluindo princípios da Arquitetura Medallion (camadas bronze, prata, ouro). • Lidar com processos de integração, transformação e armazenamento de dados. • Armazenamento e otimização de dados: • Gerencie formatos de dados estruturados e semiestruturados, como Parquet, CSV e JSON. • Garanta o desempenho ideal para consulta e armazenamento de dados. • Colaboração e governança de dados: • Colabore com equipes multifuncionais para alinhar soluções de dados com objetivos de negócios. • Garanta a adesão às melhores práticas de governança, segurança e conformidade de dados. Requisitos: • Sólida compreensão dos principais conceitos de engenharia de dados: arquitetura Medallion, modelagem dimensional, processamento de dados em lote vs. streaming e orquestração de pipeline. • Proficiência em Python e SQL para processamento e desenvolvimento de dados. • Experiência em projetar e manter pipelines de dados em ambientes de nuvem (AWS, GCP ou Azure). • Familiaridade com ferramentas de orquestração de fluxo de trabalho de dados (por exemplo, Apache Airflow, Prefect, Step Functions). • Fortes habilidades analíticas e de resolução de problemas. Seria muito bom se você tivesse: • Experiência prática com serviços da AWS como Glue, S3 e Athena. • Conhecimento de ferramentas de BI e visualização de dados, como AWS Quick Sight, Looker Studio. • Familiaridade com práticas de CI/CD e Infraestrutura como Código (por exemplo, Terraform, CloudFormation). • Experiência com projetos de data lake ou Lakehouse. • Explore oportunidades para integrar soluções de IA generativas, particularmente usando AWS Bedrock, para aprimorar fluxos de trabalho de dados e análises. • Aplique técnicas de engenharia rápida para personalizar soluções orientadas por IA para casos de uso específicos. • Pesquise e contribua para interações potenciais com plataformas de IA do GCP e do Azure como parte de estratégias futuras. Benefícios e Incentivos: Nossa contratação é CLT- 40h semanais com jornada flexível, sendo executada 100% de forma remota. Os benefícios da ília são pensados para proporcionar uma experiência AWESOME para cada ílian, abaixo você encontra os benefícios de forma resumida. Para Saúde e bem-estar: • Plano de Saúde e Odontológico SulAmérica extensivo a dependentes; • Vale Alimentação/Refeição em cartão flexível Picpay benefícios • Seguro de Vida; • Auxílio Home-Office em cartão flexível Picpay benefícios; • Wellhub (Gympass); • TotalPass. Para o seu Desenvolvimento: • ília University: Universidade Corporativa com mais de 20 mil cursos disponíveis para desenvolvimento pessoal e profissional; • Language Academy: Escola de idiomas para ílians; • í-talks e Chapter: Momentos e cerimônias em que o time compartilha práticas, estudos, projetos e ideias. Nas chapters ainda se reúnem pessoas com skills similares para compartilhamento de ideias, práticas e experiências; Gostamos de ir além no cuidado com as nossas pessoas, então dispomos também de alguns benefícios não convencionais: • Plano de Saúde PET - Guapeco; • Seu Niver, seu bolo! • Seu Networking Vale Prêmio - Programa de premiação a indicação de novos funcionários.

Ready to Apply?

By applying, you'll be redirected to the company's application page

Share this job

More Jobs at ília