Na Xpand IT, a equipa de Engenharia de Dados desenvolve e implementa arquiteturas e soluções de software focadas no processamento de dados em grande escala. A missão da equipa é resolver desafios complexos relacionados com Volume, Velocidade e Variedade, garantindo que os dados são capturados, armazenados e geridos de forma eficiente. O principal foco passa por tirar partido de tecnologias líderes de mercado para construir sistemas robustos que suportem fluxos críticos de informação, assegurando sempre a fiabilidade e o desempenho do ecossistema de Big Data.
Principais responsabilidades
Como Data Engineer, terás um papel central no desenvolvimento de software e de sistemas distribuídos, aplicando boas práticas de engenharia ao universo dos dados. O teu foco será:
- Implementar soluções de processamento (Batch e Streaming) onde o desempenho é essencial;
- Desenhar pipelines de dados e modelos organizacionais que otimizem operações de pesquisa e armazenamento;
- Garantir a escalabilidade e fiabilidade do software, independentemente do crescimento do volume de dados;
- Colaborar com engenheiros de plataforma para integrar standards da indústria em soluções de produção;
- Analisar problemas complexos de manipulação de dados e desenvolver APIs para consultas de dados de alta velocidade.
Stacks:
- Linguagens: Java, Scala ou Python;
- Frameworks & processamento: Apache Spark, Kafka/Confluent;
- Cloud: Azure, AWS, or Google Cloud;
- Storage/Databases: Delta Lake, MongoDB, SQL e NoSQL.
Requisitos
Formação académica
Licenciatura ou Mestrado em Engenharia Informática, Sistemas de Informação ou áreas relacionadas.
Engenharia de Software
Experiência sólida em programação (Java, Scala ou Python) e na aplicação de design patterns em sistemas distribuídos.
Big Data & processamento
Experiência prática com Apache Spark e frameworks para processamento de dados em grande escala.
Cloud & messaging
Bons conhecimentos de serviços de dados em Cloud (Azure, AWS ou Google Cloud) e arquiteturas orientadas a eventos com Kafka.
Bases de dados
Domínio de SQL e experiência em modelação e gestão de bases de dados relacionais e não relacionais (NoSQL).
Idiomas
Fluência obrigatória em português e inglês, tanto escrito como falado.
Pontos extra:
- Experiência com ferramentas de orquestração (por exemplo, Airflow) e ecossistemas Lakehouse;
- Conhecimentos de CI/CD, Git e ferramentas de automação (Maven, Jenkins ou equivalentes);
- Experiência com Infrastructure as Code (Terraform);
- Capacidade analítica e gosto por resolver problemas técnicos complexos em equipa.
