IA Generativa e Data: repensar o ciclo de vida dos dados

Profissional a trabalhar num portátil com elementos digitais de cloud, dados e redes sobrepostos, representando engenharia de dados e integração de GenAI no ciclo de vida dos dados.

A maioria das conversas sobre IA generativa começa com o que os modelos conseguem fazer. Gerar conteúdo, escrever código, responder a perguntas ou, cada vez mais, atuar em sistemas.

Do ponto de vista de data, no entanto, está a acontecer algo igualmente importante por baixo da superfície. A IA generativa não está apenas a criar novas formas de consumir informação. Está a começar a mudar a forma como as soluções de dados são construídas, testadas e operadas. Ao mesmo tempo, cada avanço na IA reforça algo que as equipas de dados já sabem: bons resultados continuam a depender de boas fundações.

Isto cria uma relação bidirecional. A IA generativa e os dados estão a tornar-se cada vez mais interdependentes. A IA precisa de dados fiáveis para produzir resultados úteis, enquanto a própria IA pode ajudar as equipas a construir e gerir soluções de dados de forma mais eficiente.

Uma IA melhor continua a começar com dados melhores

Um modelo altamente capaz pode continuar a produzir a resposta errada quando a informação disponível é incompleta, desatualizada ou inconsistente. Este não é um desafio novo para as equipas de dados, que há anos lidam com fontes fragmentadas, propriedade pouco clara e diferentes definições para o mesmo conceito de negócio. O que a IA generativa muda é a forma como essas fragilidades se tornam visíveis.

Num ambiente analítico tradicional, um problema de qualidade pode resultar num dashboard que não reconcilia ou numa métrica que levanta dúvidas. Com IA generativa, o mesmo problema pode resultar numa resposta fluente e confiante que parece perfeitamente razoável. Isso torna a qualidade, o contexto e a governança ainda mais importantes, porque os utilizadores podem não reconhecer de imediato quando a informação por trás de uma resposta não é fiável.

A McKinsey identifica a preparação dos dados como uma das principais barreiras à escala da IA, destacando desafios relacionados com a qualidade, a estrutura, a disponibilidade e o contexto dos dados. Isto reforça um ponto que se torna cada vez mais difícil de ignorar: as ambições de IA não podem ser dissociadas da maturidade do ambiente de dados que as sustenta.

O mesmo princípio reflete-se na forma como abordamos a Data Journey na Xpand IT. A estratégia de dados, a engenharia, a governança, a segurança e a escalabilidade criam a base a partir da qual os casos de uso de analítica e IA podem evoluir com confiança. A IA generativa não elimina a necessidade dessas fundações. Torna ainda mais importante fazê-las corretamente.

A IA Generativa está a tornar-se parte da engenharia de dados

A relação também funciona na direção oposta. A IA generativa não se limita a consumir dados; está a começar a apoiar as equipas responsáveis por construir e manter os sistemas por trás deles. Nos projetos da Xpand IT, já consideramos a sua utilização para acelerar transformações de dados e o desenvolvimento de componentes de integração que trazem dados de múltiplas fontes diferentes, em que cada API funciona à sua maneira e tem de ser tratada separadamente. Apoia também a geração de código, a refatoração e o alinhamento com padrões técnicos.

Há um valor claro em termos de produtividade, mas o maior benefício está naquilo para onde os engenheiros podem redirecionar a sua atenção. Ao dedicar menos tempo a trabalho de implementação repetitivo, os engenheiros de dados podem concentrar-se mais na arquitetura, na modelação e nas decisões técnicas que determinam se uma solução se manterá escalável e sustentável à medida que cresce.

O mesmo se aplica quando as equipas trabalham com sistemas já existentes. A IA generativa pode ajudá-las a compreender código pouco familiar, documentar transformações e criar uma implementação inicial que pode depois ser revista, ajustada e melhorada por um engenheiro. É também muito útil quando algo não está a funcionar como esperado, ajudando os engenheiros a interpretar uma query complicada e a identificar de onde vem o resultado errado. Isto pode ser particularmente útil em ambientes complexos, onde as equipas precisam de avançar rapidamente sem perder visibilidade sobre a forma como a solução está a evoluir.

O princípio mantém-se sempre o mesmo: a IA apoia o processo de engenharia, mas não substitui o critério de engenharia. O valor resulta da combinação entre execução mais rápida e a experiência e o contexto necessários para tomar as decisões técnicas certas.

Os testes podem tornar-se mai abrangentes e mais rápidos

Os testes são outra área onde a IA generativa pode mudar o ciclo de vida dos dados. As soluções de dados têm de lidar com valores fora do comum, distribuições inesperadas, alterações de esquemas e falhas em sistemas a montante, o que torna difícil alcançar uma cobertura de testes abrangente de forma manual.

Uma das opções é o uso de dados sintéticos. Quando o acesso a informação real é limitado ou sensível, a IA pode ajudar as equipas a criar conjuntos de dados realistas para desenvolvimento e teste, sem simplesmente reproduzir dados pessoais. De acordo com a abordagem definida para os projetos da Xpand IT, os conjuntos de dados sintéticos devem manter-se alinhados com as regras de negócio relevantes e com as características estatísticas do domínio em causa.

A IA generativa e os agentes de teste baseados em IA podem apoiar este processo de várias formas:

  • Dados sintéticos para criar conjuntos de dados realistas quando o acesso a informação real é limitado ou sensível;
  • Geração automática de testes para cenários unitários, de integração e de regressão;
  • Análise de cobertura para identificar cenários ainda não testados;
  • Manutenção de testes para manter a validação alinhada à medida que o código e os pipelines evoluem.

Isto não elimina a necessidade de decidir o que realmente importa testar. Dá às equipas maior capacidade para cobrir cenários que a pressão da entrega poderia, de outra forma, deixar por explorar, e ajuda a encurtar o ciclo de feedback entre o desenvolvimento e a validação.

Profissional a trabalhar num portátil, rodeada por elementos digitais que representam dados, inteligência artificial, código, segurança e análise de informação.

As operações de dados podem tornar-se mais inteligentes

As equipas de dados já automatizaram grande parte da sua entrega através de práticas de CI/CD e DataOps. A IA generativa e os agentes de IA criam a possibilidade de levar essa automação mais longe, apoiando a configuração e a otimização de pipelines de build, teste e deployment, automatizando validações técnicas e ajudando a identificar falhas recorrentes.

Considere-se um pipeline de dados que falha. Um sistema de monitorização tradicional consegue avisar a equipa de que algo correu mal, enquanto um processo assistido por IA pode potencialmente ajudar a interpretar logs, comparar o incidente com falhas anteriores e sugerir onde poderá ter tido origem o problema. O engenheiro continua responsável pela decisão, mas chegar a essa decisão pode tornar-se mais rápido.

Esta distinção torna-se particularmente importante à medida que as organizações exploram agentes mais autónomos. Ajudar alguém a diagnosticar um incidente é muito diferente de permitir que um agente altere um ambiente de produção sem supervisão. À medida que a automação se torna mais capaz, os limites do que a IA pode fazer também precisam de se tornar mais claros.

Mais automação exige governança mais forte

Mais automação não reduz a necessidade de governança. Torna a governança mais operacional, porque os sistemas de IA podem agora interagir diretamente com dados, código, infraestrutura e processos de negócio.A abordagem definida para a IA generativa nos projetos da Xpand IT estabelece vários princípios que se tornam cada vez mais relevantes à medida que estas capacidades evoluem:

  • Controlo sobre os dados utilizados em prompts e modelos;
  • Segurança, confidencialidade e conformidade ao longo de todo o ciclo de vida;
  • Rastreabilidade sobre os resultados e as ações geradas por IA;
  • Revisão humana obrigatória para código crítico, regras de negócio e decisões técnicas.

Há uma razão prática para estas salvaguardas. Código gerado pode estar tecnicamente correto e mesmo assim aplicar a regra de negócio errada, tal como um agente de testes pode criar uma cobertura extensa e mesmo assim não detetar o cenário que representa o maior risco para o negócio. Uma recomendação automatizada também pode fazer sentido com base na informação disponível e, ainda assim, não ter em conta contexto que só a equipa conhece.

A revisão humana não é, por isso, apenas uma medida temporária enquanto os modelos melhoram. É parte de uma engenharia responsável. O objetivo é aproveitar a velocidade que a IA pode proporcionar sem perder a responsabilização e o contexto necessários para tornar essa velocidade sustentável.

O ciclo de vida dos dados está a evoluir

Seria fácil descrever tudo isto apenas como uma história de produtividade. A IA generativa pode ajudar os engenheiros a escrever código mais depressa, criar mais testes e investigar incidentes de forma mais eficiente, e esses ganhos são valiosos. A maior oportunidade, no entanto, está naquilo que as equipas podem fazer com a capacidade que recuperam.

Menos trabalho de implementação repetitivo pode significar mais atenção à arquitetura e à qualidade dos dados. Melhores testes podem tornar a experimentação mais segura, enquanto um diagnóstico mais rápido pode dar aos engenheiros mais tempo para melhorar as plataformas, em vez de resolverem repetidamente os mesmos problemas operacionais. Em conjunto, estas mudanças podem encurtar a distância entre um requisito de negócio e um produto de dados fiável.

Os modelos e as ferramentas por trás destas capacidades vão continuar a evoluir rapidamente, e é precisamente por isso que uma estratégia de dados não deve ser construída em torno de um produto de IA específico. As capacidades mais duradouras continuam a ser as mesmas de sempre: dados fiáveis, propriedade clara, arquitetura escalável, engenharia sólida, testes, segurança e governança.

A IA generativa está a mudar a forma como as equipas trabalham em todas estas áreas. Não está a substituir o ciclo de vida dos dados; está a tornar-se parte dele.

Pesquisa

Mais Populares