Inteligência Artificial e Dados: Uma relação simbiótica

Explore a fascinante relação entre a Inteligência Artificial (IA) e os dados, e como esta dupla está a revolucionar diversos setores, desde a medicina às finanças. Descubra como a qualidade e a disponibilidade dos dados impactam diretamente o sucesso dos modelos de IA, impulsionando a inovação e a eficiência. Junte-se a nós nesta jornada para compreender os desafios e as oportunidades que esta simbiose apresenta, incluindo casos de sucesso e fracasso em projetos de IA.

O impacto da qualidade dos dados no desempenho da IA

A IA, especialmente nas suas vertentes de Machine Learning (ML) e a IA Generativa, alimenta-se de dados para a sua aprendizagem e desenvolvimento. Essencialmente, a qualidade desses dados é o pilar fundamental que determina a eficiência e a precisão dos modelos de IA. Dados de alta qualidade, caracterizados pela sua precisão, abrangência, consistência e relevância, são cruciais para o sucesso de qualquer projeto de IA. Por outro lado, dados de baixa qualidade, que podem ser imprecisos, incompletos ou tendenciosos, conduzem a modelos de IA imprecisos, pouco fiáveis e até prejudiciais.

Para ilustrar este ponto, imaginemos um sistema de IA concebido para prever o risco de crédito. Se os dados utilizados para treinar este sistema contiverem erros ou estiverem incompletos, o modelo poderá gerar previsões erradas, levando a decisões de crédito incorretas com consequências financeiras negativas.

Machine Learning e IA Generativa: Dependência da qualidade dos dados

Tanto o ML quanto a IA Generativa são altamente sensíveis à qualidade dos dados. No ML, os algoritmos aprendem padrões e relações a partir dos dados de treino para fazer previsões ou tomar decisões. Se os dados de treino estiverem errados ou incompletos, o modelo resultante será impreciso. Por exemplo, um modelo de ML treinado para diagnosticar doenças a partir de imagens médicas, se baseado em dados de baixa qualidade, pode levar a diagnósticos incorretos com graves implicações para a saúde dos pacientes.

A IA Generativa, por sua vez, utiliza dados para criar novos conteúdos, como imagens, texto ou música. A qualidade dos dados de treino determina a qualidade e a originalidade do conteúdo gerado. Dados de baixa qualidade podem resultar em conteúdo repetitivo, pouco original ou até mesmo inadequado. Imaginemos um modelo de IA Generativa treinado para escrever artigos de notícias. Se os dados de treino forem de baixa qualidade, o modelo poderá gerar artigos com informações erradas ou linguagem inadequada, prejudicando a credibilidade da fonte(^{1) .}

Aprofundando o impacto da qualidade dos dados em diferentes tipos de IA, observamos o seguinte:

• Aprendizagem supervisionada: neste tipo de aprendizagem, a qualidade dos dados rotulados é crucial. Se os rótulos estiverem incorretos ou inconsistentes, o modelo aprenderá padrões errados, resultando em previsões imprecisas.
• Aprendizagem não supervisionada: A qualidade dos dados influencia a capacidade do modelo de identificar padrões e agrupamentos significativos. Dados ruidosos ou incompletos podem dificultar a identificação de padrões relevantes.
• Aprendizagem por reforço: A qualidade dos dados de retroalimentação é fundamental para que o modelo aprenda a tomar ótimas decisões. Dados de retroalimentação errados ou incompletos podem levar a uma aprendizagem ineficiente e a um desempenho deficiente.

Exemplos de modelos de IA que falharam devido à má qualidade dos dados

Ao longo do desenvolvimento da IA, ocorreram casos em que a má qualidade dos dados levou ao fracasso de projetos ambiciosos. Esses exemplos servem como lembretes da importância crítica da gestão de dados no desenvolvimento da IA.

• Discriminação nas contratações da Amazon: a Amazon foi obrigada a abandonar um algoritmo de recrutamento que discriminava as mulheres. O sistema, treinado com dados históricos da empresa, aprendeu a favorecer candidatos do sexo masculino devido à predominância de homens em funções técnicas no passado. Esta discriminação nos dados históricos refletiu-se no modelo de IA, perpetuando a desigualdade de género no processo de contratação(^{1) .}
• Discriminação nos anúncios do Google: Um estudo revelou que o sistema de publicidade online do Google mostrava anúncios de empregos com remuneração mais alta para homens do que para mulheres, perpetuando a diferença salarial de género. Esta discriminação teve origem nos dados utilizados para treinar o sistema, que refletiam as desigualdades salariais existentes no mercado de trabalho¹ .
• Discriminação no Midjourney: Ao solicitar ao Midjourney, uma ferramenta de IA para a geração de imagens, que criasse imagens de pessoas em profissões especializadas, observou-se que as pessoas com mais idade representadas eram sempre homens, reforçando a discriminação de género no âmbito laboral. Esta discriminação deveu-se à falta de diversidade nos dados de treino, que não refletiam a participação de mulheres com mais idade em funções profissionais¹ .

Estes casos ilustram como os dados tendenciosos podem levar a resultados discriminatórios, perpetuando as desigualdades existentes. É fundamental que os desenvolvedores de IA estejam cientes dessas discriminações e tomem medidas para mitigá-las, utilizando dados de treino diversos e representativos da realidade.

Ataques de manipulação de dados e IA

Os ataques de manipulação de dados representam uma ameaça significativa para os sistemas de IA. Esses ataques procuram alterar ou modificar os dados para comprometer a integridade e a confiabilidade dos modelos de IA.

Os hackers podem empregar diversas técnicas para manipular os dados, incluindo a injeção de dados falsos, a modificação de dados existentes ou a eliminação de dados cruciais. Estas ações podem ter um impacto devastador nos sistemas de IA, levando a previsões erradas, decisões incorretas e até mesmo à inutilização do sistema.

Um exemplo de ataque de manipulação de dados é a injeção de dados falsos num sistema de IA utilizado para a deteção de fraudes. Ao introduzir dados falsos que simulam transações legítimas, os hackers podem enganar o sistema e fazer com que as transações fraudulentas passem despercebidas.

Um tipo específico de ataque de manipulação de dados é o envenenamento de dados, que tem como alvo o processo de treino dos modelos de IA. Neste tipo de ataque, os hackers introduzem dados maliciosos no conjunto de dados de treino com o objetivo de corromper o modelo e afetar o seu desempenho.

Existem diferentes tipos de ataques de envenenamento de dados, como a injeção de ruído aleatório ou a introdução de dados irrelevantes no conjunto de treino. Esses ataques podem afetar a capacidade do modelo de generalizar a partir dos dados de treino e levar a previsões imprecisas ou tendenciosas.

Casos de Sucesso: Empresas que otimizaram os seus projetos de IA com dados de qualidade

Apesar dos desafios, muitas empresas reconheceram a importância da qualidade dos dados e conseguiram otimizar os seus projetos de IA melhorando os seus dados. Estes casos de sucesso demonstram o poder de uma gestão de dados eficaz no desenvolvimento da IA.

• Spotify: O gigante do streaming musical utiliza o modelo “Squad”, no qual pequenas equipas multifuncionais trabalham de forma independente em diferentes aspetos do produto. Cada equipa tem autonomia para decidir em que trabalhar e como fazê-lo, o que permite maior agilidade e eficiência no desenvolvimento de novas funcionalidades. Este modelo descentralizado facilita a gestão de dados, permitindo que cada equipa se concentre nos dados relevantes para a sua área de trabalho.
• Johnson & Johnson: Conhecida pela sua estrutura descentralizada, a Johnson & Johnson conta com muitas unidades que funcionam de forma autónoma. Algumas concentram-se em componentes específicos do produto, o que requer cooperação entre elas. Esta estrutura permite uma maior especialização e uma resposta mais rápida às necessidades do mercado. A descentralização também facilita a gestão de dados, permitindo que cada unidade faça a gestão dos dados relevantes para a sua área de especialização.
• Illinois Tool Works: Esta empresa descentralizada está dividida em várias unidades, cada uma com uma função diferente. A empresa divide ainda mais as unidades se estas começarem a ultrapassar ou a ficar para trás em relação à concorrência. Esta estrutura permite identificar com precisão o que funciona e o que não funciona, com base nos sucessos e fracassos das diferentes unidades. A gestão de dados neste modelo baseia-se na recolha e análise de dados de desempenho de cada unidade, o que permite uma tomada de decisões mais informada.

Estes exemplos demonstram como uma gestão eficaz de dados, que inclui a recolha, limpeza, organização e análise de dados, pode melhorar significativamente o desempenho da IA e levar ao sucesso em projetos de IA.

Fracassos devido à má gestão de dados em projetos de IA

A má gestão de dados pode ser um obstáculo importante para o sucesso dos projetos de IA. A falta de dados, a má qualidade dos dados ou a falta de acesso aos dados podem levar ao fracasso dos projetos de IA.

• Ford Pinto: Apesar da facilidade com que o modelo Pinto se incendiava devido ao seu design, a Ford recusou-se a retirá-lo do mercado até que o governo dos Estados Unidos obrigou-a a fazê-lo. Este é um exemplo de má decisão empresarial que priorizou os lucros económicos em detrimento da segurança dos consumidores. A falta de análise de dados sobre a segurança do veículo e a falta de transparência na comunicação dos riscos contribuíram para este fracasso².
• Nestlé Lactogen: Na década de 1970, a Nestlé realizou uma campanha de marketing agressiva para o seu leite em pó Lactogen em países com acesso limitado a água potável. Esta decisão, eticamente questionável, ignorou as necessidades e a saúde dos consumidores. A falta de consideração dos fatores socioeconómicos e culturais na estratégia de marketing contribuiu para este fracasso² .

Estes casos demonstram como a falta de consideração das implicações éticas e sociais da IA pode levar a consequências negativas. É crucial que as empresas que desenvolvem projetos de IA tenham em conta não só a qualidade dos dados, mas também o impacto social e ético das suas decisões.

Melhores práticas para a gestão de dados em projetos de IA

Para garantir o sucesso dos projetos de IA, é fundamental implementar melhores práticas para a gestão de dados. Essas práticas incluem:

Melhores práticas	Descrição
Conhecer os dados	Compreender a origem, a natureza, a qualidade e o contexto dos dados utilizados no projeto de IA. Isto inclui identificar possíveis vieses, avaliar a integridade e a precisão dos dados e compreender como os dados foram compilados e processados.
Organizar os dados	Implementar uma estrutura de dados organizada e eficiente que facilite o acesso, a gestão e a análise dos dados. Isto pode incluir a utilização de bases de dados, armazenamento de dados ou lagos de dados, bem como a implementação de esquemas de metadados e catálogos de dados.
Manter a integridade dos dados	Garantir a precisão, a consistência e a fiabilidade dos dados ao longo do seu ciclo de vida. Isto implica a implementação de controlos de qualidade dos dados, a validação dos dados e a gestão das versões dos dados.
Garantir a privacidade e a segurança dos dados	Proteger os dados contra o acesso não autorizado e o uso indevido. Isto inclui a implementação de medidas de segurança, como a criptografia, o controlo de acesso e anonimização de dados, bem como a conformidade com as regulamentações de privacidade de dados.
Obter a aceitação da empresa	Envolver as partes interessadas no processo de gestão de dados. Isto inclui a comunicação clara das políticas de dados, a obtenção da aprovação das partes interessadas para projetos de IA e a gestão das expectativas das partes interessadas em relação à utilização dos dados.
Estabelecer objetivos e métricas	Definir objetivos claros e mensuráveis para a gestão de dados e o desempenho da IA. Isto inclui o estabelecimento de indicadores-chave de desempenho (KPI) para a qualidade dos dados, a eficiência do modelo de IA e o impacto empresarial do projeto de IA.

Ferramentas e tecnologias para melhorar a qualidade dos dados

Existem várias ferramentas e tecnologias que podem ajudar a melhorar a qualidade dos dados para projetos de IA. Estas incluem:

• Ferramentas de descoberta de dados: permitem identificar e catalogar os dados disponíveis. Estas ferramentas ajudam as empresas a obter uma visão completa dos seus ativos de dados, o que facilita a identificação de dados relevantes para os projetos de IA.
• Ferramentas de limpeza de dados: ajudam a identificar e corrigir erros nos dados. Estas ferramentas podem automatizar tarefas como a deteção de valores atípicos, a correção de dados inconsistentes e a eliminação de duplicados.
• Ferramentas de enriquecimento de dados: permitem adicionar informações adicionais aos dados existentes. Estas ferramentas podem ser utilizadas para adicionar dados de fontes externas, como dados demográficos ou informações geográficas, para melhorar a qualidade e a utilidade dos dados para a IA.
• Ferramentas de análise de dados: facilitam a exploração e a análise dos dados. Estas ferramentas permitem aos cientistas de dados visualizar dados, identificar padrões e obter informações que podem ser utilizadas para melhorar a qualidade dos dados e o desempenho da IA.
• Plataformas de gestão de dados: fornecem um ambiente centralizado para a gestão de dados. Estas plataformas oferecem uma gama de funcionalidades, como a integração de dados, qualidade de dados, governação de dados e segurança de dados, para ajudar as empresas a gerir os seus dados de forma eficaz.

Exemplos específicos de ferramentas que podem ser utilizadas para melhorar a qualidade dos dados para a IA incluem:

• Nessus: uma ferramenta de verificação de vulnerabilidades que pode ajudar a identificar e corrigir vulnerabilidades de segurança nos sistemas de dados.
• QualysGuard: uma plataforma de gestão de vulnerabilidades baseada em cloud que oferece uma gama de funcionalidades para a avaliação de riscos, deteção de vulnerabilidades e gestão de patches.
• OpenVAS: Um scanner de vulnerabilidades de código aberto que pode ser utilizado para detetar e avaliar vulnerabilidades de segurança em sistemas e aplicações.

Disponibilidade de dados e o seu impacto na IA

A disponibilidade de dados refere-se à facilidade com que os dados podem ser acedidos e utilizados para projetos de IA. Uma maior disponibilidade de dados significa que os modelos de IA têm acesso a uma gama mais ampla de informações, o que pode melhorar a sua precisão e desempenho.

Os lagos de dados são um exemplo de tecnologia que facilita o armazenamento e a análise de grandes quantidades de dados, melhorando a disponibilidade de dados para aplicações de IA. Os lagos de dados permitem que as empresas armazenem dados no seu formato original, sem a necessidade de estruturá-los previamente, o que facilita a ingestão de dados de várias fontes.

A disponibilidade dos dados também é afetada por fatores como a infraestrutura de dados, políticas de acesso aos dados e ferramentas de gestão de dados. As empresas que procuram melhorar a disponibilidade dos dados devem investir numa infraestrutura de dados sólida, implementar políticas claras de acesso aos dados e utilizar ferramentas de gestão de dados que facilitem o acesso e a utilização dos dados.

Data fabric: criando um panorama de dados unificado

Data Fabric é uma abordagem de gestão de dados que visa criar uma visão unificada dos dados de uma organização. Isso é conseguido através da integração de dados de várias fontes, da criação de um catálogo de dados centralizado e da aplicação de políticas de governação de dados.

O Data Fabric utiliza uma combinação de tecnologias, como a virtualização de dados, a integração de dados e a gestão de metadados, para criar uma camada de abstração sobre os silos de dados. Isto permite que os utilizadores acedam aos dados de forma consistente, independentemente de onde estejam armazenados ou como estejam estruturados.

A arquitetura do Data Fabric é composta por vários componentes-chave, como conectores de dados, um catálogo de dados, um mecanismo de políticas e um mecanismo de análise. Estes componentes trabalham juntos para fornecer uma visão unificada dos dados, facilitando o acesso, a gestão e a análise dos dados.

Data Mesh: uma abordagem descentralizada para a gestão de dados

Data Mesh é um paradigma de arquitetura de dados que promove a descentralização da propriedade e gestão de dados. Em vez de centralizar os dados num único armazém de dados ou lago de dados, o Data Mesh distribui a propriedade dos dados aos domínios empresariais que melhor os conhecem.

Cada domínio empresarial é responsável pela gestão dos seus próprios dados, incluindo a qualidade, a segurança e o acesso aos dados. Os domínios empresariais também são responsáveis pela criação de produtos de dados, que são conjuntos de dados disponibilizados a outros domínios e utilizadores dentro da organização.

O Data Mesh baseia-se em quatro princípios fundamentais:

• Arquitetura orientada para o domínio: os dados são organizados em torno de domínios empresariais, o que permite uma gestão de dados mais ágil e eficiente.
• Dados como produto: os domínios empresariais tratam os dados como um produto, o que significa que são responsáveis pela qualidade, segurança e disponibilidade dos dados.
• Infraestrutura de dados self-service: os domínios empresariais têm acesso a uma infraestrutura de dados self-service que lhes permite gerir os seus dados de forma independente.
• Governação de dados federada: a governação de dados é distribuída entre os domínios empresariais, o que permite maior flexibilidade e adaptabilidade.

Medidas de cibersegurança para dados de IA

A segurança dos dados é crucial para o sucesso dos projetos de IA. Os dados utilizados para treinar e operar os modelos de IA devem ser protegidos contra acesso não autorizado, manipulação e perda.

As empresas devem implementar uma série de medidas de cibersegurança para proteger os dados de IA, incluindo:

• Autenticação sólida: implementar medidas de autenticação sólidas, como a autenticação multifator, para evitar o acesso não autorizado aos sistemas de dados.
• Atualizações de software: manter o software e os sistemas atualizados com os patches de segurança mais recentes para proteger contra vulnerabilidades conhecidas.
• Formação dos funcionários: formar os funcionários sobre as melhores práticas de cibersegurança e sensibilizá-los sobre o phishing, a fim de evitar ataques de engenharia social.
• Firewalls: implementar firewalls para proteger as redes e os sistemas de dados contra acesso não autorizado.
• Criptografia de dados: criptografar os dados confidenciais, tanto em repouso como em trânsito, para protegê-los contra acesso não autorizado.
• Backups de dados: realizar backups regulares dos dados para garantir a recuperação em caso de perda ou danos.

Integridade dos dados na IA

A integridade dos dados refere-se à precisão, coerência e fiabilidade dos dados. É essencial para o sucesso dos projetos de IA, pois os modelos de IA dependem de dados precisos e fiáveis para aprender e tomar decisões.

A integridade dos dados pode ser afetada por uma série de fatores, como erros humanos, erros do sistema e ataques maliciosos. As empresas devem implementar medidas para garantir a integridade dos dados, como a validação de dados, a limpeza de dados e o controlo de versões de dados.

A integridade dos dados também está intimamente relacionada com a segurança dos dados. As medidas de segurança, como o controlo de acesso e a encriptação, ajudam a proteger a integridade dos dados, evitando o acesso não autorizado e a manipulação dos dados.

Implicações éticas da má qualidade dos dados na IA

A má qualidade dos dados pode ter implicações éticas significativas nas aplicações de IA. Dados tendenciosos ou imprecisos podem levar a resultados discriminatórios, perpetuar desigualdades existentes e minar a confiança na IA.

As empresas que desenvolvem projetos de IA devem considerar cuidadosamente as implicações éticas da qualidade dos dados. Devem tomar medidas para mitigar os enviesamentos nos dados, garantir a privacidade dos dados e utilizar a IA de forma responsável e ética.

A governação de dados desempenha um papel crucial na mitigação dos riscos éticos da IA. As práticas sólidas de governação de dados, como a definição de políticas de dados claras, a atribuição de funções e responsabilidades e a implementação de mecanismos de supervisão, podem ajudar a garantir que a IA seja utilizada de forma ética e responsável.

A ascensão da IA centrada em dados

Nos últimos anos, houve uma mudança para o desenvolvimento de IA centrada em dados. Esta abordagem centra-se em melhorar a qualidade dos dados, em vez de simplesmente otimizar os modelos de IA.

O desenvolvimento de IA centrada em dados reconhece que a qualidade dos dados é o fator mais importante para o sucesso dos projetos de IA. Ao melhorar a qualidade dos dados, as empresas podem melhorar a precisão, a fiabilidade e a equidade dos sistemas de IA.

Esta abordagem envolve uma série de práticas, como a engenharia de características, a limpeza de dados, o aumento de dados e a validação de dados. Também envolve uma mudança cultural dentro das organizações, onde a qualidade dos dados torna-se numa prioridade para todos os envolvidos no desenvolvimento da IA.

Conclusão

A qualidade e a disponibilidade dos dados são cruciais para o sucesso dos projetos de IA. Os dados de alta qualidade permitem que os modelos de IA aprendam de forma eficaz, levando a um melhor desempenho e a resultados mais precisos. A má gestão de dados, por outro lado, pode levar ao fracasso de projetos de IA, a consequências negativas e até mesmo à perpetuação de preconceitos existentes.

As empresas que procuram aproveitar o poder da IA devem priorizar a gestão de dados. Implementar as melhores práticas, utilizar as ferramentas adequadas e considerar as implicações éticas da IA são fatores-chave para o sucesso. Ao compreender e abordar os desafios da gestão de dados, as empresas podem desbloquear todo o potencial da IA e obter uma vantagem competitiva no cenário empresarial atual.

No futuro, a importância da qualidade e da disponibilidade dos dados para a IA só aumentará. À medida que a IA se torna mais sofisticada e é utilizada numa gama mais ampla de aplicações, a necessidade de dados de alta qualidade será ainda maior. As empresas que investirem na gestão de dados estarão melhor posicionadas para aproveitar o poder da IA e liderar a inovação nos seus respetivos setores.