Como a IA e o ML estão a melhorar a observabilidade

A IA/ML são atualmente utilizados na maioria dos domínios ou estão a começar a ser utilizados, e na observabilidade também, onde estão a ser integrados nos sistemas de observabilidade a passos largos, uma questão que vamos analisar aqui: como está a ser feita e que benefícios que esta aliança nos está a proporcionar.

Os conhecimentos baseados em IA revolucionaram o mundo do DevOps e espera-se que mudem ainda mais até 2023. A integração da IA na observabilidade está a permitir a automatização e a otimização dos fluxos de trabalho e, com as informações provenientes da IA, as organizações podem detetar e diagnosticar problemas em tempo real, juntamente com a sua potencial solução, permitindo que as equipas de IT respondam rapidamente e evitem mais interrupções nos seus sistemas ou processos.

 

Compreender a Observabilidade

Todos nós sabemos o que é a observabilidade, mas para aqueles que ainda não estão esclarecidos sobre o assunto, vamos fazer uma breve revisão.

A observabilidade é a capacidade de medir o estado de um ambiente ou plataforma num determinado momento, com base nos dados que gera, como logging/registos, métricas e traces baseados na telemetria captada.

• Logging/registos (permite analisar os eventos)
• Metrics (permite ver o desempenho)
• Tracing (permite estudar o comportamento)

O objetivo claro da observabilidade é compreender o que está a acontecer nas plataformas ou aplicações, para poder detetar e resolver os problemas de modo a manter os sistemas e aplicações mais eficientes e fiáveis.

 

Inteligência artificial (IA) e Machine Learning (ML)

Não pretendemos aborrecer ninguém com as diversas definições que todos podem pesquisar, mas deve ficar claro o que é cada elemento e qual a função que desempenha.

A inteligência artificial (IA) refere-se à capacidade das máquinas realizarem tarefas que normalmente requerem a inteligência humana, como o raciocínio, a aprendizagem, a resolução de problemas, incluindo a tomada de decisões e o reconhecimento de padrões nos dados. A IA procura replicar a forma como um ser humano pensaria e atuaria e pode incluir desde sistemas simples que automatizam tarefas repetitivas até sistemas mais avançados que podem aprender e adaptar-se à medida que recebem mais informações.

O Machine Learning (ML) é um ramo específico da Inteligência Artificial que se centra no desenvolvimento de algoritmos e modelos que permitem às máquinas melhorar o seu desempenho numa determinada tarefa à medida que lhes são fornecidos mais dados. Em vez de serem explicitamente programadas para executar uma tarefa, podem aprender a partir dos dados e telemetrias, por exemplo, na observabilidade. Isto leva a que possam utilizar estes padrões para tomar decisões informadas e fazer previsões.

Em suma, a Inteligência Artificial (IA) procura criar sistemas inteligentes, enquanto que o Machine Learning (ML) é uma técnica dentro da Inteligência Artificial que se centra em permitir que as máquinas aprendam e melhorem a partir dos dados. O Machine Learning (ML) é uma parte fundamental para conseguir a Inteligência Artificial, na qual as máquinas podem aprender e adaptar-se automaticamente sem uma programação explícita.

 

Aliança entre a IA e o Machine Learning com a Observabilidade

Como já esclarecemos anteriormente, o principal objetivo da observabilidade é compreender, detetar e analisar para poder resolver e é aqui que a IA/ML está a ser aplicada e a introduzir novas formas de aplicar a observabilidade, acelerando a deteção, compreendendo a situação e até propondo ou executando soluções.

A incorporação da Inteligência Artificial (IA) e do Machine Learning (ML) nos Serviços de Software de observabilidade, revolucionou a forma como as organizações obtêm, analisam e apresentam os dados recolhidos. Ao tirar partido dos algoritmos de aprendizagem automática e da análise preditiva, os conhecimentos baseados na IA podem analisar grandes quantidades de dados e identificar potenciais problemas antes de estes ocorrerem. Isto ajuda as equipas de IT a resolver estes problemas de forma proactiva, reduzindo o tempo necessário para identificá-los e resolvê-los.

Vejamos como a IA/ML melhora a observabilidade:

• Melhoria da Recolha de Dados
• Aprendizagem Contínua
• Análise Avançada
• Deteção Proactiva de Problemas
• Otimização Automatizada
• Apresentação Inteligente de Dados

Melhoria da Recolha de Dados

A IA e o ML permitem a recolha automatizada de dados de uma variedade de fontes, incluindo registos de aplicações, métricas de infraestruturas, eventos e muito mais. Esses algoritmos podem identificar e obter dados relevantes para a observabilidade, reduzindo o ruído e concentrando-se nos dados mais importantes. Além disso, podem adaptar-se às alterações no ambiente e na estrutura de dados, resultando numa recolha mais precisa e ágil.

Aprendizagem Contínua

Uma das características mais poderosas da IA e do Machine Learning é a sua capacidade de aprendizagem contínua. Estas tecnologias podem ajustar e melhorar os seus algoritmos ao longo do tempo, à medida que mais dados são recolhidos e analisados. Isto conduz a uma observabilidade cada vez mais refinada e eficaz, à medida que se acumula mais experiência e conhecimento. Em suma, a incorporação da IA e do Machine Learning na observabilidade está a mudar a visão que as organizações têm para gerir os seus sistemas e aplicações. Estas tecnologias permitem uma supervisão mais inteligente, preditiva e automatizada, melhorando a deteção de problemas, a tomada de decisões e a otimização geral do ambiente tecnológico.

Análise Avançada

As capacidades de análise de dados da IA e do Machine Learning são fundamentais para a observabilidade, porque podem identificar padrões, tendências e anomalias nos dados obtidas das telemetrias. Por exemplo, podem detetar alterações comportamentais em aplicações ou infraestruturas, identificando potenciais problemas antes que estes afetem o desempenho. Os algoritmos de deteção de anomalias podem aprender com dados históricos e em tempo real, adaptando-se às condições em mudança e reduzindo o impacto dos problemas.

Deteção Proactiva de Problemas

A IA e o Machine Learning podem antecipar problemas futuros através da análise de padrões históricos. Podem gerar alertas precoces com base em indícios subtis, permitindo às equipas de operações abordar problemas antes de se tornarem falhas graves. Esta deteção proactiva melhora a disponibilidade do sistema e a experiência do utilizador, minimizando o tempo de inatividade não planeado.

Otimização Automatizada

A observabilidade que integra a IA e o Machine Learning pode fornecer recomendações e ações automatizadas para otimizar o desempenho e a eficiência. Por exemplo, podem sugerir ajustes de recursos, alterações na configuração ou reatribuição de cargas de trabalho para maximizar a utilização de recursos e garantir um ótimo desempenho.

Apresentação Inteligente de Dados

A apresentação dos dados é crucial para uma tomada de decisões informada. A IA e o ML podem gerar dashboards personalizados e resumos executivos com base nas funções e necessidades dos utilizadores. Podem também realçar os dados mais relevantes e ajudar os utilizadores a encontrar rapidamente informações cruciais no meio de grandes volumes de dados, o que facilitará a obtenção da perspetiva da observabilidade aos utilizadores.

 

Integrações nas principais plataformas de observabilidade.

Já temos claro o que a IA e o ML podem fazer pela e na observabilidade, mas a questão é como estão a ser aplicados nos diferentes softwares atuais.

Um dos maiores desafios para as plataformas que querem começar a utilizar o ML na observabilidade, é saber onde querem aplicar o Machine Learning para que este aprenda e seja o mais útil possível. Isto significa preparar os dados da telemetria para que a IA em conjunto com o Machine Learning, façam a sua magia.

A maior parte do software de Observabilidade já tem uma área ou módulo de Machine Learning incorporado, a maior parte do qual não vem treinado automaticamente para o nosso sistema, pelo que facilitam a implementação de aprendizagem.

Vejamos alguns dos softwares mais utilizados que estão a integrar a IA/ML nos seus produtos.

Datadog

A Datadog incorporou o Bits AI na sua gama de capacidades dentro da sua plataforma SAAS e é bastante simples e rápido começar a integrar a IA e o ML com a observabilidade. Além disso, oferece monitorização e observabilidade end to end, com características de deteção de anomalias e alertas baseadas em Machine Learning em todas as áreas da observabilidade. A deteção de anomalias que tem em conta as tendências e a sazonalidade torna a aprendizagem mais precisa e previne desvios.

Dynatrace

A Dynatrace criou Dynatrace DAVIS que combina Predictive AI, Casual AI y Generative AI para casos de utilização de observabilidade, segurança e negócios.

• Predictive AI Fornece previsão contínua e previsão de anomalias através de linhas de base multidimensionais, tráfego de aplicações e carga de serviços, tendo em conta a sazonalidade e os padrões.
• Casual AI Analisa os dados de observabilidade e segurança no contexto da informação de topologia: agrupa as anomalias, identifica as causas-raiz e estabelece prioridades com base no impacto empresarial de forma automática e ad hoc.
• Generative AI Impulsionado pela IA preditiva e IA causal, o Davis CoPilot cria consultas, cadernos e tabelas para simplificar a análise e fornece recomendações de fluxo de trabalho e automatização.

ElasticSearch Platform

O ElasticSearch Platform integra o Machine Learning como um serviço que o utilizador pode ativar a pedido. Integra aprendizagem não supervisionada e modelos pré-configurados de deteção de problemas de observabilidade e segurança, para que a formação do modelo de IA não tenha de ser supervisionada.

De acordo com a ElasticSearch Platform, não é necessário ter uma equipa de ciência de dados ou conceber uma arquitetura de sistemas, podendo começar rapidamente sem a necessidade de mover os dados para uma framework de terceiros para o treino do modelo.

Além disso, também permite a ingestão a partir de outras fontes externas, sendo o único requisito efetuar a ingestão no ElasticSearch para poder modelar a aprendizagem do Machine Learning do ElasticSearch.

Splunk

A Splunk tira partido do Machine Learning na sua plataforma para ajudar as equipas a analisar e visualizar grandes volumes de dados através da sua tecnologia MLTK.

Trata-se de um kit de ferramentas de aprendizagem automática que atua como uma extensão da plataforma Splunk e inclui pesquisa, macros e visualizações.

Inclui a aprendizagem automática, a regressão, a classificação e a previsão, todas elas centradas na segurança.

AppDynamics

A AppDynamics utiliza o Cognition Engine, um conjunto de algoritmos de aprendizagem automática que analisa dados de desempenho baseados em transações em topologias de aplicações. Isto proporciona um conhecimento completo dos desvios de desempenho da sua aplicação, juntamente com informações contextuais criadas para reduzir drasticamente o tempo médio de resolução (MTTR) quando surgem problemas.

New Relic GROK

O New Relic GROK é um dos primeiros assistentes de observabilidade com GenAI.

Está profundamente incorporado na plataforma de observabilidade que unifica todos os dados, contextos, ferramentas e equipamentos numa única experiência integrada. A combinação dos extensos modelos de linguagem (LLM) de OpenAI com a amplitude da plataforma de dados de telemetria unificada de New Relic Grok garante as respostas de IA com uma maior qualidade e uma aprendizagem de IA mais rápida.

Algumas das ações que poderemos exigir a este assistente virtual:

• No domínio da Instrumentação e da integração, poderemos fazer pesquisas de lacunas na instrumentação, melhorar a cobertura de alertas, realizar integrações com plataformas Clouds ou simplesmente acrescentar um novo utilizador.
• Também podemos perguntar-lhe sobre problemas e soluções, como, por exemplo, o que causou um aumento de CPU, porque deixou de enviar dados da aplicação ou como corrigir um erro detetado por nós.
• Também nos dá a facilidade de obter informações rapidamente, fazendo perguntas ao Assistente, tais como resumos de problemas recentes, quantos problemas foram localizados numa data, ou calcular a ingestão de dados para K8s.
• Na parte mais gráfica, pode até traduzir e apresentar os resultados de uma consulta em gráficos, criar um resumo executivo ou adicionar um colega a um chat de reporte de anomalias.

Logz.io

O Logz.io Machine Learning, apresenta os seus próprios algoritmos de deteção de anomalias, Algoritmos numéricos baseados em dados, Deteção de anomalias APM, deteção de anomalias, gestão de tarefas de deteção de anomalias e prognóstico na ingestão ValidLogBytes e Cognitive Insights.

Em geral, o Logz.io utiliza algoritmos de aprendizagem automática para detetar anomalias no comportamento do sistema automaticamente. Estes algoritmos são treinados em grandes conjuntos de dados de comportamento normal e podem detetar uma vasta gama de diferentes anomalias.

Middleware

O Middleware tem integração com a mais poderosa ferramenta de IA, o ChatGPT-4. E utilizando o ChatGPT-4, o middleware prevê a causa-raiz do problema e apresenta soluções inteligentes para resolvê-lo.

As melhores vantagens que o Middleware pode trazer à nossa observabilidade:

• Detetar automaticamente todos os erros de registo da infraestrutura
• Obter uma lista de todos os recursos que devem ser reparados
• Acompanhamento do erro da aplicação para encontrar a causa-raiz
• Unificar todos os temas centrais vitais na plataforma
• Encontrar a solução (recomendação) para cada problema com passos detalhados
• A visão crítica do problema da plataforma e os elementos processáveis para resolvê-lo
• Histórico de erros e uma visão de 360 graus da sua infraestrutura e aplicações

 

O Futuro da Observabilidade com a IA

Há muita especulação sobre a forma como as soluções de observabilidade irão evoluir com a integração da IA/ML e como isso poderá afetar positivamente a eficiência e a segurança nas TI, mas a grande questão é saber até que ponto conseguiremos tirar partido da IA e onde estará o limite de confiança do seu potencial.

O futuro próximo está nos assistentes de IA, que estão a ser treinados para responder a qualquer necessidade em qualquer uma das nossas plataformas informáticas.

A outra incógnita é se acabaremos por ter uma observabilidade para a própria IA, já que esta é outra das apostas do futuro. Já existem plataformas que monitorizam a IA/ML para evitar desvios e erros da IA, como a censius.ai, uma plataforma capaz de observar a própria IA.

 

Conclusões dos nossos especialistas da knowmad mood

A integração da Inteligência Artificial (AI) e do Machine Learning (ML) na observabilidade está a mudar a observabilidade a passos largos, o que está a tornar mais rápido e mais fácil para as organizações abordar a supervisão e a gestão da observabilidade das suas plataformas de IT.

A IA está a permitir a deteção precoce de problemas e a tomada de decisões autónomas com uma otimização precisa, que está a levar a observabilidade a um nível superior. Num mundo digitalizado em constante mudança, as capacidades preditivas e analíticas do Machine Learning y da IA são um recurso inestimável que as empresas devem manter para poderem ser ágeis, eficientes e resilientes.