TL;DR
A AWS lançou um motor otimizado para o Amazon OpenSearch Service que promete reduzir em até 70% os custos de análise de logs, auxiliando empresas a gerenciar o aumento de dados gerados por IA. A nova solução permite maior retenção de dados para segurança e compliance, embora a migração possa exigir adaptações mais complexas devido à incompatibilidade com domínios existentes e falta de suporte a DSL.
AWS busca reduzir custos em análise de logs com novo motor para OpenSearch
De acordo com a CIO, a AWS anunciou um novo motor otimizado para o serviço gerenciado Amazon OpenSearch, focado em análises de logs. A solução promete reduzir os custos de armazenamento em até 70%, além de melhorar o desempenho em relação ao preço pago. O objetivo é ajudar empresas a gerenciar o aumento exponencial de dados gerados por aplicações de inteligência artificial e agentes autônomos.
Contexto: crescimento dos dados de telemetria em IA
Com o avanço das aplicações baseadas em inteligência artificial, o volume de dados de telemetria aumentou significativamente, ultrapassando a capacidade econômica dos sistemas tradicionais de observabilidade. Segundo uma pesquisa da Dynatrace, cargas de trabalho de IA elevaram em 93% o volume de logs no último ano, levando as empresas a descartarem até 86% dos dados para controlar custos e evitar sobrecarga dos sistemas.
Esse cenário cria um desafio para as organizações: manter dados operacionais essenciais para segurança, conformidade e resposta a incidentes, sem que os custos de infraestrutura se tornem inviáveis.
Como funciona o novo motor de análise da AWS?
O motor otimizado da AWS para o Amazon OpenSearch Service mantém a compatibilidade com o console de gerenciamento, APIs, modelo de segurança e configurações de rede já existentes, facilitando a adoção. Ele armazena os dados no formato Apache Parquet e mantém índices de busca Lucene para campos pesquisáveis.
Utilizando o Apache Calcite, o sistema analisa e otimiza as consultas antes de direcionar as operações analíticas ao Apache DataFusion e as buscas ao Lucene, permitindo executar buscas e agregações analíticas dentro de uma mesma consulta. O motor suporta linguagens SQL e Piped Processing Language (PPL).
Impactos esperados para as empresas
Com a redução dos custos de armazenamento, as organizações poderão ampliar os períodos de retenção de dados, melhorando o suporte a requisitos regulatórios e possibilitando investigações mais completas em incidentes. Além disso, a diminuição dos gastos pode reduzir a fragmentação de ferramentas de observabilidade, diminuindo a complexidade e os custos com integração e manutenção de múltiplos painéis e sistemas.
Segundo especialistas, a alta no volume de logs e as limitações do motor OpenSearch original, que não suportava o volume e a frequência de consultas geradas por agentes de IA, levaram muitas empresas a reduzir intencionalmente a visibilidade dos seus dados para controlar os custos.
Desafios na adoção do novo motor
Embora a AWS destaque a compatibilidade com o ambiente atual, a migração para o novo motor não pode ser feita em domínios existentes nem habilitada apenas em índices específicos dos domínios gerais, exigindo a criação de um novo domínio e a migração dos pipelines de ingestão. Isso pode tornar o processo mais complexo para as equipes de engenharia do que uma simples transferência.
Outro ponto é a falta de suporte à linguagem Domain Specific Language (DSL), amplamente utilizada em implementações atuais. Isso pode demandar a reescrita de dashboards, alertas e automações, estendendo o tempo necessário para a migração completa.
Analistas ressaltam que a resistência à migração geralmente está mais relacionada à complexidade do processo do que ao custo, ainda que a AWS tenha reduzido parte dessa dificuldade ao permitir a ingestão por meio da mesma Bulk API e bibliotecas de clientes, mantendo o código e pipelines atuais.
Próximos passos e disponibilidade
O motor otimizado para o Amazon OpenSearch Service já está disponível para uso geral. As empresas interessadas devem avaliar cuidadosamente o esforço de migração e o impacto na arquitetura atual de seus sistemas de observabilidade para aproveitar os benefícios de custo e desempenho oferecidos pela nova solução.
Para mais informações sobre estratégias de análise e retenção de dados, é recomendada a consulta a materiais especializados na área de Analytics e Tecnologia.
Veja mais: https://agenciamaximum.com/noticias
Tags Relacionadas
- Amazon Web Services
- OpenSearch
- Log Analytics
- Inteligência Artificial
- Cloud Computing
- Segurança da Informação
Perguntas frequentes
O que é o novo motor otimizado da AWS para análise de logs?
É um motor desenvolvido para o Amazon OpenSearch Service que reduz custos de armazenamento e melhora o desempenho na análise de grandes volumes de logs.
Quais os principais benefícios do novo motor para as empresas?
Redução de até 70% nos custos de armazenamento, maior retenção de dados para segurança e conformidade, e melhor desempenho na análise de logs.
Quais desafios existem para migrar para o novo motor da AWS?
A migração exige a criação de um novo domínio e adaptação dos pipelines de ingestão, além da necessidade de reescrever consultas baseadas em DSL, o que pode estender o tempo de transição.
Como o novo motor ajuda no gerenciamento de dados gerados por inteligência artificial?
Ele oferece uma solução econômica para armazenar e analisar grandes volumes de telemetria gerados por aplicações de IA, suportando consultas simultâneas e agregações complexas.
