Os sistemas atuais estão gerando muitos dados de registro. Em muitas plataformas, cada evento, importante ou não, é registrado em algum lugar. Normalmente, os logs são armazenados localmente. Isso faz sentido, pois os logs estão vinculados à sua origem. Mas ao tentar solucionar problemas e encontrar sua causa raiz, isso geralmente significa que precisamos examinar vários arquivos de log em vários dispositivos. Não seria bom se todos os logs de todos os dispositivos fossem armazenados em um só lugar? O gerenciamento de logs é isso e muito mais, como você está prestes a descobrir. E hoje, estamos revisando os principais sistemas de gerenciamento de log.
Começaremos tentando explicar o que é gerenciamento de log. Como você verá, pode ser muito mais do que apenas centralizar o armazenamento de logs. A seguir, falaremos sobre protocolos de log. É bastante importante, pois o gerenciamento de log provavelmente não existiria sem eles. Em seguida, tentaremos diferenciar os servidores syslog dos sistemas de gerenciamento de log. Infelizmente, não há uma demarcação clara entre eles. Seguiremos com uma discussão sobre sistemas de gerenciamento de eventos e informações de segurança, porque esse é outro tipo de sistema que muitas vezes é confundido com gerenciamento de logs, graças à definição um tanto obscura de cada um. E, finalmente, revisaremos os oito principais sistemas de gerenciamento de log que encontramos.
últimas postagens
Gerenciamento de logs – o que é
Antes de falarmos sobre gerenciamento de log, vamos ver o que é um log. Definido de forma simples, um log é a documentação produzida automaticamente e com registro de data e hora de eventos relevantes para um determinado sistema. Sempre que um evento ocorre em um sistema, um log é gerado. Diferentes sistemas irão gerar logs para diferentes eventos e muitos sistemas dão aos administradores algum grau de controle sobre o que gera um log e o que não gera.
Quando falamos de gerenciamento de log, estamos nos referindo aos processos e políticas utilizados para administrar e facilitar a geração, transmissão, análise, armazenamento, arquivamento e eventual descarte de grandes volumes de dados de log. O gerenciamento de logs implica em um sistema centralizado onde são coletados logs de várias fontes.
Mas o gerenciamento de logs não é apenas a coleta de logs. A parte de gestão é a mais importante. Os sistemas de gerenciamento de logs normalmente possuem múltiplas funcionalidades, sendo a coleta de logs apenas uma delas.
Uma vez que os logs são recebidos pelo sistema de gerenciamento de logs, eles precisam ser “traduzidos” para um formato comum. Diferentes sistemas formatam os logs de maneira diferente e incluem dados diferentes em seus logs. Alguns iniciam um log com a data e hora, outros iniciam com um número de evento. Alguns incluem apenas um ID de registro, enquanto outros incluem uma descrição textual completa do evento. Um dos propósitos dos sistemas de gerenciamento de log é garantir que todas as entradas de log coletadas sejam armazenadas em um formato uniforme. Isso tornará a pesquisa e a correlação de eventos muito mais fáceis no futuro.
Falando em busca e até correlação, essa é outra função importante de muitos sistemas de gerenciamento de log. Alguns deles apresentam um poderoso mecanismo de pesquisa que permite que os administradores se concentrem exatamente no que precisam. As funções de correlação agruparão automaticamente os eventos relacionados, mesmo que sejam de origens diferentes. Como – e com que sucesso – diferentes sistemas de gerenciamento de log realizam isso é um importante fator de diferenciação.
Protocolos de registro
O gerenciamento de log seria muito mais difícil, se possível, se não fosse pelos protocolos de log. Existem alguns deles que definem quais dados devem ser incluídos nos logs, como eles devem ser formatados e como devem ser transmitidos entre os sistemas.
O Syslog é sem dúvida o protocolo de log mais usado. Inventado no início dos anos oitenta, tornou-se o padrão de fato para sistemas do tipo Unix. Um dos maiores trunfos do protocolo syslog é como ele separa o software que gera os logs, o sistema que os armazena e o software que os reporta e analisa. O uso do protocolo Syslog torna o gerenciamento de log muito mais fácil. Muitos dispositivos não-Unix, como roteadores de switches e outros equipamentos de rede de muitos fornecedores, usam uma variante do protocolo syslog.
O Microsoft Windows, como você deve ter adivinhado, usa um sistema de log diferente. Pode ter a ver com o fato de que os sistemas operacionais e aplicativos Windows têm logs que normalmente contêm muito mais informações do que o permitido pelo syslog. Felizmente, as funções do Coletor de Eventos do Windows fornecem um meio que os sistemas de gerenciamento de log podem usar para receber eventos de hosts do Windows.
Independentemente do protocolo de registro usado, uma parte importante do gerenciamento de registro é configurar os dispositivos para enviar seus registros ao sistema de gerenciamento. Isso é diferente de outras ferramentas, como sistemas de monitoramento de rede, onde a ferramenta busca dados dos hosts.
Servidores de log vs gerenciamento de log
Uma vez que está disponível em todos os sistemas do tipo Unix há um bom tempo, o Syslog é frequentemente usado como um servidor de log com um computador recebendo dados de syslog de vários outros. Embora esse armazenamento centralizado de logs tenha vantagens definitivas, não é gerenciamento de logs.
Para merecer o nome Log Management System, um produto deve incluir pelo menos algumas das funções mais avançadas. De acordo com a Wikipedia, o gerenciamento de logs é composto pelas seguintes funções: coleta de logs, agregação de logs centralizada, armazenamento e retenção de logs de longo prazo, rotação de logs, análise de logs, pesquisa de logs e relatórios. Os servidores de log geralmente oferecem apenas a coleta e o armazenamento de log e raramente mais do que isso. Cada um dos sistemas de gerenciamento de log em nossa lista principal oferece pelo menos algumas das funções mais avançadas.
E quanto aos sistemas SIEM?
Outra tecnologia popular que é frequentemente associada a logs e confundida com sistemas de gerenciamento de log é o Security Information and Event Management, ou SIEM. Isso é bem diferente do gerenciamento de log, embora esteja intimamente relacionado. Na verdade, alguns produtos anunciados como sistemas de gerenciamento de logs são na verdade sistemas SIEM, enquanto alguns sistemas SIEM básicos nada mais são do que sistemas de gerenciamento de logs.
A principal razão para essa confusão é que o gerenciamento de logs — ou pelo menos, a análise de logs — é um componente importante dos sistemas SIEM. Na verdade, os sistemas SIEM normalmente levam o gerenciamento de logs para o próximo nível, adicionando alguma inteligência ao processo. Esses sistemas realizam análises de log com o objetivo final de identificar problemas de segurança. Eles, por exemplo, procurarão sinais de logins malsucedidos que indicariam uma tentativa de invasão não autorizada. Esses sistemas verificarão automaticamente as entradas de log procurando por algo incomum.
Os sistemas SIEM têm mais a ver com segurança de TI do que com gerenciamento de TI e, embora alguns incluam recursos extensivos de gerenciamento de log, muitos também podem usar sistemas de gerenciamento de log externos e não é incomum ver os dois sistemas funcionando lado a lado.
O melhor software de gerenciamento de logs
Agora que temos um entendimento comum sobre o que é e o que não é gerenciamento de logs, vamos dar uma olhada no que está disponível. Pesquisamos no mercado alguns dos melhores sistemas de gerenciamento de logs. Nossa constatação inicial é que existem muitos deles e muitos deles muito bons. Mas como temos muito espaço, estamos prestes a revisar os oito mais interessantes que encontramos.
1. Trilha de papel da SolarWinds
SolarWinds é um nome comum no campo das ferramentas de administração de rede. Ele existe há quase 20 anos e nos trouxe uma das melhores ferramentas de monitoramento de largura de banda e um dos melhores analisadores e coletores NetFlow. A empresa também é conhecida por publicar várias ferramentas gratuitas que atendem a algumas necessidades específicas de administradores de rede, como calculadora de sub-rede ou servidor syslog.
Há alguns anos, a SolarWinds adquiriu Trilha de papel, um sistema de gerenciamento de logs popular. Ele agrega arquivos de log de uma ampla variedade de produtos populares como Apache ou MySQL, bem como aplicativos Ruby on Rails, diferentes serviços de hospedagem em nuvem e outros arquivos de log de texto padrão. Trilha de papel os usuários podem usar a interface de pesquisa baseada na Web ou as ferramentas de linha de comando para pesquisar esses arquivos para ajudar a diagnosticar bugs e problemas de desempenho. Trilha de papel também se integra a outros produtos SolarWinds, como Librato e Geckoboard, para gráficos de resultados.
Trilha de papel é uma oferta de software como serviço (SaaS) baseada em nuvem da SolarWinds. É fácil de implementar, usar e entender. E isso lhe dará visibilidade instantânea em todos os sistemas em minutos. A ferramenta possui um mecanismo de pesquisa muito eficaz que pode pesquisar logs armazenados e de streaming. E é relâmpago rápido.
Trilha de papel está disponível em vários planos, incluindo um plano gratuito. No entanto, é um pouco limitado e permite apenas 100 MB de logs por mês. No entanto, permitirá 16 GB de logs no primeiro mês, o que equivale a uma avaliação gratuita de 30 dias. Os planos pagos começam em US$ 7/mês para 1 GB/mês de logs, 1 ano de arquivamento e 1 semana de índice. A filtragem de ruído permite que a ferramenta preserve os dados não salvando logs inúteis.
2. SolarWinds Log & Event Manager (TESTE GRATUITO)
Nossa próxima entrada é outro produto da SolarWinds chamado SolarWinds Gerente de Logs e Eventos. Ao contrário de nossa entrada anterior, este é um produto instalado localmente. E também é muito mais do que apenas um sistema de gerenciamento de logs. Muitos dos recursos avançados deste produto o colocam na linha SIEM. Tem correlação de ventilação em tempo real e remediação em tempo real, por exemplo.
Aqui está uma visão geral do Gerenciador de logs e eventos SolarWindsprincipais características. Ele elimina ameaças rapidamente usando detecção instantânea de atividades suspeitas e respostas automatizadas. Ele também pode realizar investigação de eventos de segurança e análise forense para mitigação e conformidade. E por falar em compliance, o produto permitirá que você demonstre isso, graças aos relatórios comprovados por auditoria para HIPAA, PCI DSS e SOX, entre outros. Essa ferramenta também possui monitoramento de integridade de arquivos e monitoramento de dispositivos USB, dois recursos que estão muito acima do que comumente vemos em sistemas de gerenciamento de logs.
Preços para o Gerenciador de logs e eventos SolarWinds a partir de US$ 4.585 para até 30 nós monitorados. Licenças para até 2.500 nós podem ser adquiridas, tornando o produto altamente escalável. E se você quiser verificar na prática se o produto é adequado para você, está disponível uma avaliação gratuita de 30 dias com todos os recursos.
3. Pacote de gerenciamento de logs ipswitch
O Pacote de gerenciamento de log é uma ferramenta da Ipswitch, a mesma empresa que nos trouxe o WhatsUp Gold, uma ferramenta de monitoramento de rede imensamente popular. Esta é uma ferramenta automatizada que coleta, armazena, arquiva e salva logs do sistema, eventos do Windows e logs W3C/IIC. Além disso, sua vigilância contínua de log o alertará sobre qualquer atividade suspeita.
Eventos auditados com frequência, como direitos de acesso e privilégios de arquivos, pastas e objetos, podem ser seguidos, gerando alertas conforme necessário e usados para criar relatórios de conformidade com HIPAA, SOX, FISMA, PCI, MiFID ou Basel II. A ferramenta também pode ajudá-lo a transformar seus dados brutos de log em dados significativos para gerentes ou equipes de segurança de TI, graças aos recursos automatizados de filtragem, correlação, geração de relatórios e conversão.
Informações sobre preços para o Pacote de gerenciamento de log não está prontamente disponível na Ipswitch. O produto pode ser adquirido diretamente do editor ou através da rede de revendedores da Ipswitch. Uma versão de avaliação gratuita também está disponível.
4. Analisador de Log de Eventos do ManageEngine
ManageEngine, outro nome comum com administrador de rede, faz um excelente sistema de gerenciamento de logs chamado Analisador de Log de Eventos ManageEngine. O produto coletará, gerenciará, analisará, correlacionará e pesquisará os dados de log de mais de 700 fontes usando uma combinação ou coleta de log sem agente e baseada em agente, bem como importação de log.
A velocidade é um dos Analisador de Log de Eventos ManageEnginea força. Ele pode processar dados de log em impressionantes 25.000 logs/segundo e detectar ataques em tempo real. Ele também pode realizar análises forenses rápidas para reduzir o impacto de uma violação. Os recursos de auditoria do sistema se estendem aos logs dos dispositivos de perímetro da rede, atividades do usuário, alterações de contas do servidor, acessos de usuários e muito mais, ajudando você a atender às necessidades de auditoria de segurança.
O Analisador de Log de Eventos ManageEngine está disponível em uma edição gratuita com recursos reduzidos que suporta apenas 5 fontes de log ou em uma edição premium que começa em $ 595 e varia de acordo com o número de dispositivos e aplicativos. Uma versão de avaliação gratuita e completa de 30 dias também está disponível.
5. Servidor de Log Nagios
O Nagios é mais conhecido por seu excelente software de monitoramento de rede, mas seu Log Server é possivelmente tão interessante quanto. Apropriadamente chamado de Servidor de Log Nagios, oferece gerenciamento, monitoramento e análise de logs centralizados. O Servidor de Log Nagios simplifica o processo de pesquisa de seus dados de log. Ele também permite que você defina alertas para ser notificado de possíveis ameaças Além disso, o software possui alta disponibilidade e failover integrados. .
O Servidor de Log Nagios permite correlacionar facilmente eventos de log em todos os servidores com apenas alguns cliques. E permite que você visualize os dados de log em tempo real, dando a você a capacidade de analisar e resolver problemas à medida que eles ocorrem. O produto apresenta escalabilidade impressionante e continuará atendendo às suas necessidades à medida que sua organização cresce. Adicional Servidor de Log Nagios instâncias podem ser adicionadas a um cluster de monitoramento, permitindo que você adicione rapidamente mais energia, velocidade, armazenamento e confiabilidade.
O preço de instância única para o Servidor de Log Nagios custa US $ 3.995 e, embora uma avaliação gratuita não pareça estar disponível, uma demonstração on-line gratuita é caso você prefira dar uma olhada em primeira mão no produto.
6. Gerenciador de Log de Lógica de Alerta
O foco principal do Alert Logic é segurança e conformidade. E como o gerenciamento de logs está intimamente relacionado a ambos, não é surpresa que a empresa ofereça o Gerenciador de log de lógica de alerta. Essa ferramenta baseada em nuvem oferece gerenciamento de logs automatizado e unificado em todos os seus ambientes. Ele coletará, agregará e pesquisará dados de log da nuvem, servidor, aplicativo, segurança e ativos de rede.
O Gerenciador de log de lógica de alerta inclui monitoramento e análise de log, bem como revisão de log que é feita ao vivo por analisadores humanos. Os especialistas da Alert Logic irão alertá-lo sobre possíveis atividades de ameaças 365 dias por ano. O serviço também ajudará a atender aos requisitos de revisão de log do SOC 2, HIPAA e SOX e aliviará a carga de revisão de logs e acompanhamento de eventos, para cumprir com PCI/DSS 10.6, 10.6.1, 10.6.3
Informações sobre preços para o Gerenciador de log de lógica de alerta não está prontamente disponível na web e você precisará entrar em contato com as vendas da Alert Logic para obter uma cotação formal. Uma avaliação gratuita também não está disponível, mas uma demonstração gratuita pode ser organizada entrando em contato com a Alert Logic.
7. LogDNA
Fundada em 2015, LogDNA é o novo garoto no bloco. A empresa afirma que “LogDNA é o sistema de gerenciamento de logs mais rápido, intuitivo e econômico”. Tudo começa com a instalação que leva apenas alguns minutos antes que você possa começar a monitorar seus logs. Não importa como os logs são gerados e transmitidos, centenas de esquemas de integração personalizados estão disponíveis para centralizar os logs em um único painel.
LogDNA pode ser baseado em nuvem ou auto-hospedado, dependendo de sua preferência. É altamente escalável e pode lidar com centenas de milhares de logs por segundo e dezenas de terabytes por cliente, por dia em total segurança com análise de logs em tempo real. A empresa e seus produtos são compatíveis com SOC2, PCI e HIPAA, bem como certificados pelo Privacy Shield.
Com seu modelo de precificação simples de pagamento por GB, que elimina contratos e pacotes de dados fixos, a empresa tem um dos menores custos totais de propriedade. Vários planos de assinatura estão disponíveis com recursos crescentes. O plano de nível inferior é gratuito e os planos pagos variam de US$ 1,50/GB/mês a US$ 3/GB/mês, dependendo da duração da retenção e do número de usuários. Uma avaliação gratuita e completa de 14 dias também está disponível.
8. Graylog
O último da nossa lista é um produto chamado Graylog. O produto oferece muitos recursos interessantes. A ferramenta analisará e enriquecerá logs e dados de eventos de qualquer fonte de dados. Seus pipelines de processamento permitem alguma flexibilidade no roteamento, lista negra, modificação e enriquecimento de mensagens em tempo real. Graylog pesquisará em terabytes de dados de log para descobrir e analisar informações importantes. A poderosa sintaxe de pesquisa permite que você encontre exatamente o que está procurando.
Com Graylog, você pode criar painéis para visualizar métricas e observar tendências em um local central. Você pode usar estatísticas de campo, valores rápidos e gráficos da página de resultados de pesquisa para aprofundar a análise de seus dados. O sistema também tem a opção de acionar ações ou emitir notificações sobre eventos como tentativas de login com falha, exceções ou degradação de desempenho.
Graylog está disponível como uma versão gratuita e de código aberto com recursos limitados, que também possui suporte limitado ou como uma versão corporativa com recursos estendidos e suporte ilimitado. Uma licença de teste também pode ser obtida entrando em contato Graylog vendas.