Log analisador / analisador, em Unix

Question

O que é o povo ferramenta popular usar em Unix para analisar / analisar arquivos de log? Fazendo contagem, encontrar único, selecionar / copiar certa linha que tem certos padrões. Por favor, informe algumas ferramentas ou alguma palavra-chave. Desde que eu acredito que deve haver perguntas semelhantes feitas antes, mas eu não fazer qualquer ideia sobre as palavras-chave. Obrigado.

Answer 1

Para regular, nightly verificando há logwatch que tem vários scripts diferentes em /usr/share/logwatch/scripts/services que o check por coisas específicas (como material servidor web, material servidor ftp, sshd coisas relacionadas, etc) no syslog. Instalação padrão permite que a maioria deles, mas você é capaz de ativar / desativar como você gosta ou até mesmo escrever seus próprios scripts.

Para assistir em tempo real há multitail .

Answer 2

Eu acho que ele seja um fracasso enorme que muitos formatos de log não fazer colunas separadas com separadores adequados campo único. Não porque isso é o melhor, mas porque é a premissa básica da textutils unix que operam em dados da tabela. Em vez disso, eles tendem a usar espaços como separadores e campos de proposta que podem conter espaços.

Um dos simples mais prático alterações que fiz para analisar web log foi deixar o formato de log NCSA padrão produzido pelo servidor web nginx, em vez disso, utilizar o separador como separador de campo.

De repente, eu poderia usar todos os textutils unix primitivos para pesquisas rápidas, mas especialmente awk! Imprimir somente linhas onde o campo user-agent contém Googlebot:

awk 'BEGIN {FS="\t"}  $7 ~ /Googlebot/ { print; }' < logfile

Encontre o número de pedidos sobre para cada solicitação única

awk 'BEGIN {FS="\t"}  { print $4; }' < logfile | sort | uniq -c | sort -n

E, claro, muitas combinações para encontrar visitantes específicos.

Answer 3

Você pode querer experimentar LNAV , um maldições analisador de log baseado. Ele tem a maioria das características que você esperaria de um analisador de log como, arranjo cronológico de mensagens de log de vários arquivos de log, suporte para vários formatos de log, destacando de erro / aviso mensagens, teclas de atalho para navegar entre mensagens de erro / aviso, suporte para SQL consultas e muito mais. Dê uma olhada na website do projeto para screenshots e uma lista detalhada dos recursos.

Answer 4

Dê uma olhada em alguns dos analisadores de log genéricos mencionados aqui . Se você usar algo como syslog, você provavelmente pode obter um analisador personalizado / analisador também. Caso contrário, para pesquisas triviais, qualquer linguagem de script como perl, python ou mesmo awk suficiente.

Answer 5

Qualquer linguagem de programação que permite que você abrir e ler arquivos, não manipulações corda / texto pode ser usado, por exemplo, Perl, Python, (g) awk, Ruby, PHP, mesmo Java etc. Eles suportam módulos para os formatos de arquivo que você são a análise, por exemplo, CSV, etc.