Você precisa de um comando no terminal para pesquisar, filtrar, processar e formatar dados ? O comando awk é a solução que busca.

O awk é muito útil quando precisa extrair e formatar dados de arquivos (como “.CSV”), ou, através de uso de pipelines no shell.

Neste guia, você aprenderá a instala-lo, entender seu funcionamento e aprender a usa-lo com exemplos práticos que podem ser utilizados na administração de sistemas linux.

Pré-requisitos

Para ter um melhor aproveitamento dos conhecimentos técnicos demonstrados no artigo, você precisa de:

• Computador com distribuição linux (debian, ubuntu, redhat ou derivados) instalada.

• Acesso ao terminal com usuário root para instalar o comando awk, caso não esteja instalado.

• Saber utilizar a linha de comando do linux.

O que é o comando awk ?

O awk é um comando que faz busca e processamento de padrões de texto, ele recebe da entrada padrão, normalmente de um arquivo ou pipline da linha de comando o fluxo de dados, filtra os campos e executa ações conforme regras definidas.

Na prática, ele permite extrair informações de arquivos de configuração, logs de aplicações, calcular valores, sem precisar desenvolver um programa completo.

AWK também é considerado uma linguagem de programação porque o comando permite escrever instruções, tomar decisões, repetir operações, armazenar dados e criar programas para processar informações. Veja os principais recursos que ele oferece:

• Variáveis para armazenar valores.

• Operadores para realizar cálculos e comparações.

• Condicionais para executar ações dependendo de uma condição (if, else).

• Laços de repetições.

• Funções para reutilizar blocos de código.

• Expressões regulares.

Esses recursos permitem construir algoritmos com instruções para resolver problemas.

Para instalar o awk (Gnu Awk – gawk) em distribuições baseadas em Debian e Ubuntu, utilize o gerenciador de pacotes apt:

apt update  # executar com root
apt install gawk -y  # executar com root

Em distribuições como Red Hat, AlmaLinux ou Rocky Linux, a instalação é realizada via dnf:

dnf install gawk -y  # execute com o usuário root

Como executar o comando awk ?

O comando awk é executado na linha de comando, mas primeiro é preciso entender sua sintaxe:

awk 'padrão {ação}' arquivo

Explicação:

Para um melhor entendimento, veja o exemplo:

awk '$2 >= 7 { print $1 }' notas.txt

O comando awk lê uma linha do arquivo (notas.txt) por vez (cada linha é um registro), verifica se o “$2” (segundo campo) é maior ou igual a “7”, se a condição for verdadeira (corresponder), executa “print $1” (ação), imprimindo o primeiro campo.

A tabela a seguir contém opções importantes utilizadas pelo comando awk para uma consulta rápida:

Agora que você já sabe para que serve o comando awk e conhece algumas das suas opções, é hora de aprender mais, praticando com exemplos práticos de uso explicados em detalhes.

Exibir campos de um arquivo

No comando awk, o separador de campo padrão (representado pela variável FS) é qualquer sequência de espaços em branco (espaços ou tabulações).

Por exemplo, para exibir somente o primeiro campo do arquivo “/etc/hosts” com o awk, execute:

awk '{print $1}' /etc/hosts

O “print” entre chaves é um comando para imprimir “$1” que é uma variável que representa o primeiro campo (lista de IPs) do arquivo (separado por espaços).

Para mostrar os campos “1” e “2” use as variáveis “$1” e “$2” na ação, veja o exemplo:

awk '{print $1, $2}' /etc/hosts

O caractere vírgula seguido do espaço é usado para separar os campos, no exemplo, um ($1) e dois ($2).

Mas nem todo arquivo ou fluxo de texto tem seus campos separados por espaço, não é mesmo ? pode ter outros caracteres como separador, nesse caso você pode utilizar a opção “-F” para utilizar um separador de campo diferente.

Por exemplo, o comando a seguir procura pela palavra “postfix” no arquivo “/etc/passwd”, caso encontre, executa a ação exibindo na tela a saída formatada com informações (uma em cada linha) do usuário.

awk -F: ' /postfix/ {print "USER:", $1 "\n" "HOME:", $6 "\n" "SHELL:", $7}' /etc/passwd

O comando print exibe a seguinte formatação: “USER:” seguido do campo um ($1), na linha abaixo, “HOME:” em seguida campo seis ($6) e na última linha “SHELL:” seguido do campo sete ($7).

É usado o caractere “,” (vírgula) para separar cada string do campo e o código “\n” após os campos insere uma quebra de linha, para a próxima string ser inclusa na linha abaixo junto com o valor do campo.

Mostrar campos de um arquivo do tipo “.csv”

Com o comando awk também é possível visualizar e filtrar os campos de um arquivo “.csv”, por exemplo, para exibir o conteúdo do arquivo “cadastro.csv” execute no terminal:

awk '{print}' cadastro.csv

O conteúdo do arquivo deve ser exibido na tela, mas caso queira filtrar pelos campos um e três, execute:

awk -F"," 'NR > 1 {print $1, $3}' cadastro.csv

A opção “-F” foi usada para usar a “,” (vírgula) como delimitador de campo, “NR” significa Number of Records, nesse caso, “NR > 1” corresponde ao padrão (condição), que é qualquer linha após a linha “1”, e a ação é exibir na tela as colunas 1 ($1) e 3 ($3).

Você pode utilizar o comando awk para filtrar conteúdos de arquivos “.csv” junto com o comando xargs ou outros comandos para automatizar tarefas.

Utilizar expressões regulares no pesquisa

O comando awk também pode fazer uso de expressões regulares no padrão para pesquisar em arquivos ou fluxo de dados.

Por exemplo, para ignorar comentários e linhas vazias do arquivo “site1.conf” e mostrar somente o código, execute o comando:

awk '$1 !~ /^#/ && NF > 0 {print}' site1.conf

Na prática, o awk linux acessa o conteúdo do arquivo linha por linha e executa a ação “print” para os padrões “$1 !~ /^#/” descartando linhas cuja primeira palavra começa com o caractere “#” e “NF > 0” que descarta linha sem campos (linhas em branco).

Que tal utilizar o awk para encontrar erros de log, que tenha a palavra “ERROR” ou “FATAL” no arquivo “/var/log/syslog” do linux ? Veja como fazer:

awk '/ERROR|FATAL/ {print NR ":" $0}' /var/log/syslog

Na prática “/ERROR|FATAL/” é o padrão de busca escrito entre “/ /” e o caractere “|” (PIPE) significa alternância, equivale a um “OU” lógico em expressões regulares.

O código “{print NR “:” S0}” imprime o número da linha (NR) seguido do caractere “:” (dois pontos) e o conteúdo completo do log. É uma forma de mostrar em que linha esta localizado o registro.

Identificar sistemas de arquivos com uso elevado

Você pode utilizar o comando awk para filtrar e mostrar somente os sistemas de arquivos que estejam com 80% ou mais do espaço total ocupado, veja como:

df -hP | awk 'NR == 1 || $5+0 >= 80 {print $1, $5, $6}'

O comando awk recebe a saída do comando “df -hP”, e filtra utilizando o padrão “ NR == 1 || $5+0 >= 80”, que faz o seguinte: “Se for a primeira linha OU (||) se o percentual de utilização for maior ou igual a 80, selecione a linha”.

Para cada linha que corresponda ao padrão vai ser exibido na tela o primeiro campo ($1) que é o sistema de arquivos, o quinto campo ($5) que mostra o percentual de ocupação usado e o sexto campo ($6) que o ponto de montagem usado.

Criar e executar script awk

É possível também automatizar tarefas repetitivas com o awk através de scripts, você pode criar um script e o código é executado pelo comando awk que recebe como argumento um arquivo.

Suponha que na linha de comando você precise com frequência filtrar erros nos logs, e mostrar na saída a quantidade de erros e as linhas com os respectivos registros, você pode criar o arquivo do script:

nano error.awk

E adicionar o código a seguir:

BEGIN {
    IGNORECASE = 1
    total = 0
}
/ERROR/ {
    erros[total] = $0
    total++
}
END {
    print "Total de erros:", total
    print "Lista de erros encontrados:\n"

    for (i = 0; i < total; i++) {
        print erros[i]
    }
}

Esse código em AWK serve para procurar linhas que contenham a palavra “ERROR” em um arquivo ou fluxo de texto, armazenar todas essas linhas, contar quantas foram encontradas e, ao final, exibir a quantidade total e a lista dos erros.

O código do script possui três partes principais:

for (i = 0; i < total; i++) {
    print erros[i]
}

Para executar o script, utilize a opção “-f” do awk seguido do script e no final a localização do arquivo:

awk -f error.awk /var/log/kern.log

Para conhecer outras funções, recursos de programação e opções avançadas do comando awk, consulte o manual online oficial do GNU Awk.

Conclusão

Durante o guia você aprendeu que o comando awk é extremamente útil quando você precisa: pesquisar, filtrar e formatar informações com poucos comandos, podendo ajuda-lo até a analisar logs do sistema.

Para os iniciantes, a dica é começar com a extração de campos e os filtros simples, para somente depois usar cálculos e scripts reutilizáveis.

Tem dúvidas, sugestões ou dicas úteis sobre o comando awk ? Deixe seu comentário com dúvidas, sugestões ou elogios!

Perguntas Frequentes (FAQ) sobre o comando awk