Конвейеры в Linux: | и фильтры sort, uniq, cut

Конвейер - это цепочка команд, соединённых символом |: вывод одной становится вводом следующей.

Частые случаи

grep 404 access.log | wc -l                # сколько строк с 404
cut -d' ' -f1 access.log | sort | uniq -c   # частота по первому полю
... | sort -rn                             # числовая сортировка, по убыванию
ps aux | grep nginx | grep -v grep         # отфильтровать процессы

Как это устроено: маленькие команды, каждая по одному делу

Идея Unix: каждая команда делает одно дело, читает из стандартного ввода и пишет в стандартный вывод. | соединяет их: ядро передаёт вывод левой команды на вход правой, не записывая на диск. Классические фильтры: grep отбирает строки, cut режет столбцы, sort упорядочивает, uniq -c считает соседние повторы (поэтому перед ним почти всегда sort), wc -l считает строки. Из этих кубиков собирают разбор лога в одну строку.

Где применяется

Это нужно в уроке Потоки и конвейеры. Теория - в главе Потоки, перенаправление, конвейеры.

См. также

Перенаправление > и >>, Команда grep.

Попробовать

Открой песочницу: настоящий одноразовый терминал Linux в браузере. Выполни команды выше своими руками - контейнер удаляется, когда ты уходишь.