Добро пожаловать во вторую часть нашей серии, которая посвящена sed, версии GNU. Существует несколько версий sed, которые доступны на разных платформах, но мы сфокусируемся на GNU sed версии 4.x. Многие из вас слышали о sed, или уже использовали его, скорее всего в качестве инструмента замены. Но это только одно из предназначений sed, и мы постараемся показать вам все аспекты использования этой утилиты. Его название расшифровывается как "Stream EDitor" и слово "stream" (поток) в данном случае может означать файл, канал, или просто stdin. Мы надеемся, что у вас уже есть базовые знания о Linux, а если вы уже работали с регулярными выражениями, или по крайней мере знаете, что это такое, то все для вас будет намного проще. Объем статьи не позволяет включить в нее полное руководство по регулярным выражениям, вместо этого мы озвучим базовые концепции и дадим большое количество примеров использования sed.
Здесь не нужно много рассказывать. Скорее все sed у вас уже установлен, так как он используется различными системными скриптами, а также пользователями Linux, которые хотят повысить эффективность своей работы. Вы можете узнать, какая версия sed у вас установлена, с помощью команды:
$ sed --version
В моей системе эта команда показывает, что у меня установлен GNU sed 4.2.1 плюс дает ссылку на домашнюю страницу программы и другие полезные сведения. Пакет называется "sed" независимо от дистрибутива, кроме Gentoo, где он присутствует неявно.
Перед тем, как идти дальше, мы считаем важным акцентировать внимание на том, что делает "sed", так как словосочетание "потоковый редактор" мало что говорит о его назначении. sed принимает на входе текст, выполняет заданные операции над каждой строкой (если не задано другое) и выводит модифицированный текст. Указанными операциями могут быть добавление, вставка, удаление или замена. Это не так просто, как выглядит: предупреждаю, что имеется большое количество опций и их комбинаций, которые могут сделать команду sed очень трудной для понимания. Поэтому мы рекомендуем вам изучить основы регулярных выражений, чтобы понимать, как это работает. Перед тем, как приступить к руководству, мы хотели бы поблагодарить Eric Pement и других за вдохновление и за то, что он сделал для всех, кто хочет изучать и использовать sed.
Так как команды (скрипты) sed для многих остаются загадкой, мы чувствуем, что наши читатели должны понимать базовые концепции, а не слепо копировать и вставлять команды, значения которых они не понимают. Когда человек хочет понять, что представляют собой регулярные выражения, ключевым словом является "соответствие", или, точнее, "шаблон соответствия". Например, в отчете для своего департамента вы написали имя Nick, обращаясь к сетевому архитектору. Но Nick ушел, а на его место пришел John, поэтому теперь вы должны заменить слово Nick на John. Если файл с отчетом называется report.txt, вы должны выполнить следующую команду:
$ cat report.txt / sed "s/Nick/John/g" > report_new.txt
По умолчанию sed использует stdout, вы можете использовать оператор перенаправления вывода, как показано в примере выше. Это очень простой пример, но мы проиллюстрировали несколько моментов: мы ищем все соответствия шаблону "Nick" и заменяем во всех случаях на "John". Отметим, что sed призводит поиск с учетом регистра, поэтому будьте внимательны и проверьте выходной файл, чтобы убедиться, что все замены были выполнены. Приведенный выше пример можно было записать и так:
$ sed "s/Nick/John/g" report.txt > report_new.txt
Хорошо, скажете вы, но где же здесь регулярные выражения? Да, мы хотели сначала показать пример, а теперь начинается самая интересная часть.
Если вы не уверены, написали ли вы "nick" или "Nick", и хотите предусмотреть оба случая, необходимо использовать команду sed "s/Nick/nick/John/g". Вертикальная черта имеет значение, которое вы должны знать, если изучали C, то есть ваше выражение будет соответствовать "nick" или "Nick". Как вы увидите ниже, канал может использоваться и другими способами, но смысл остается тот же самый. Другие операторы, широко использующиеся в регулярных выражениях - это "?", который соответствует повторению предшествующего символа ноль или один раз (то есть flavou?r будет соответствовать flavor и flavour), "*" - ноль или более раз, "+" - один или более раз. "^" соответствует началу строки, а "$" - наоборот. Если вы - пользователь vi или vim, многие вещи покажутся вам знакомыми. В конце концов, эти утилиты, вместе с awk и С уходят корнями в ранние дни UNIX. Мы не будем больше говорить на эту тему, так как проще понять значение этих символов на примерах, но вы должны знать, что существуют различные реализации регулярных выражений: POSIX, POSIX Extended, Perl, а также различные реализации нечетких регулярных выражений, гарантирующие вам головную боль.
Синтаксис команды | Описание |
sed "s/Nick/John/g" report.txt | Заменяет каждое вхождение Nick на John в файле report.txt |
sed "s/Nick/nick/John/g" report.txt | Заменяет каждое вхождение Nick или nick на John. |
sed "s/^/ /" file.txt >file_new.txt | Добавляет 8 пробелов слева от текста для улучшения качества печати. |
sed -n "/Of course/,/attention you \ pay/p" myfile |
Выводит один абзац, начинающийся с "Of course" и заканчивающийся на "attention you pay" |
sed -n 12,18p file.txt | Выводит только строки 12-18 файла file.txt |
sed 12,18d file.txt | Выводит весь файл file.txt за исключением строк с 12 по 18 |
sed G file.txt | Удваивает пробелы в file.txt |
sed -f script.sed file.txt | Записывает все команды в script.sed и выполняет их. |
sed "5!s/ham/cheese/" file.txt | Заменяет ham на cheese в file.txt за исключением 5-й строки |
sed "$d" file.txt | Удаляет последнюю строку |
sed "/\{3\}/p" file.txt | Печатает только строки с тремя последовательными цифрами |
sed "/boom/!s/aaa/bb/" file.txt | Если найден "boom", заменить aaa на bb |
sed "17,/disk/d" file.txt | Удаляет все строки, начиная с 17-й, до "disk" |
echo ONE TWO / sed "s/one/unos/I" | Заменяет one на unos независимо от регистра, поэтому будет напечатано "unos TWO" |
sed "G;G" file.txt | Утраивает пробелы в файле |
sed "s/.$//" file.txt | Способ замены dos2unix:) |
sed "s/^[ ^t]*//" file.txt | Удаляет все пробелы перед каждой строкой в file.txt |
sed "s/[ ^t]*$//" file.txt | Удаляет все пробелы в конце каждой строки в file.txt |
sed "s/^[ ^t]*//;s/[ ^]*$//" file.txt | Удаляет все пробелы в начале и в конце каждой строки в file.txt |
sed "s/foo/bar/" file.txt | Заменяет foo на bar только в первом вхождении в строке. |
sed "s/foo/bar/4" file.txt | Заменяет foo на bar только в четвертом вхождении в строке. |
sed "s/foo/bar/g" file.txt | Заменяет foo на bar для всех вхождений в строке. |
sed "/baz/s/foo/bar/g" file.txt | Заменить foo на bar только если строка содержит baz. |
sed "/./,/^$/!d" file.txt | Удалить все последовательные пустые строки за исключением EOF |
sed "/^$/N;/\n$/D" file.txt | Удалить все последовательные пустые строки, но оставить верхнюю пустую строку. |
sed "/./,$!d" file.txt | Удалить все начальные пустые строки |
sed -e:a -e "/^\n*$/{$d;N;};/\n$/ba" \ file.txt |
Удалить все замыкающие пустые строки |
sed -e:a -e "/\\$/N; s/\\\n//; ta" \ file.txt |
Если файл заканчивается обратным сплешем, соединить его со следующим (полезно для скриптов оболочки) |
sed "/regex/,+5/expr/" | Соответствует regex плюс 5 следующих строк |
sed "1~3d" file.txt | Удалить каждую третью строку, начиная с первой. |
sed -n "2~5p" file.txt | Печатать каждую пятую строку, начиная со второй. |
sed "s/ick/John/g" report.txt | Другой способ записи некоторых приведенных выше примеров. Вы можете предложить свой? |
sed -n "/RE/{p;q;}" file.txt | Печатает только первое соответствие RE (регулярного выражения) |
sed "0,/RE/{//d;}" file.txt | Удаляет только первое соответствие |
sed "0,/RE/s//to_that/" file.txt | Изменяет только первое соответствие |
sed "s/^[^,]*,/9999,/" file.csv | Заменяет первое поле на 9999 в CSV-файле |
s/^ *\(.*[^ ]\) *$//\1//; s/" *, */"//g; : loop s// *\([^",/][^,/]*\) *, *//\1//g; s// *, *//\1//g; t loop s/ *////g; s// *///g; s/^/\(.*\)/$/\1/; | Скрипт sed для конвертирования CSV-файла в файл с вертикальной чертой в качестве разделителя (работает только с некоторыми типами CSV, со встроенными кавычками и запятыми). |
sed ":a;s/\(^\/[^0-9.]\)\(\+\)\(\{3\}\)/\1\2,\3/g;ta" file.txt | Меняет формат чисел в file.txt с 1234.56 на 1.234.56 |
sed -r "s/\<(reg/exp)+/\U&/g" | Переводит любое слово, начинающееся с reg или exp в верхний регистр. |
sed "1,20 s/Johnson/White/g" file.txt | Производит замену Johnson на White только в строках 1 - 20. |
sed "1,20 !s/Johnson/White/g" file.txt | Предыдущий пример наоборот (заменяет везде, кроме строк 1-20) |
sed "/from/,/until/ { s/\ /magenta/g; \ s/\ /cyan/g; }" file.txt | Заменяет только между "from" и "until" |
sed "/ENDNOTES:/,$ { s/Schaff/Herzog/g; \ s/Kraft/Ebbing/g; }" file.txt | Заменяет только со слова "ENDNOTES:" и до EOF |
sed "/./{H;$!d;};x;/regex/!d" file.txt | Печатает абзац только если он содержит regex |
sed -e "/./{H;$!d;}" -e "x;/RE1/!d;/RE2/!d;/RE3/!d" file.txt | Печатает абзацы только если они содержат RE1, RE2 и RE3 |
sed "s/14"/fourteen inches/g" file.txt | Так вы сможете использовать двойные кавычки |
sed "s/\/some\/UNIX\/path/\/a\/new\/path/g" file.txt | Работа с путями Unix |
sed "s///g" file.txt | Удаляет все символы, начиная с a и заканчивая g из файла file.txt |
sed "s/\(.*\)foo/\1bar/" file.txt | Заменяет только последнее соответствие foo на bar |
sed "1!G;h;$!d" | Замена команды tac |
sed "/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//" | Замена команды rev |
sed 10q file.txt | Замена команды head |
sed -e:a -e "$q;N;11,$D;ba" \ file.txt | Замена команды tail |
sed "$!N; /^\(.*\)\n\1$/!P; D" \ file.txt | Замена команды uniq |
sed "$!N; s/^\(.*\)\n\1$/\1/;\ t; D" file.txt | Обратная команда (что эквивалентно uniq -d) |
sed "$!N;$!D" file.txt | Эквивалент tail -n 2 |
sed -n "$p" file.txt | ... tail -n 1 (или tail -1) |
sed "/regexp/!d" file.txt | Эквивалент grep |
sed -n "/regexp/{g;1!p;};h" file.txt | Печатает строку, находящуюся перед первым соответствием регулярному выражению, но не включающую само соответствие |
sed -n "/regexp/{n;p;}" file.txt | Печатает строку, находящуюся после первого соответствия регулярному выражению, но не включающую само соответствие |
sed "/pattern/d" file.txt | Удаляет строки, соответствующие шаблону pattern |
sed "/./!d" file.txt | Удаляет все пустые строки из файла |
sed "/^$/N;/\n$/N;//D" file.txt | Удаляет все следующие друг за другом пустые строки, за исключением первых двух |
sed -n "/^$/{p;h;};/./{x;/./p;}"\ file.txt | Удаляет последнюю строку каждого абзаца |
sed "/^$/q" | Получает заголовок письма |
sed "1,/^$/d" | Получает тело письма |
sed "/^Subject: */!d; s///;q" | Получает тему письма |
sed "s/^/> /" | Цитирует сообщение, вставляя "> " перед каждой строкой |
sed "s/^> //" | Обратная команда (убирает цитирование из сообщения) |
sed -e:a -e "s/<[^>]*>//g;/ | Удаляет HTML-теги |
sed "/./{H;d;};x;s/\n/={NL}=/g" file.txt / sort \ / sed "1s/={NL}=//;s/={NL}=/\n/g" | Сортирует абзацы в file.txt в алфавитном порядке |
sed "s@/usr/bin@&/local@g" path.txt | Заменяет /usr/bin на /usr/bin/local в path.txt |
sed "s@^.*$@<<<&>>>@g" path.txt | Попробуйте и увидите:) |
sed "s/\(\/[^:]*\).*/\1/g" path.txt | При условии, что path.txt содержит $PATH, выводит только первый путь в каждой строке |
sed "s/\([^:]*\).*/\1/" /etc/passwd | Замена awk - показывает только пользователей из файла passwd |
echo "Welcome To The Geek Stuff" / sed \ "s/\(\b\)/\(\1\)/g" (W)elcome (T)o (T)he (G)eek (S)tuff | Понятно без объяснений |
sed -e "/^$/,/^END/s/hills/\ mountains/g" file.txt | Заменяет "hills" на "mountains", но только в блоках текста, начинающихся с пустой строки и заканчивающихся строкой с тремя символами "END", включительно. |
sed -e "/^#/d" /etc/services / more | Показывает файл services без закомментированных строк |
sed "$s@\([^:]*\):\([^:]*\):\([^:]*\)@\3:\2:\1@g" path.txt | Меняет порядок элементов в последней строке файла path.txt на обратный |
sed "/regex/{x;p;x;}" file.txt | Вставляет новую строку выше каждой строки, соответствующей регулярному выражению |
sed "/AAA/!d; /BBB/!d; /CCC/!d" file.txt | Ищет соответствие AAA, BBB и CCC в любом порядке |
sed "/AAA.*BBB.*CCC/!d" file.txt | Ищет соответствие AAA, BBB и CCC в заданном порядке |
sed -n "/^.\{65\}/p" file.txt | Печатает строки длиной 65 символов и более |
sed -n "/^.\{65\}/!p" file.txt | Печатает строки длиной 65 символов и менее |
sed "/regex/G" file.txt | Вставляет пустую строку под каждой строкой |
sed "/regex/{x;p;x;G;}" file.txt | Вставляет пустую строку над и под каждой строкой |
sed = file.txt / sed "N;s/\n/\t/" | Нумерует строки в file.txt |
sed -e:a -e "s/^.\{1,78\}$/ &/;ta" file.txt | Выровнять текст по правому краю |
sed -e:a -e "s/^.\{1,77\}$/ &/;ta" -e "s/\(*\)\1/\1/" file.txt | Выровнять текст по центру |
Это только часть того, что можно бы было рассказать о sed, но данная серия статей представляет собой скорее практическое руководство, которое, как мы надеемся, поможет вам оценить всю мощь утилит Unix и сделает вашу работу более эффективной.
В прошлый раз мы говорили о функциях в bash-скриптах, в частности, о том, как вызывать их из командной строки. Наша сегодняшняя тема - весьма полезный инструмент для обработки строковых данных - утилита Linux, которая называется sed. Её часто используют для работы с текстами, имеющими вид лог-файлов, конфигурационных и других файлов.
Если вы, в bash-скриптах, каким-то образом обрабатываете данные, вам не помешает знакомство с инструментами sed и gawk. Тут мы сосредоточимся на sed и на работе с текстами, так как это - очень важный шаг в нашем путешествии по бескрайним просторам разработки bash-скриптов.
Сейчас мы разберём основы работы с sed, а так же рассмотрим более трёх десятков примеров использования этого инструмента.
$ sed options file
По умолчанию sed применяет указанные при вызове правила, выраженные в виде набора команд, к STDIN . Это позволяет передавать данные непосредственно sed.
Например, так:
$ echo "This is a test" | sed "s/test/another test/"
Вот что получится при выполнении этой команды.
В данном случае sed заменяет слово «test» в строке, переданной для обработки, словами «another test». Для оформления правила обработки текста, заключённого в кавычки, используются прямые слэши. В нашем случае применена команда вида s/pattern1/pattern2/ . Буква «s» - это сокращение слова «substitute», то есть - перед нами команда замены. Sed, выполняя эту команду, просмотрит переданный текст и заменит найденные в нём фрагменты (о том - какие именно, поговорим ниже), соответствующие pattern1 , на pattern2 .
Выше приведён примитивный пример использования sed, нужный для того, чтобы ввести вас в курс дела. На самом деле, sed можно применять в гораздо более сложных сценариях обработки текстов, например - для работы с файлами.
Ниже показан файл, в котором содержится фрагмент текста, и результаты его обработки такой командой:
$ sed "s/test/another test" ./myfile
Здесь применён тот же подход, который мы использовали выше, но теперь sed обрабатывает текст, хранящийся в файле. При этом, если файл достаточно велик, можно заметить, что sed обрабатывает данные порциями и выводит то, что обработано, на экран, не дожидаясь обработки всего файла.
Sed не меняет данные в обрабатываемом файле. Редактор читает файл, обрабатывает прочитанное, и отправляет то, что получилось, в STDOUT . Для того, чтобы убедиться в том, что исходный файл не изменился, достаточно, после того, как он был передан sed, открыть его. При необходимости вывод sed можно перенаправить в файл, возможно - перезаписать старый файл. Если вы знакомы с одним из предыдущих материалов этой серии, где речь идёт о перенаправлении потоков ввода и вывода, вы вполне сможете это сделать.
$ sed -e "s/This/That/; s/test/another test/" ./myfile
К каждой строке текста из файла применяются обе команды. Их нужно разделить точкой с запятой, при этом между окончанием команды и точкой с запятой не должно быть пробела.
Для ввода нескольких шаблонов обработки текста при вызове sed, можно, после ввода первой одиночной кавычки, нажать Enter, после чего вводить каждое правило с новой строки, не забыв о закрывающей кавычке:
$ sed -e "
> s/This/That/
> s/test/another test/" ./myfile
Вот что получится после того, как команда, представленная в таком виде, будет выполнена.
Вот содержимое файла mycommands:
S/This/That/
s/test/another test/
Вызовем sed, передав редактору файл с командами и файл для обработки:
$ sed -f mycommands myfile
Результат при вызове такой команды аналогичен тому, который получался в предыдущих примерах.
$ sed "s/test/another test/" myfile
Вот что содержится в файле, и что будет получено после его обработки sed.
Команда замены нормально обрабатывает файл, состоящий из нескольких строк, но заменяются только первые вхождения искомого фрагмента текста в каждой строке. Для того, чтобы заменить все вхождения шаблона, нужно использовать соответствующий флаг.
Схема записи команды замены при использовании флагов выглядит так:
S/pattern/replacement/flags
Выполнение этой команды можно модифицировать несколькими способами.
$ sed "s/test/another test/2" myfile
Вызов команды замены с указанием позиции заменяемого фрагмента
Тут мы указали, в качестве флага замены, число 2. Это привело к тому, что было заменено лишь второе вхождение искомого шаблона в каждой строке. Теперь опробуем флаг глобальной замены - g:
$ sed "s/test/another test/g" myfile
Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.
Флаг команды замены p позволяет выводить строки, в которых найдены совпадения, при этом ключ -n , указанный при вызове sed, подавляет обычный вывод:
$ sed -n "s/test/another test/p" myfile
Как результат, при запуске sed в такой конфигурации на экран выводятся лишь строки (в нашем случае - одна строка), в которых найден заданный фрагмент текста.
Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:
$ sed "s/test/another test/w output" myfile
Хорошо видно, что в ходе работы команды данные выводятся в STDOUT , при этом обработанные строки записываются в файл, имя которого указано после w .
$ sed "s/\/bin\/bash/\/bin\/csh/" /etc/passwd
Однако, выглядит всё это не очень-то хорошо. Всё дело в том, что так как прямые слэши используются в роли символов-разделителей, такие же символы в передаваемых sed строках приходится экранировать. В результате страдает читаемость команды.
К счастью, sed позволяет нам самостоятельно задавать символы-разделители для использования их в команде замены. Разделителем считается первый символ, который будет встречен после s:
$ sed "s!/bin/bash!/bin/csh!" /etc/passwd
В данном случае в качестве разделителя использован восклицательный знак, в результате код легче читать и он выглядит куда опрятнее, чем прежде.
$ sed "2s/test/another test/" myfile
Второй вариант - диапазон строк:
$ sed "2,3s/test/another test/" myfile
Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:
$ sed "2,$s/test/another test/" myfile
Для того, чтобы обрабатывать с помощью команды замены только строки, соответствующие заданному фильтру, команду надо вызвать так:
$ sed "/likegeeks/s/bash/csh/" /etc/passwd
По аналогии с тем, что было рассмотрено выше, шаблон передаётся перед именем команды s .
Тут мы использовали очень простой фильтр. Для того, чтобы в полной мере раскрыть возможности данного подхода, можно воспользоваться регулярными выражениями. О них мы поговорим в одном из следующих материалов этой серии.
Вызов команды выглядит так:
$ sed "3d" myfile
Мы хотим, чтобы из текста была удалена третья строка. Обратите внимание на то, что речь не идёт о файле. Файл останется неизменным, удаление отразится лишь на выводе, который сформирует sed.
Если при вызове команды d не указать номер удаляемой строки, удалены будут все строки потока.
Вот как применить команду d к диапазону строк:
$ sed "2,3d" myfile
А вот как удалить строки, начиная с заданной - и до конца файла:
$ sed "3,$d" myfile
Строки можно удалять и по шаблону:
$ sed "/test/d" myfile
При вызове d можно указывать пару шаблонов - будут удалены строки, в которых встретится шаблон, и те строки, которые находятся между ними:
$ sed "/second/,/fourth/d" myfile
$ echo "Another test" | sed "i\First test "
Теперь взглянем на команду a:
$ echo "Another test" | sed "a\First test "
Как видно, эти команды добавляют текст до или после данных из потока. Что если надо добавить строку где-нибудь посередине?
Тут нам поможет указание номера опорной строки в потоке, или шаблона. Учтите, что адресация строк в виде диапазона тут не подойдёт. Вызовем команду i , указав номер строки, перед которой надо вставить новую строку:
$ sed "2i\This is the inserted line." myfile
Проделаем то же самое с командой a:
$ sed "2a\This is the appended line." myfile
Обратите внимание на разницу в работе команд i и a . Первая вставляет новую строку до указанной, вторая - после.
$ sed "3c\This is a modified line." myfile
Если воспользоваться при вызове команды шаблоном в виде обычного текста или регулярного выражения, заменены будут все соответствующие шаблону строки:
$ sed "/This is/c This is a changed line of text." myfile
$ sed "y/123/567/" myfile
Используя эту команду, нужно учесть, что она применяется ко всему текстовому потоку, ограничить её конкретными вхождениями символов нельзя.
$ sed "=" myfile
Потоковый редактор вывел номера строк перед их содержимым.
Если передать этой команде шаблон и воспользоваться ключом sed -n , выведены будут только номера строк, соответствующих шаблону:
$ sed -n "/test/=" myfile
Рассмотрим пример:
$ sed "3r newfile" myfile
Тут содержимое файла newfile было вставлено после третьей строки файла myfile .
Вот что произойдёт, если применить при вызове команды r шаблон:
$ sed "/test/r newfile" myfile
Содержимое файла будет вставлено после каждой строки, соответствующей шаблону.
Решить эту задачу можно, воспользовавшись командами r и d потокового редактора sed:
$ Sed "/DATA>/ {
r newfile
d}" myfile
Как видите, вместо заполнителя DATA sed добавил в выходной поток две строки из файла data .
На сегодня это всё. В следующий раз поговорим о языке обработки данных awk.
Уважаемые читатели! А вы пользуетесь sed в повседневной работе? Если да - поделитесь пожалуйста опытом.
Многие из Вас наверняка применяли потоковый текстовый редактор sed для каких-то своих целей, если нет — я буду рад Вам о нем рассказать, постараюсь подробней. Почему называется — потоковым? Ответ прост — представьте входной текстовый документ который проходит через программу и в итоге получается некая другая форма данного файла, обработанного программой. Своего рода мясорубка — кладешь мясо, исходя из сетки — получаешь либо фарш либо что-то иное.
Итак, по умолчанию вроде как данная утилита уже должна быть у Вас в системе (в моем случае в Debian 7.6 она уже у меня была), если нет, то —
С текстом:
параметр «s» в начале указывает что нужно заменить текст, g — в конце заменяемого текста — то что необходимо это сделать глобально (по всему файлу)
К примеру, мы хотим в нашем файле text.txt заменить слово Sergey на Andrey и все это выгрузим в файл textout.txt, действуем:
sed "s/Sergey/Andrey/g" text . txt > textout . txt |
Результат:
Если хотите делать замены на специальные символы — к примеру на символ &, то необходимо перед спец. символом поставить обратный слэш «\», если необходимо указать что нужно sed’у обратить на начало строки, используется спец символ «^». Кроме того, в одной строке можно написать 2 и более изменений разделив их точкой с запяток — «;». К примеру, мучаем уже измененный файл textout.txt. Для начала покажу текущее содержание файла textout.txt ещё раз:
root @ testhostname : ~ # cat textout.txt Test for Andrey Test 2 for Andrey Test 3 for Andrey |
Теперь вводим команду:
sed "s/for/\&/g;s/^Test/Sergey/g" textout . txt > textout2 . txt |
Тем самым нас вместо слова for ставиться значок & (спец символ вводиться с символом «\» перед спецсимволом), затем знак разделения (чтобы все изменения написать в одной строке sed’а -> «;» , вместо слова в начале строки «Test» ставиться слово Sergey, итог того что получилось:
Все как мы и хотели!
Так, же sed является хорошим помощником при просмотре логов. К примеру нам необходимо выгрузить все строки сегодняшней даты (пусть в нашем случае это 10 октября) из файла с логами /var/log/messages в файл testlog.txt, приступим:
sed - n "/^Oct 10/ p" / var / log / messages > testlog . txt |
тут у нас добавился параметр -n , а далее — ‘/^Oct 10/ — имеется ввиду что строка должна начинаться с даты 10 октября, далее параметр p — означающий print (печать содержимого при данном условии), далее файл источник и файл куда мы скинем результаты по нашему условию фильтра, запускаем, смотрим, что файл testlog.txt у нас содержит исключительно 10 октября:
Отлично! Если много строк не нужно, а условно есть необходимость взять только с первой по пятую строку, разделяем наш текущий запрос знаком «|» убирая выгрузку в файл testlog.txt и пишем sed -n 1,5p — что значит что нам нужно вывести (p — print в конце выражения) с первой «1» по (через запятую) пятую «5» строку. Итого у нас получиться нечто следующее:
sed - n "/^Oct 10/ p" / var / log / messages | sed - n 1 , 5p > testlog - 5strok.txt |
Ещё раз обращаю внимание что файл куда мы выгружаем результаты — перенесен в конец (testlog-5strok.txt), видим результат наших деяний:
В прошлый раз мы говорили о функциях в bash-скриптах, в частности, о том, как вызывать их из командной строки. Наша сегодняшняя тема - весьма полезный инструмент для обработки строковых данных - утилита Linux, которая называется sed. Её часто используют для работы с текстами, имеющими вид лог-файлов, конфигурационных и других файлов.
Если вы, в bash-скриптах, каким-то образом обрабатываете данные, вам не помешает знакомство с инструментами sed и gawk. Тут мы сосредоточимся на sed и на работе с текстами, так как это - очень важный шаг в нашем путешествии по бескрайним просторам разработки bash-скриптов.
Сейчас мы разберём основы работы с sed, а так же рассмотрим более трёх десятков примеров использования этого инструмента.
$ sed options file
По умолчанию sed применяет указанные при вызове правила, выраженные в виде набора команд, к STDIN . Это позволяет передавать данные непосредственно sed.
Например, так:
$ echo "This is a test" | sed "s/test/another test/"
Вот что получится при выполнении этой команды.
В данном случае sed заменяет слово «test» в строке, переданной для обработки, словами «another test». Для оформления правила обработки текста, заключённого в кавычки, используются прямые слэши. В нашем случае применена команда вида s/pattern1/pattern2/ . Буква «s» - это сокращение слова «substitute», то есть - перед нами команда замены. Sed, выполняя эту команду, просмотрит переданный текст и заменит найденные в нём фрагменты (о том - какие именно, поговорим ниже), соответствующие pattern1 , на pattern2 .
Выше приведён примитивный пример использования sed, нужный для того, чтобы ввести вас в курс дела. На самом деле, sed можно применять в гораздо более сложных сценариях обработки текстов, например - для работы с файлами.
Ниже показан файл, в котором содержится фрагмент текста, и результаты его обработки такой командой:
$ sed "s/test/another test" ./myfile
Здесь применён тот же подход, который мы использовали выше, но теперь sed обрабатывает текст, хранящийся в файле. При этом, если файл достаточно велик, можно заметить, что sed обрабатывает данные порциями и выводит то, что обработано, на экран, не дожидаясь обработки всего файла.
Sed не меняет данные в обрабатываемом файле. Редактор читает файл, обрабатывает прочитанное, и отправляет то, что получилось, в STDOUT . Для того, чтобы убедиться в том, что исходный файл не изменился, достаточно, после того, как он был передан sed, открыть его. При необходимости вывод sed можно перенаправить в файл, возможно - перезаписать старый файл. Если вы знакомы с одним из предыдущих этой серии, где речь идёт о перенаправлении потоков ввода и вывода, вы вполне сможете это сделать.
$ sed -e "s/This/That/; s/test/another test/" ./myfile
К каждой строке текста из файла применяются обе команды. Их нужно разделить точкой с запятой, при этом между окончанием команды и точкой с запятой не должно быть пробела.
Для ввода нескольких шаблонов обработки текста при вызове sed, можно, после ввода первой одиночной кавычки, нажать Enter, после чего вводить каждое правило с новой строки, не забыв о закрывающей кавычке:
$ sed -e "
> s/This/That/
> s/test/another test/" ./myfile
Вот что получится после того, как команда, представленная в таком виде, будет выполнена.
Вот содержимое файла mycommands:
S/This/That/
s/test/another test/
Вызовем sed, передав редактору файл с командами и файл для обработки:
$ sed -f mycommands myfile
Результат при вызове такой команды аналогичен тому, который получался в предыдущих примерах.
$ sed "s/test/another test/" myfile
Вот что содержится в файле, и что будет получено после его обработки sed.
Команда замены нормально обрабатывает файл, состоящий из нескольких строк, но заменяются только первые вхождения искомого фрагмента текста в каждой строке. Для того, чтобы заменить все вхождения шаблона, нужно использовать соответствующий флаг.
Схема записи команды замены при использовании флагов выглядит так:
S/pattern/replacement/flags
Выполнение этой команды можно модифицировать несколькими способами.
$ sed "s/test/another test/2" myfile
Вызов команды замены с указанием позиции заменяемого фрагмента
Тут мы указали, в качестве флага замены, число 2. Это привело к тому, что было заменено лишь второе вхождение искомого шаблона в каждой строке. Теперь опробуем флаг глобальной замены - g:
$ sed "s/test/another test/g" myfile
Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.
Флаг команды замены p позволяет выводить строки, в которых найдены совпадения, при этом ключ -n , указанный при вызове sed, подавляет обычный вывод:
$ sed -n "s/test/another test/p" myfile
Как результат, при запуске sed в такой конфигурации на экран выводятся лишь строки (в нашем случае - одна строка), в которых найден заданный фрагмент текста.
Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:
$ sed "s/test/another test/w output" myfile
Хорошо видно, что в ходе работы команды данные выводятся в , при этом обработанные строки записываются в файл, имя которого указано после w .
$ sed "s/\/bin\/bash/\/bin\/csh/" /etc/passwd
Однако, выглядит всё это не очень-то хорошо. Всё дело в том, что так как прямые слэши используются в роли символов-разделителей, такие же символы в передаваемых sed строках приходится экранировать. В результате страдает читаемость команды.
К счастью, sed позволяет нам самостоятельно задавать символы-разделители для использования их в команде замены. Разделителем считается первый символ, который будет встречен после s:
$ sed "s!/bin/bash!/bin/csh!" /etc/passwd
В данном случае в качестве разделителя использован восклицательный знак, в результате код легче читать и он выглядит куда опрятнее, чем прежде.
$ sed "2s/test/another test/" myfile
Второй вариант - диапазон строк:
$ sed "2,3s/test/another test/" myfile
Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:
$ sed "2,$s/test/another test/" myfile
Для того, чтобы обрабатывать с помощью команды замены только строки, соответствующие заданному фильтру, команду надо вызвать так:
$ sed "/likegeeks/s/bash/csh/" /etc/passwd
По аналогии с тем, что было рассмотрено выше, шаблон передаётся перед именем команды s .
Тут мы использовали очень простой фильтр. Для того, чтобы в полной мере раскрыть возможности данного подхода, можно воспользоваться регулярными выражениями. О них мы поговорим в одном из следующих материалов этой серии.
Вызов команды выглядит так:
$ sed "3d" myfile
Мы хотим, чтобы из текста была удалена третья строка. Обратите внимание на то, что речь не идёт о файле. Файл останется неизменным, удаление отразится лишь на выводе, который сформирует sed.
Если при вызове команды d не указать номер удаляемой строки, удалены будут все строки потока.
Вот как применить команду d к диапазону строк:
$ sed "2,3d" myfile
А вот как удалить строки, начиная с заданной - и до конца файла:
$ sed "3,$d" myfile
Строки можно удалять и по шаблону:
$ sed "/test/d" myfile
При вызове d можно указывать пару шаблонов - будут удалены строки, в которых встретится шаблон, и те строки, которые находятся между ними:
$ sed "/second/,/fourth/d" myfile
$ echo "Another test" | sed "i\First test "
Теперь взглянем на команду a:
$ echo "Another test" | sed "a\First test "
Как видно, эти команды добавляют текст до или после данных из потока. Что если надо добавить строку где-нибудь посередине?
Тут нам поможет указание номера опорной строки в потоке, или шаблона. Учтите, что адресация строк в виде диапазона тут не подойдёт. Вызовем команду i , указав номер строки, перед которой надо вставить новую строку:
$ sed "2i\This is the inserted line." myfile
Проделаем то же самое с командой a:
$ sed "2a\This is the appended line." myfile
Обратите внимание на разницу в работе команд i и a . Первая вставляет новую строку до указанной, вторая - после.
$ sed "3c\This is a modified line." myfile
Если воспользоваться при вызове команды шаблоном в виде обычного текста или регулярного выражения, заменены будут все соответствующие шаблону строки:
$ sed "/This is/c This is a changed line of text." myfile
$ sed "y/123/567/" myfile
Используя эту команду, нужно учесть, что она применяется ко всему текстовому потоку, ограничить её конкретными вхождениями символов нельзя.
$ sed "=" myfile
Потоковый редактор вывел номера строк перед их содержимым.
Если передать этой команде шаблон и воспользоваться ключом sed -n , выведены будут только номера строк, соответствующих шаблону:
$ sed -n "/test/=" myfile
Рассмотрим пример:
$ sed "3r newfile" myfile
Тут содержимое файла newfile было вставлено после третьей строки файла myfile .
Вот что произойдёт, если применить при вызове команды r шаблон:
$ sed "/test/r newfile" myfile
Содержимое файла будет вставлено после каждой строки, соответствующей шаблону.
Решить эту задачу можно, воспользовавшись командами r и d потокового редактора sed:
$ Sed "/DATA>/ {
r newfile
d}" myfile
Как видите, вместо заполнителя DATA sed добавил в выходной поток две строки из файла data .
На сегодня это всё. В следующий раз поговорим о языке обработки данных awk.
Уважаемые читатели! А вы пользуетесь sed в повседневной работе? Если да - поделитесь пожалуйста опытом.
Николай Игнатушко проверил на GNU sed version 4.2.1 в дистрибутиве Gentoo все команды, упомянутые в этой статье. Не все скрипты хорошо отрабатывали на версии GNU sed. Но дело касалось мелочей, которые исправлены. Только скрипт по замене hill на mountains пришлось существенно переделать.
Добро пожаловать во вторую часть нашей серии, которая посвящена sed, версии GNU. Существует несколько версий sed, которые доступны на разных платформах, но мы сфокусируемся на GNU sed версии 4.x. Многие из вас слышали о sed, или уже использовали его, скорее всего в качестве инструмента замены. Но это только одно из предназначений sed, и мы постараемся показать вам все аспекты использования этой утилиты. Его название расшифровывается как "Stream EDitor" и слово "stream" (поток) в данном случае может означать файл, канал, или просто stdin. Мы надеемся, что у вас уже есть базовые знания о Linux, а если вы уже работали с регулярными выражениями, или по крайней мере знаете, что это такое, то все для вас будет намного проще. Объем статьи не позволяет включить в нее полное руководство по регулярным выражениям, вместо этого мы озвучим базовые концепции и дадим большое количество примеров использования sed.
Здесь не нужно много рассказывать. Скорее все sed у вас уже установлен, так как он используется различными системными скриптами, а также пользователями Linux, которые хотят повысить эффективность своей работы. Вы можете узнать, какая версия sed у вас установлена, с помощью команды:
$ sed --version
В моей системе эта команда показывает, что у меня установлен GNU sed 4.2.1 плюс дает ссылку на домашнюю страницу программы и другие полезные сведения. Пакет называется "sed" независимо от дистрибутива, кроме Gentoo, где он присутствует неявно.
Перед тем, как идти дальше, мы считаем важным акцентировать внимание на том, что делает "sed", так как словосочетание "потоковый редактор" мало что говорит о его назначении. sed принимает на входе текст, выполняет заданные операции над каждой строкой (если не задано другое) и выводит модифицированный текст. Указанными операциями могут быть добавление, вставка, удаление или замена. Это не так просто, как выглядит: предупреждаю, что имеется большое количество опций и их комбинаций, которые могут сделать команду sed очень трудной для понимания. Поэтому мы рекомендуем вам изучить основы регулярных выражений, чтобы понимать, как это работает. Перед тем, как приступить к руководству, мы хотели бы поблагодарить Eric Pement и других за вдохновление и за то, что он сделал для всех, кто хочет изучать и использовать sed.
Так как команды (скрипты) sed для многих остаются загадкой, мы чувствуем, что наши читатели должны понимать базовые концепции, а не слепо копировать и вставлять команды, значения которых они не понимают. Когда человек хочет понять, что представляют собой регулярные выражения, ключевым словом является "соответствие", или, точнее, "шаблон соответствия". Например, в отчете для своего департамента вы написали имя Nick, обращаясь к сетевому архитектору. Но Nick ушел, а на его место пришел John, поэтому теперь вы должны заменить слово Nick на John. Если файл с отчетом называется report.txt, вы должны выполнить следующую команду:
$ cat report.txt | sed "s/Nick/John/g" > report_new.txt
По умолчанию sed использует stdout, вы можете использовать оператор перенаправления вывода, как показано в примере выше. Это очень простой пример, но мы проиллюстрировали несколько моментов: мы ищем все соответствия шаблону "Nick" и заменяем во всех случаях на "John". Отметим, что sed призводит поиск с учетом регистра, поэтому будьте внимательны и проверьте выходной файл, чтобы убедиться, что все замены были выполнены. Приведенный выше пример можно было записать и так:
$ sed "s/Nick/John/g" report.txt > report_new.txt
Хорошо, скажете вы, но где же здесь регулярные выражения? Да, мы хотели сначала показать пример, а теперь начинается самая интересная часть.
Если вы не уверены, написали ли вы "nick" или "Nick", и хотите предусмотреть оба случая, необходимо
использовать команду sed "s/Nick|nick/John/g". Вертикальная черта имеет значение, которое вы должны
знать, если изучали C, то есть ваше выражение будет соответствовать "nick" или "Nick". Как вы увидите
ниже, канал может использоваться и другими способами, но смысл остается тот же самый. Другие операторы,
широко использующиеся в регулярных выражениях - это "?", который соответствует повторению
предшествующего символа ноль или один раз (то есть flavou?r будет соответствовать flavor и flavour),
"*" - ноль или более раз, "+" - один или более раз. "^" соответствует началу строки, а "$" - наоборот. Если вы - пользователь vi или vim, многие вещи покажутся вам знакомыми. В конце концов, эти утилиты, вместе с awk и С уходят корнями в ранние дни UNIX. Мы не будем больше говорить на эту тему, так как проще понять значение этих символов на примерах, но вы должны знать, что существуют различные реализации регулярных выражений: POSIX, POSIX Extended, Perl, а также различные реализации нечетких регулярных выражений, гарантирующие вам головную боль.
Синтаксис команды | Описание |
Sed "s/Nick/John/g" report.txt |
Заменяет каждое вхождение Nick на John в файле report.txt |
Sed "s/Nick\|nick/John/g" report.txt |
Заменяет каждое вхождение Nick или nick на John. |
Sed "s/^/ /" file.txt > file_new.txt |
Добавляет 8 пробелов слева от текста для улучшения качества печати. |
Sed -n "/Of course/,/attention you pay/p" myfile |
Выводит все абзацы, начинающиеся с "Of course" и заканчивающиеся на "attention you pay". |
Sed -n 12,18p file.txt |
Выводит только строки 12-18 файла file.txt |
Sed 12,18d file.txt |
Выводит весь файл file.txt за исключением строк с 12 по 18 |
Вставляет пустую строку после каждой строки в file.txt | |
Sed -f script.sed file.txt |
Записывает все команды в script.sed и выполняет их. |
Sed "5!s/ham/cheese/" file.txt |
Заменяет ham на cheese в file.txt за исключением 5-й строки |
Sed "$d" file.txt |
Удаляет последнюю строку |
Sed -n "/\{3\}/p" file.txt |
Печатает только строки с тремя последовательными цифрами |
Sed "/boom/s/aaa/bb/" file.txt |
Если найден "boom", заменить aaa на bb |
Sed "17,/disk/d" file.txt |
Удаляет все строки, начиная с 17-й, до "disk". Если строк с "disk" несколько, удаляет до первой из них. |
Echo ONE TWO | sed "s/one/unos/I" |
Заменяет one на unos независимо от регистра, поэтому будет напечатано "unos TWO" |
Sed "G;G" file.txt |
Вставляет две пустые строки после каждой строки в file.txt |
Sed "s/.$//" file.txt |
Способ замены dos2unix:). В общем случае удаляет последний символ в каждой строке. |
Sed "s/^[ \t]*//" file.txt |
Удаляет все пробелы/табы перед каждой строкой в file.txt |
Sed "s/[ \t]*$//" file.txt |
Удаляет все пробелы/табы в конце каждой строки в file.txt |
Sed "s/^[ \t]*//;s/[ \t]*$//" file.txt |
Удаляет все пробелы/табы в начале и в конце каждой строки в file.txt |
Sed "s/foo/bar/" file.txt |
Заменяет foo на bar только в первом вхождении в строке. |
Sed "s/foo/bar/4" file.txt |
Заменяет foo на bar только в четвертом вхождении в строке. |
Sed "s/foo/bar/g" file.txt |
Заменяет foo на bar для всех вхождений в строке. |
Sed "/baz/s/foo/bar/g" file.txt |
Заменить foo на bar только если строка содержит baz. |
Sed "/./,/^$/!d" file.txt |
Сжать все последовательные пустые строки до одной. Пустой строки сверху не остается. |
Sed "/^$/N;/\n$/D" file.txt |
Сжать все последовательные пустые строки до одной, но оставить верхнюю пустую строку. |
Sed "/./,$!d" file.txt |
Удалить все начальные пустые строки |
Sed -e:a -e "/^\n*$/{$d;N;};/\n$/ba" file.txt |
Удалить все замыкающие пустые строки |
Sed -e:a -e "/\\$/N; s/\\\n/ /; ta" file.txt |
Если строка заканчивается обратным сплешем, соединить ее со следующей (полезно для скриптов оболочки) |
Sed -n "/regex/,+5p" file.txt |
Выводит 5 строк после строки содержащей regex |
Sed "1~3d" file.txt |
Удалить каждую третью строку, начиная с первой. |
Sed -n "2~5p" file.txt |
Печатать каждую пятую строку, начиная со второй. |
Sed "s/ick/John/g" report.txt |
Другой способ записи некоторых приведенных выше примеров. Вы можете предложить свой? |
Sed -n "/RE/{p;q;}" file.txt |
Печатает строку с первым соответствием RE (регулярного выражения) |
Sed "0,/RE/{//d;}" file.txt |
Удаляет строку с первым соответствием |
Sed "0,/RE/s//to_that/" file.txt |
Изменяет только первое соответствие |
Sed "s/^[^,]*,/9999,/" file.csv |
Заменяет на 9999 все значения в первой колонке CSV-файла |
S/^ *\(.*[^ ]\) *$/|\1|/; s/" *, */"|/g; : loop s/| *\([^",|][^,|]*\) *, */|\1|/g; s/| *, */||/g; t loop s/ *|/|/g; s/| */|/g; s/^|\(.*\)|$/\1/; |
Скрипт sed для конвертирования CSV-файла в файл с вертикальной чертой в качестве разделителя (работает только с некоторыми типами CSV, со встроенными кавычками и запятыми). |
Sed ":a;s/\(^\|[^0-9.]\)\(\+\)\(\{3\}\)/\1\2,\3/g;ta" file.txt |
Меняет формат чисел в file.txt с 1234.56 на 1.234.56 |
Sed -r "s/\<(reg|exp)+/\U&/g" |
Переводит любое слово, начинающееся с reg или exp в верхний регистр. |
Sed "1,20 s/Johnson/White/g" file.txt |
Производит замену Johnson на White только в строках 1 - 20. |
Sed "1,20 !s/Johnson/White/g" file.txt |
Предыдущий пример наоборот (заменяет везде, кроме строк 1-20) |
Sed "/from/,/until/ { s/\<red\>/magenta/g; s/<blue\>/cyan/g; }" file.txt |
Заменяет только между "from" и "until". Если областей "from"-"until" несколько, заменяет в каждой из них. |
Sed "/ENDNOTES:/,$ { s/Schaff/Herzog/g; s/Kraft/Ebbing/g; }" file.txt |
Заменяет только со слова "ENDNOTES:" и до EOF |
Sed "/./{H;$!d;};x;/regex/!d" file.txt |
Печатает абзац только если он содержит regex |
Sed -e "/./{H;$!d;}" -e "x;/RE1/!d;/RE2/!d;/RE3/!d" file.txt |
Печатает абзацы только если они содержат RE1, RE2 и RE3. Порядок RE1, RE2 и RE3 не имеет значения. |
Sed "s/14"/fourteen inches/g" file.txt |
Так вы сможете использовать двойные кавычки |
Sed "s/\/some\/UNIX\/path/\/a\/new\/path/g" file.txt |
Работа с путями Unix |
Sed "s///g" file.txt |
Удаляет все символы, начиная с a и заканчивая g из файла file.txt |
Sed "s/\(.*\)foo/\1bar/" file.txt |
Заменяет только последнее в строке соответствие foo на bar |
Sed "1!G;h;$!d" |
Замена команды tac |
Sed "/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//" |
Замена команды rev |
Sed 10q file.txt |
Замена команды head |
Sed -e:a -e "$q;N;11,$D;ba" file.txt |
Замена команды tail |
Sed "$!N; /^\(.*\)\n\1$/!P; D" file.txt |
Замена команды uniq |
Sed "$!N; s/^\(.*\)\n\1$/\1/;t; D" file.txt |
Обратная команда (что эквивалентно uniq -d) |
Sed "$!N;$!D" file.txt |
Эквивалент tail -n 2 |
Sed -n "$p" file.txt |
... tail -n 1 (или tail -1) |
Sed "/regexp/!d" file.txt |
Эквивалент grep |
Sed -n "/regexp/{g;1!p;};h" file.txt |
Печатает строку, находящуюся перед первым соответствием регулярному выражению, но не включающую само соответствие |
Sed -n "/regexp/{n;p;}" file.txt |
Печатает строку, находящуюся после первого соответствия регулярному выражению, но не включающую само соответствие |
Sed "/pattern/d" file.txt |
Удаляет строки, соответствующие шаблону pattern |
Sed "/./!d" file.txt |
Удаляет все пустые строки из файла |
Sed "/^$/N;/\n$/N;//D" file.txt |
Сжимает все последовательные пустые строки до двух пустых. Одинарные пустые строки не изменяются. |
Sed -n "/^$/{p;h;};/./{x;/./p;}" file.txt |
Удаляет последнюю строку каждого абзаца |
Получает заголовок письма. Другими словами - удаляет все после первой пустой строки. | |