Продвинутый sed: управление текстовыми потоками в Linux. Используем потоковый текстовый редактор sed в Linux Sed вставить строку в файл
В прошлый раз мы говорили о функциях в bash-скриптах, в частности, о том, как вызывать их из командной строки. Наша сегодняшняя тема - весьма полезный инструмент для обработки строковых данных - утилита Linux, которая называется sed. Её часто используют для работы с текстами, имеющими вид лог-файлов, конфигурационных и других файлов.
Если вы, в bash-скриптах, каким-то образом обрабатываете данные, вам не помешает знакомство с инструментами sed и gawk. Тут мы сосредоточимся на sed и на работе с текстами, так как это - очень важный шаг в нашем путешествии по бескрайним просторам разработки bash-скриптов.
Сейчас мы разберём основы работы с sed, а так же рассмотрим более трёх десятков примеров использования этого инструмента.
Основы работы с sed
Утилиту sed называют потоковым текстовым редактором. В интерактивных текстовых редакторах, наподобие nano, с текстами работают, используя клавиатуру, редактируя файлы, добавляя, удаляя или изменяя тексты. Sed позволяет редактировать потоки данных, основываясь на заданных разработчиком наборах правил. Вот как выглядит схема вызова этой команды: $ sed options file
По умолчанию sed применяет указанные при вызове правила, выраженные в виде набора команд, к STDIN . Это позволяет передавать данные непосредственно sed.
Например, так:
$ echo "This is a test" | sed "s/test/another test/"
Вот что получится при выполнении этой команды.
Простой пример вызова sed
В данном случае sed заменяет слово «test» в строке, переданной для обработки, словами «another test». Для оформления правила обработки текста, заключённого в кавычки, используются прямые слэши. В нашем случае применена команда вида s/pattern1/pattern2/ . Буква «s» - это сокращение слова «substitute», то есть - перед нами команда замены. Sed, выполняя эту команду, просмотрит переданный текст и заменит найденные в нём фрагменты (о том - какие именно, поговорим ниже), соответствующие pattern1 , на pattern2 .
Выше приведён примитивный пример использования sed, нужный для того, чтобы ввести вас в курс дела. На самом деле, sed можно применять в гораздо более сложных сценариях обработки текстов, например - для работы с файлами.
Ниже показан файл, в котором содержится фрагмент текста, и результаты его обработки такой командой:
$ sed "s/test/another test" ./myfile
Текстовый файл и результаты его обработки
Здесь применён тот же подход, который мы использовали выше, но теперь sed обрабатывает текст, хранящийся в файле. При этом, если файл достаточно велик, можно заметить, что sed обрабатывает данные порциями и выводит то, что обработано, на экран, не дожидаясь обработки всего файла.
Sed не меняет данные в обрабатываемом файле. Редактор читает файл, обрабатывает прочитанное, и отправляет то, что получилось, в STDOUT . Для того, чтобы убедиться в том, что исходный файл не изменился, достаточно, после того, как он был передан sed, открыть его. При необходимости вывод sed можно перенаправить в файл, возможно - перезаписать старый файл. Если вы знакомы с одним из предыдущих этой серии, где речь идёт о перенаправлении потоков ввода и вывода, вы вполне сможете это сделать.
Выполнение наборов команд при вызове sed
Для выполнения нескольких действий с данными, используйте ключ -e при вызове sed. Например, вот как организовать замену двух фрагментов текста: $ sed -e "s/This/That/; s/test/another test/" ./myfile
Использование ключа -e при вызове sed
К каждой строке текста из файла применяются обе команды. Их нужно разделить точкой с запятой, при этом между окончанием команды и точкой с запятой не должно быть пробела.
Для ввода нескольких шаблонов обработки текста при вызове sed, можно, после ввода первой одиночной кавычки, нажать Enter, после чего вводить каждое правило с новой строки, не забыв о закрывающей кавычке:
$ sed -e "
> s/This/That/
> s/test/another test/" ./myfile
Вот что получится после того, как команда, представленная в таком виде, будет выполнена.
Другой способ работы с sed
Чтение команд из файла
Если имеется множество команд sed, с помощью которых надо обработать текст, обычно удобнее всего предварительно записать их в файл. Для того, чтобы указать sed файл, содержащий команды, используют ключ -f:Вот содержимое файла mycommands:
S/This/That/
s/test/another test/
Вызовем sed, передав редактору файл с командами и файл для обработки:
$ sed -f mycommands myfile
Результат при вызове такой команды аналогичен тому, который получался в предыдущих примерах.
Использование файла с командами при вызове sed
Флаги команды замены
Внимательно посмотрите на следующий пример. $ sed "s/test/another test/" myfile
Вот что содержится в файле, и что будет получено после его обработки sed.
Исходный файл и результаты его обработки
Команда замены нормально обрабатывает файл, состоящий из нескольких строк, но заменяются только первые вхождения искомого фрагмента текста в каждой строке. Для того, чтобы заменить все вхождения шаблона, нужно использовать соответствующий флаг.
Схема записи команды замены при использовании флагов выглядит так:
S/pattern/replacement/flags
Выполнение этой команды можно модифицировать несколькими способами.
- При передаче номера учитывается порядковый номер вхождения шаблона в строку, заменено будет именно это вхождение.
- Флаг g указывает на то, что нужно обработать все вхождения шаблона, имеющиеся в строке.
- Флаг p указывает на то, что нужно вывести содержимое исходной строки.
- Флаг вида w file указывает команде на то, что нужно записать результаты обработки текста в файл.
$ sed "s/test/another test/2" myfile
Вызов команды замены с указанием позиции заменяемого фрагмента
Тут мы указали, в качестве флага замены, число 2. Это привело к тому, что было заменено лишь второе вхождение искомого шаблона в каждой строке. Теперь опробуем флаг глобальной замены - g:
$ sed "s/test/another test/g" myfile
Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.
Глобальная замена
Флаг команды замены p позволяет выводить строки, в которых найдены совпадения, при этом ключ -n , указанный при вызове sed, подавляет обычный вывод:
$ sed -n "s/test/another test/p" myfile
Как результат, при запуске sed в такой конфигурации на экран выводятся лишь строки (в нашем случае - одна строка), в которых найден заданный фрагмент текста.
Использование флага команды замены p
Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:
$ sed "s/test/another test/w output" myfile
Сохранение результатов обработки текста в файл
Хорошо видно, что в ходе работы команды данные выводятся в , при этом обработанные строки записываются в файл, имя которого указано после w .
Символы-разделители
Представьте, что нужно заменить /bin/bash на /bin/csh в файле /etc/passwd . Задача не такая уж и сложная: $ sed "s/\/bin\/bash/\/bin\/csh/" /etc/passwd
Однако, выглядит всё это не очень-то хорошо. Всё дело в том, что так как прямые слэши используются в роли символов-разделителей, такие же символы в передаваемых sed строках приходится экранировать. В результате страдает читаемость команды.
К счастью, sed позволяет нам самостоятельно задавать символы-разделители для использования их в команде замены. Разделителем считается первый символ, который будет встречен после s:
$ sed "s!/bin/bash!/bin/csh!" /etc/passwd
В данном случае в качестве разделителя использован восклицательный знак, в результате код легче читать и он выглядит куда опрятнее, чем прежде.
Выбор фрагментов текста для обработки
До сих пор мы вызывали sed для обработки всего переданного редактору потока данных. В некоторых случаях с помощью sed надо обработать лишь какую-то часть текста - некую конкретную строку или группу строк. Для достижения такой цели можно воспользоваться двумя подходами:- Задать ограничение на номера обрабатываемых строк.
- Указать фильтр, соответствующие которому строки нужно обработать.
$ sed "2s/test/another test/" myfile
Обработка только одной строки, номер который задан при вызове sed
Второй вариант - диапазон строк:
$ sed "2,3s/test/another test/" myfile
Обработка диапазона строк
Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:
$ sed "2,$s/test/another test/" myfile
Обработка файла начиная со второй строки и до конца
Для того, чтобы обрабатывать с помощью команды замены только строки, соответствующие заданному фильтру, команду надо вызвать так:
$ sed "/likegeeks/s/bash/csh/" /etc/passwd
По аналогии с тем, что было рассмотрено выше, шаблон передаётся перед именем команды s .
Обработка строк, соответствующих фильтру
Тут мы использовали очень простой фильтр. Для того, чтобы в полной мере раскрыть возможности данного подхода, можно воспользоваться регулярными выражениями. О них мы поговорим в одном из следующих материалов этой серии.
Удаление строк
Утилита sed годится не только для замены одних последовательностей символов в строках на другие. С её помощью, а именно, используя команду d , можно удалять строки из текстового потока.Вызов команды выглядит так:
$ sed "3d" myfile
Мы хотим, чтобы из текста была удалена третья строка. Обратите внимание на то, что речь не идёт о файле. Файл останется неизменным, удаление отразится лишь на выводе, который сформирует sed.
Удаление третьей строки
Если при вызове команды d не указать номер удаляемой строки, удалены будут все строки потока.
Вот как применить команду d к диапазону строк:
$ sed "2,3d" myfile
Удаление диапазона строк
А вот как удалить строки, начиная с заданной - и до конца файла:
$ sed "3,$d" myfile
Удаление строк до конца файла
Строки можно удалять и по шаблону:
$ sed "/test/d" myfile
Удаление строк по шаблону
При вызове d можно указывать пару шаблонов - будут удалены строки, в которых встретится шаблон, и те строки, которые находятся между ними:
$ sed "/second/,/fourth/d" myfile
Удаление диапазона строк с использованием шаблонов
Вставка текста в поток
С помощью sed можно вставлять данные в текстовый поток, используя команды i и a:- Команда i добавляет новую строку перед заданной.
- Команда a добавляет новую строку после заданной.
$ echo "Another test" | sed "i\First test "
Команда i
Теперь взглянем на команду a:
$ echo "Another test" | sed "a\First test "
Команда a
Как видно, эти команды добавляют текст до или после данных из потока. Что если надо добавить строку где-нибудь посередине?
Тут нам поможет указание номера опорной строки в потоке, или шаблона. Учтите, что адресация строк в виде диапазона тут не подойдёт. Вызовем команду i , указав номер строки, перед которой надо вставить новую строку:
$ sed "2i\This is the inserted line." myfile
Команда i с указанием номера опорной строки
Проделаем то же самое с командой a:
$ sed "2a\This is the appended line." myfile
Команда a с указанием номера опорной строки
Обратите внимание на разницу в работе команд i и a . Первая вставляет новую строку до указанной, вторая - после.
Замена строк
Команда c позволяет изменить содержимое целой строки текста в потоке данных. При её вызове нужно указать номер строки, вместо которой в поток надо добавить новые данные: $ sed "3c\This is a modified line." myfile
Замена строки целиком
Если воспользоваться при вызове команды шаблоном в виде обычного текста или регулярного выражения, заменены будут все соответствующие шаблону строки:
$ sed "/This is/c This is a changed line of text." myfile
Замена строк по шаблону
Замена символов
Команда y работает с отдельными символами, заменяя их в соответствии с переданными ей при вызове данными: $ sed "y/123/567/" myfile
Замена символов
Используя эту команду, нужно учесть, что она применяется ко всему текстовому потоку, ограничить её конкретными вхождениями символов нельзя.
Вывод номеров строк
Если вызвать sed, использовав команду = , утилита выведет номера строк в потоке данных: $ sed "=" myfile
Вывод номеров строк
Потоковый редактор вывел номера строк перед их содержимым.
Если передать этой команде шаблон и воспользоваться ключом sed -n , выведены будут только номера строк, соответствующих шаблону:
$ sed -n "/test/=" myfile
Вывод номеров строк, соответствующих шаблону
Чтение данных для вставки из файла
Выше мы рассматривали приёмы вставки данных в поток, указывая то, что надо вставить, прямо при вызове sed. В качестве источника данных можно воспользоваться и файлом. Для этого служит команда r , которая позволяет вставлять в поток данные из указанного файла. При её вызове можно указать номер строки, после которой надо вставить содержимое файла, или шаблон.Рассмотрим пример:
$ sed "3r newfile" myfile
Вставка в поток содержимого файла
Тут содержимое файла newfile было вставлено после третьей строки файла myfile .
Вот что произойдёт, если применить при вызове команды r шаблон:
$ sed "/test/r newfile" myfile
Использование шаблона при вызове команды r
Содержимое файла будет вставлено после каждой строки, соответствующей шаблону.
Пример
Представим себе такую задачу. Есть файл, в котором имеется некая последовательность символов, сама по себе бессмысленная, которую надо заменить на данные, взятые из другого файла. А именно, пусть это будет файл newfile , в котором роль указателя места заполнения играет последовательность символов DATA . Данные, которые нужно подставить вместо DATA , хранятся в файле data .Решить эту задачу можно, воспользовавшись командами r и d потокового редактора sed:
$ Sed "/DATA>/ {
r newfile
d}" myfile
Замена указателя места заполнения на реальные данные
Как видите, вместо заполнителя DATA sed добавил в выходной поток две строки из файла data .
Итоги
Сегодня мы рассмотрели основы работы с потоковым редактором sed. На самом деле, sed - это огромнейшая тема. Его изучение вполне можно сравнить с изучением нового языка программирования, однако, поняв основы, вы сможете освоить sed на любом необходимом вам уровне. В результате ваши возможности по обработке с его помощью текстов будет ограничивать лишь воображение.На сегодня это всё. В следующий раз поговорим о языке обработки данных awk.
Уважаемые читатели! А вы пользуетесь sed в повседневной работе? Если да - поделитесь пожалуйста опытом.
В прошлый раз мы говорили о функциях в bash-скриптах, в частности, о том, как вызывать их из командной строки. Наша сегодняшняя тема - весьма полезный инструмент для обработки строковых данных - утилита Linux, которая называется sed. Её часто используют для работы с текстами, имеющими вид лог-файлов, конфигурационных и других файлов.
Если вы, в bash-скриптах, каким-то образом обрабатываете данные, вам не помешает знакомство с инструментами sed и gawk. Тут мы сосредоточимся на sed и на работе с текстами, так как это - очень важный шаг в нашем путешествии по бескрайним просторам разработки bash-скриптов.
Сейчас мы разберём основы работы с sed, а так же рассмотрим более трёх десятков примеров использования этого инструмента.
Основы работы с sed
Утилиту sed называют потоковым текстовым редактором. В интерактивных текстовых редакторах, наподобие nano, с текстами работают, используя клавиатуру, редактируя файлы, добавляя, удаляя или изменяя тексты. Sed позволяет редактировать потоки данных, основываясь на заданных разработчиком наборах правил. Вот как выглядит схема вызова этой команды: $ sed options file
По умолчанию sed применяет указанные при вызове правила, выраженные в виде набора команд, к STDIN . Это позволяет передавать данные непосредственно sed.
Например, так:
$ echo "This is a test" | sed "s/test/another test/"
Вот что получится при выполнении этой команды.
Простой пример вызова sed
В данном случае sed заменяет слово «test» в строке, переданной для обработки, словами «another test». Для оформления правила обработки текста, заключённого в кавычки, используются прямые слэши. В нашем случае применена команда вида s/pattern1/pattern2/ . Буква «s» - это сокращение слова «substitute», то есть - перед нами команда замены. Sed, выполняя эту команду, просмотрит переданный текст и заменит найденные в нём фрагменты (о том - какие именно, поговорим ниже), соответствующие pattern1 , на pattern2 .
Выше приведён примитивный пример использования sed, нужный для того, чтобы ввести вас в курс дела. На самом деле, sed можно применять в гораздо более сложных сценариях обработки текстов, например - для работы с файлами.
Ниже показан файл, в котором содержится фрагмент текста, и результаты его обработки такой командой:
$ sed "s/test/another test" ./myfile
Текстовый файл и результаты его обработки
Здесь применён тот же подход, который мы использовали выше, но теперь sed обрабатывает текст, хранящийся в файле. При этом, если файл достаточно велик, можно заметить, что sed обрабатывает данные порциями и выводит то, что обработано, на экран, не дожидаясь обработки всего файла.
Sed не меняет данные в обрабатываемом файле. Редактор читает файл, обрабатывает прочитанное, и отправляет то, что получилось, в STDOUT . Для того, чтобы убедиться в том, что исходный файл не изменился, достаточно, после того, как он был передан sed, открыть его. При необходимости вывод sed можно перенаправить в файл, возможно - перезаписать старый файл. Если вы знакомы с одним из предыдущих материалов этой серии, где речь идёт о перенаправлении потоков ввода и вывода, вы вполне сможете это сделать.
Выполнение наборов команд при вызове sed
Для выполнения нескольких действий с данными, используйте ключ -e при вызове sed. Например, вот как организовать замену двух фрагментов текста: $ sed -e "s/This/That/; s/test/another test/" ./myfile
Использование ключа -e при вызове sed
К каждой строке текста из файла применяются обе команды. Их нужно разделить точкой с запятой, при этом между окончанием команды и точкой с запятой не должно быть пробела.
Для ввода нескольких шаблонов обработки текста при вызове sed, можно, после ввода первой одиночной кавычки, нажать Enter, после чего вводить каждое правило с новой строки, не забыв о закрывающей кавычке:
$ sed -e "
> s/This/That/
> s/test/another test/" ./myfile
Вот что получится после того, как команда, представленная в таком виде, будет выполнена.
Другой способ работы с sed
Чтение команд из файла
Если имеется множество команд sed, с помощью которых надо обработать текст, обычно удобнее всего предварительно записать их в файл. Для того, чтобы указать sed файл, содержащий команды, используют ключ -f:Вот содержимое файла mycommands:
S/This/That/
s/test/another test/
Вызовем sed, передав редактору файл с командами и файл для обработки:
$ sed -f mycommands myfile
Результат при вызове такой команды аналогичен тому, который получался в предыдущих примерах.
Использование файла с командами при вызове sed
Флаги команды замены
Внимательно посмотрите на следующий пример. $ sed "s/test/another test/" myfile
Вот что содержится в файле, и что будет получено после его обработки sed.
Исходный файл и результаты его обработки
Команда замены нормально обрабатывает файл, состоящий из нескольких строк, но заменяются только первые вхождения искомого фрагмента текста в каждой строке. Для того, чтобы заменить все вхождения шаблона, нужно использовать соответствующий флаг.
Схема записи команды замены при использовании флагов выглядит так:
S/pattern/replacement/flags
Выполнение этой команды можно модифицировать несколькими способами.
- При передаче номера учитывается порядковый номер вхождения шаблона в строку, заменено будет именно это вхождение.
- Флаг g указывает на то, что нужно обработать все вхождения шаблона, имеющиеся в строке.
- Флаг p указывает на то, что нужно вывести содержимое исходной строки.
- Флаг вида w file указывает команде на то, что нужно записать результаты обработки текста в файл.
$ sed "s/test/another test/2" myfile
Вызов команды замены с указанием позиции заменяемого фрагмента
Тут мы указали, в качестве флага замены, число 2. Это привело к тому, что было заменено лишь второе вхождение искомого шаблона в каждой строке. Теперь опробуем флаг глобальной замены - g:
$ sed "s/test/another test/g" myfile
Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.
Глобальная замена
Флаг команды замены p позволяет выводить строки, в которых найдены совпадения, при этом ключ -n , указанный при вызове sed, подавляет обычный вывод:
$ sed -n "s/test/another test/p" myfile
Как результат, при запуске sed в такой конфигурации на экран выводятся лишь строки (в нашем случае - одна строка), в которых найден заданный фрагмент текста.
Использование флага команды замены p
Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:
$ sed "s/test/another test/w output" myfile
Сохранение результатов обработки текста в файл
Хорошо видно, что в ходе работы команды данные выводятся в STDOUT , при этом обработанные строки записываются в файл, имя которого указано после w .
Символы-разделители
Представьте, что нужно заменить /bin/bash на /bin/csh в файле /etc/passwd . Задача не такая уж и сложная: $ sed "s/\/bin\/bash/\/bin\/csh/" /etc/passwd
Однако, выглядит всё это не очень-то хорошо. Всё дело в том, что так как прямые слэши используются в роли символов-разделителей, такие же символы в передаваемых sed строках приходится экранировать. В результате страдает читаемость команды.
К счастью, sed позволяет нам самостоятельно задавать символы-разделители для использования их в команде замены. Разделителем считается первый символ, который будет встречен после s:
$ sed "s!/bin/bash!/bin/csh!" /etc/passwd
В данном случае в качестве разделителя использован восклицательный знак, в результате код легче читать и он выглядит куда опрятнее, чем прежде.
Выбор фрагментов текста для обработки
До сих пор мы вызывали sed для обработки всего переданного редактору потока данных. В некоторых случаях с помощью sed надо обработать лишь какую-то часть текста - некую конкретную строку или группу строк. Для достижения такой цели можно воспользоваться двумя подходами:- Задать ограничение на номера обрабатываемых строк.
- Указать фильтр, соответствующие которому строки нужно обработать.
$ sed "2s/test/another test/" myfile
Обработка только одной строки, номер который задан при вызове sed
Второй вариант - диапазон строк:
$ sed "2,3s/test/another test/" myfile
Обработка диапазона строк
Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:
$ sed "2,$s/test/another test/" myfile
Обработка файла начиная со второй строки и до конца
Для того, чтобы обрабатывать с помощью команды замены только строки, соответствующие заданному фильтру, команду надо вызвать так:
$ sed "/likegeeks/s/bash/csh/" /etc/passwd
По аналогии с тем, что было рассмотрено выше, шаблон передаётся перед именем команды s .
Обработка строк, соответствующих фильтру
Тут мы использовали очень простой фильтр. Для того, чтобы в полной мере раскрыть возможности данного подхода, можно воспользоваться регулярными выражениями. О них мы поговорим в одном из следующих материалов этой серии.
Удаление строк
Утилита sed годится не только для замены одних последовательностей символов в строках на другие. С её помощью, а именно, используя команду d , можно удалять строки из текстового потока.Вызов команды выглядит так:
$ sed "3d" myfile
Мы хотим, чтобы из текста была удалена третья строка. Обратите внимание на то, что речь не идёт о файле. Файл останется неизменным, удаление отразится лишь на выводе, который сформирует sed.
Удаление третьей строки
Если при вызове команды d не указать номер удаляемой строки, удалены будут все строки потока.
Вот как применить команду d к диапазону строк:
$ sed "2,3d" myfile
Удаление диапазона строк
А вот как удалить строки, начиная с заданной - и до конца файла:
$ sed "3,$d" myfile
Удаление строк до конца файла
Строки можно удалять и по шаблону:
$ sed "/test/d" myfile
Удаление строк по шаблону
При вызове d можно указывать пару шаблонов - будут удалены строки, в которых встретится шаблон, и те строки, которые находятся между ними:
$ sed "/second/,/fourth/d" myfile
Удаление диапазона строк с использованием шаблонов
Вставка текста в поток
С помощью sed можно вставлять данные в текстовый поток, используя команды i и a:- Команда i добавляет новую строку перед заданной.
- Команда a добавляет новую строку после заданной.
$ echo "Another test" | sed "i\First test "
Команда i
Теперь взглянем на команду a:
$ echo "Another test" | sed "a\First test "
Команда a
Как видно, эти команды добавляют текст до или после данных из потока. Что если надо добавить строку где-нибудь посередине?
Тут нам поможет указание номера опорной строки в потоке, или шаблона. Учтите, что адресация строк в виде диапазона тут не подойдёт. Вызовем команду i , указав номер строки, перед которой надо вставить новую строку:
$ sed "2i\This is the inserted line." myfile
Команда i с указанием номера опорной строки
Проделаем то же самое с командой a:
$ sed "2a\This is the appended line." myfile
Команда a с указанием номера опорной строки
Обратите внимание на разницу в работе команд i и a . Первая вставляет новую строку до указанной, вторая - после.
Замена строк
Команда c позволяет изменить содержимое целой строки текста в потоке данных. При её вызове нужно указать номер строки, вместо которой в поток надо добавить новые данные: $ sed "3c\This is a modified line." myfile
Замена строки целиком
Если воспользоваться при вызове команды шаблоном в виде обычного текста или регулярного выражения, заменены будут все соответствующие шаблону строки:
$ sed "/This is/c This is a changed line of text." myfile
Замена строк по шаблону
Замена символов
Команда y работает с отдельными символами, заменяя их в соответствии с переданными ей при вызове данными: $ sed "y/123/567/" myfile
Замена символов
Используя эту команду, нужно учесть, что она применяется ко всему текстовому потоку, ограничить её конкретными вхождениями символов нельзя.
Вывод номеров строк
Если вызвать sed, использовав команду = , утилита выведет номера строк в потоке данных: $ sed "=" myfile
Вывод номеров строк
Потоковый редактор вывел номера строк перед их содержимым.
Если передать этой команде шаблон и воспользоваться ключом sed -n , выведены будут только номера строк, соответствующих шаблону:
$ sed -n "/test/=" myfile
Вывод номеров строк, соответствующих шаблону
Чтение данных для вставки из файла
Выше мы рассматривали приёмы вставки данных в поток, указывая то, что надо вставить, прямо при вызове sed. В качестве источника данных можно воспользоваться и файлом. Для этого служит команда r , которая позволяет вставлять в поток данные из указанного файла. При её вызове можно указать номер строки, после которой надо вставить содержимое файла, или шаблон.Рассмотрим пример:
$ sed "3r newfile" myfile
Вставка в поток содержимого файла
Тут содержимое файла newfile было вставлено после третьей строки файла myfile .
Вот что произойдёт, если применить при вызове команды r шаблон:
$ sed "/test/r newfile" myfile
Использование шаблона при вызове команды r
Содержимое файла будет вставлено после каждой строки, соответствующей шаблону.
Пример
Представим себе такую задачу. Есть файл, в котором имеется некая последовательность символов, сама по себе бессмысленная, которую надо заменить на данные, взятые из другого файла. А именно, пусть это будет файл newfile , в котором роль указателя места заполнения играет последовательность символов DATA . Данные, которые нужно подставить вместо DATA , хранятся в файле data .Решить эту задачу можно, воспользовавшись командами r и d потокового редактора sed:
$ Sed "/DATA>/ {
r newfile
d}" myfile
Замена указателя места заполнения на реальные данные
Как видите, вместо заполнителя DATA sed добавил в выходной поток две строки из файла data .
Итоги
Сегодня мы рассмотрели основы работы с потоковым редактором sed. На самом деле, sed - это огромнейшая тема. Его изучение вполне можно сравнить с изучением нового языка программирования, однако, поняв основы, вы сможете освоить sed на любом необходимом вам уровне. В результате ваши возможности по обработке с его помощью текстов будет ограничивать лишь воображение.На сегодня это всё. В следующий раз поговорим о языке обработки данных awk.
Уважаемые читатели! А вы пользуетесь sed в повседневной работе? Если да - поделитесь пожалуйста опытом.
Многие из Вас наверняка применяли потоковый текстовый редактор sed для каких-то своих целей, если нет — я буду рад Вам о нем рассказать, постараюсь подробней. Почему называется — потоковым? Ответ прост — представьте входной текстовый документ который проходит через программу и в итоге получается некая другая форма данного файла, обработанного программой. Своего рода мясорубка — кладешь мясо, исходя из сетки — получаешь либо фарш либо что-то иное.
Итак, по умолчанию вроде как данная утилита уже должна быть у Вас в системе (в моем случае в Debian 7.6 она уже у меня была), если нет, то —
С текстом:
параметр «s» в начале указывает что нужно заменить текст, g — в конце заменяемого текста — то что необходимо это сделать глобально (по всему файлу)
К примеру, мы хотим в нашем файле text.txt заменить слово Sergey на Andrey и все это выгрузим в файл textout.txt, действуем:
sed "s/Sergey/Andrey/g" text . txt > textout . txt |
Результат:
Если хотите делать замены на специальные символы — к примеру на символ &, то необходимо перед спец. символом поставить обратный слэш «\», если необходимо указать что нужно sed’у обратить на начало строки, используется спец символ «^». Кроме того, в одной строке можно написать 2 и более изменений разделив их точкой с запяток — «;». К примеру, мучаем уже измененный файл textout.txt. Для начала покажу текущее содержание файла textout.txt ещё раз:
root @ testhostname : ~ # cat textout.txt Test for Andrey Test 2 for Andrey Test 3 for Andrey |
Теперь вводим команду:
sed "s/for/\&/g;s/^Test/Sergey/g" textout . txt > textout2 . txt |
Тем самым нас вместо слова for ставиться значок & (спец символ вводиться с символом «\» перед спецсимволом), затем знак разделения (чтобы все изменения написать в одной строке sed’а -> «;» , вместо слова в начале строки «Test» ставиться слово Sergey, итог того что получилось:
Все как мы и хотели!
Так, же sed является хорошим помощником при просмотре логов. К примеру нам необходимо выгрузить все строки сегодняшней даты (пусть в нашем случае это 10 октября) из файла с логами /var/log/messages в файл testlog.txt, приступим:
sed - n "/^Oct 10/ p" / var / log / messages > testlog . txt |
тут у нас добавился параметр -n , а далее — ‘/^Oct 10/ — имеется ввиду что строка должна начинаться с даты 10 октября, далее параметр p — означающий print (печать содержимого при данном условии), далее файл источник и файл куда мы скинем результаты по нашему условию фильтра, запускаем, смотрим, что файл testlog.txt у нас содержит исключительно 10 октября:
Отлично! Если много строк не нужно, а условно есть необходимость взять только с первой по пятую строку, разделяем наш текущий запрос знаком «|» убирая выгрузку в файл testlog.txt и пишем sed -n 1,5p — что значит что нам нужно вывести (p — print в конце выражения) с первой «1» по (через запятую) пятую «5» строку. Итого у нас получиться нечто следующее:
sed - n "/^Oct 10/ p" / var / log / messages | sed - n 1 , 5p > testlog - 5strok.txt |
Ещё раз обращаю внимание что файл куда мы выгружаем результаты — перенесен в конец (testlog-5strok.txt), видим результат наших деяний:
Редактор потоков sed – это неинтерактивный текстовый редактор, выполняющий операции на данных, поступающих из стандартного ввода или из файла. Sed редактирует информацию построчно.
В были описаны основы работы с редактором sed. Данное руководство охватывает более продвинутые приёмы.
Объединение команд
Иногда возникает необходимость передать редактору sed несколько команд одновременно. Это делается несколькими способами.
Если у вас ещё нет тестового файла для работы с sed, создайте следующее окружение:
cd
cp /usr/share/common-licenses/BSD .
cp /usr/share/common-licenses/GPL-3 .
echo "this is the song that never ends
not knowing what it was
just because..." > annoying.txt
Поскольку sed работает со стандартным вводом и выводом, можно, конечно, просто вызвать различные команды sed вместе в одной строке:
sed "s/and/\&/" annoying.txt | sed "s/people/horses/"
yes, it goes on & on, my friend
some horses started singing it
not knowing what it was
& they"ll continue singing it forever
just because...
Такой метод сработает, но несколько вызовов sed создают излишнюю нагрузку, занимают больше места и не используют встроенных возможностей sed.
Передать sed несколько команд одновременно можно при помощи опции –e, которую нужно вставить перед каждой командой:
sed -e "s/and/\&/" -e "s/people/horses/" annoying.txt
Также можно объединить команды в строку при помощи символа точки с запятой. Этот метод работает точно так же как и предыдущий.
sed "s/and/\&/;s/people/horses/" annoying.txt
Обратите внимание: при использовании флага –e возникает необходимость разрывать одиночные кавычки, а при использовании точки с запятой все команды можно перечислить в одних кавычках.
Эти два способа одновременного вызова нескольких команд достаточно удобны, однако бывают случаи, когда требуется использовать простую строку команд.
Также следует ознакомиться с оператором =. Этот оператор вставляет номер строки между каждой существующей строкой. Результат выглядит следующим образом:
sed "=" annoying.txt
1
this is the song that never ends
2
yes, it goes on and on, my friend
3
some people started singing it
4
not knowing what it was
5
and they"ll continue singing it forever
6
just because...
Теперь попробуйте отредактировать текст, чтобы понять, как меняется формат нумерации.
Команда G по умолчанию добавляет пустую строку между уже существующими строками.
sed "G" annoying.txt
_
this is the song that never ends
_
yes, it goes on and on, my friend
_
some people started singing it
_
not knowing what it was
_
and they"ll continue singing it forever
_
just because...
Попробуйте скомбинировать эти две команды. Сначала может показаться, что вывод этих команд будет содержать пустую строку между строкой текста и строкой с номером. Однако вывод выглядит так:
sed "=;G" annoying.txt
1
this is the song that never ends
_
2
yes, it goes on and on, my friend
_
3
some people started singing it
_
4
not knowing what it was
. . .
. . .
Это происходит потому, что оператор = изменяет поток вывода (это значит, что использовать полученный вывод для дальнейшего редактирования нельзя).
Это можно обойти при помощи двух вызовов sed, где первый вызов будет восприниматься как простой поток текста для второго.
sed "=" annoying.txt | sed "G"
1
_
this is the song that never ends
_
2
_
yes, it goes on and on, my friend
_
3
_
some people started singing it
. . .
. . .
Имейте в виду, некоторые из команд работают аналогичным образом, особенно если вы объединяете несколько команд и вывод отличается от ожидаемого.
Продвинутая адресация
Одним из преимуществ команд sed, поддерживающих адресацию, является то, что они могут использовать регулярные выражения в качестве критериев. Это означает, что можно работать с файлами, содержимое которых точно не известно.
sed "1,3s/.*/Hello/" annoying.txt
Hello
Hello
Hello
not knowing what it was
and they"ll continue singing it forever
just because...
Вместо этого можно использовать регулярное выражение, находящее только строки, содержащие определенный шаблон. Для этого нужно поместить шаблон поиска между двумя слешами (/) перед командой.
sed "/singing/s/it/& loudly/" annoying.txt
this is the song that never ends
yes, it goes on and on, my friend
some people started singing it loudly
not knowing what it was
and they"ll continue singing it loudly forever
just because...
В этом примере слово loudly помещается перед первым it в каждой строке, содержащей слово singing. Обратите внимание: вторая и четвёртая строки остались без изменений, поскольку они не отвечают шаблону.
Выражения для адресации можно усложнить. Это делает команды более гибкими.
Следующий пример демонстрирует, как использовать регулярные выражения для генерации адресов для других команд. Эта команда находит все пустые строки и удаляет их:
sed "/^$/d" GPL-3
GNU GENERAL PUBLIC LICENSE
Version 3, 29 June 2007
Copyright (C) 2007 Free Software Foundation, Inc.
Everyone is permitted to copy and distribute verbatim copies
of this license document, but changing it is not allowed.
Preamble
The GNU General Public License is a free, copyleft license for
. . .
. . .
Имейте в виду, что регулярные выражения могут быть использованы в любой части диапазона.
К примеру, можно удалить строки между строками START и END:
sed "/^START$/,/^END$/d" inputfile
Имейте в виду: эта команда удалит все строки от первого найденного слова START до первого найденного слова END, и если затем она снова встретит слово START, она продолжит удалять данные.
Чтобы инвертировать адресацию (то есть выбрать строки, которые не соответствуют шаблону), используйте восклицательный знак (!).
К примеру, чтобы удалить любую заполненную строку, нужно ввести:
sed "/^$/!d" GPL-3
Адрес не обязательно должен быть сложным выражением, чтобы быть инвертированным. Инверсия точно так же работает с обычной нумерацией.
Использование дополнительного буфера
Дополнительный буфер (hold buffer) увеличивает способность sed выполнять многострочное редактирование.
Дополнительный буфер представляет собой область временного хранения, которая может быть изменена путем определенных команд.
Наличие этого дополнительного буфера позволяет хранить строки во время работы над другими строками.
Команды для работы с буфером:
- h: копирует текущий буфер обработки (последней совпавшей строки, с которой вы работаете) в дополнительный буфер.
- H: Добавляет текущий буфер обработки в конец текущей дополнительной обработки, разделяя их символом \n.
- g: Копирует текущий дополнительный буфер в текущий буфер обработки. Предыдущий буфер обработки будет утерян.
- G: Добавляет текущий шаблон в текущий буфер обработки, разделяя их символом \n.
- x: Подкачивает текущий шаблон и дополнительный буфер.
С контентом дополнительного буфера нельзя работать до тех пор, пока он не перемещён в буфер обработки.
Рассмотрим сложный пример.
Попробуйте соединить смежные строки при помощи следующей команды:
sed -n "1~2h;2~2{H;g;s/\n/ /;p}" annoying.txt
Примечание : На самом деле, для этого sed предлагает отдельную встроенную команду N; но для практики рассмотреть этот пример полезно.
Опция –n подавляет автоматический вывод.
1~2h – определение адреса, выполняющее последовательную замену каждой второй строки текста, начина с первой (то есть каждой нечётной строки). Команда h копирует совпавшие строки в дополнительный буфер.
Остальная часть команды взята в фигурные скобки. Это означает, что эта часть команды будут наследовать адрес, который был только что указан. Без этих скобок, наследовать адрес будет только команда H, а остальные команды будут выполняться для каждой строки.
Конечно, ранее упомянутая встроенная команда N значительно короче и проще, и возвращает такой же результат:
sed -n "N;s/\n/ /p" annoying.txt
this is the song that never ends yes, it goes on and on, my friend
some people started singing it not knowing what it was
and they"ll continue singing it forever just because...
Скрипты sed
Команды можно компоновать в скрипты. Это позволяет выполнять целый набор команд на один целевой шаблон.
К примеру, можно написать скрипт, чтобы создавать простые текстовые сообщения, которые нужно предварительно отформатировать.
Тогда вам не придётся постоянно повторять одни и те же команды для каждого сообщения. По сути, скрипт sed – это список команд, которые нужно применить на заданный объект.
Например:
s/this/that/g
s/snow/rain/g
1,5s/pinecone/apricot/g
Затем можно вызвать файл:
sed -f sedScriptName fileToEdit
Заключение
Теперь вы знаете более продвинутые методы работы с sed.
Сначала команды sed сложны для понимания, в них легко запутаться. Потому рекомендуется поэкспериментировать с ними, прежде чем использовать их на важных данных.
Tags: ,
