uzverss

Первая команда "awk" выведет вторые поля

(благодаря позиционной переменной "$2") строк, содержащие

"до". (Кстати, позиционная переменная "$0"

соответсвует всей строке). Во втором случае, благодаря флагу "-F"

стандартные разделители заменены на символ "0", т.е.

теперь выбранные строки воспринимаются, как разбитые на следующие

поля:

Сидоров С.К. 1979 40

---------------------^--------------------

1-е поле 2-е поле (пусто)


Хведоров И.Х. 1970 60

-----------------^---^--------------------

1-е поле 2-е 3-е поле (пусто)


    2) awk [-Fc] -f prog.awk [files]

Флаг "-f" говорит о том, что awk-программу

надо брать из файла, имя которого указано следом (имя может быть

произвольным и расширение ".awk" добавлено здесь просто

из эстетических соображений).

3. awk-переменные и выражения

В языке awk выделяются две группы переменных: предопределенные

и декларированные в программе. Исходные значения предопределенных

переменных устанавливаются интерпретатором awk в процессе запуска

и выполнения awk-программы.

Прочим переменным пользователь может присваивать начальные значения.

По умолчанию "0" или пустая строка (что здесь равнозначно!).

Типы переменных:

• позиционные,
  
  
• числа с плавающей точкой,
  
  
• строка символов,
  
  
• массив.
  
  

Интерпретатор awk рассматривает переменную как строковую,

пока не возникает необходимость выполнить операции:

• если пробел (конкатенация), то строки;
  
  
• если "+", то числа с плавающей точкой.
  
  

Примеры:

1. awk '{a = $3 $4; print a}' f-awk

awk '{a = $3+$4; print a}' f-awk

198050

197940

197940

197060

2030

2019

2019

2030



2. awk '{}

END {a = 2 + 2 ; print a}' < f-awk

awk '{}

END {a = 2 + "2" ; print a}' < f-awk

awk '{}

END {a = 2 + "два" ; print a}' < f-awk

awk '{}

END {a = "два"+"два" ; print a}' < f-awk

awk '{}

END {a = 2.2 + 2.000 ; print a}' < f-awk

4

4

2

0

4.2

Массив не об'является, а начинае существовать в момент

первого использования. Индекс массива - любое ненулевое значение

или строка. Массивы ассоциативные, т.е. не по вычисляемому индексу,

а по совпадению содержания, например:

day [Jan][31] = Mon

day [Feb][01] = Tue

day [Feb][02] = Wed

Массивы удобно использовать при суммированиях, например

записи выплат имеют вид (файл "p-1"):

John 100

Mary 200

Mary 200

John 100

John 300



awk '{sum[$1] += $2; print $1 sum[$1]} ' < p-1

Результат (поименный нарастающий итог):

John100

Mary200

Mary400

John200

John500

4. Примеры awk-программ

1) awk '{print ($2, $3)}' f-awk

И.И. 1980

А.В. 1979

С.К. 1979

И.Х. 1970

2) awk '/е/ {print ($2, $3)}' f-awk

А.В. 1979

И.Х. 1970

3) awk '/е/ {print ($1, 2000 - $3)}' f-awk

Петров 21

Хведоров 30


4) awk '{ s = s + $4}

END {print ("Суммарный возраст:" s)

print ("Средний возраст:" s/NR)}' f-awk

Суммарный возраст:190

Средний возраст:47.5


5) awk '{ s += $4 }

{print("NR="NR, "NF="NF)}

END {print ("FILENAME=" FILENAME)

print ("Значение позиционной переменной" $4 "\"пусто\" \

после окончания просмотра)")

print ("Суммарный возраст:" s)

print ("Средний возраст:" s/NR)}' f-awk

NR=1 NF=4

NR=2 NF=4

NR=3 NF=4

NR=4 NF=4

FILENAME=f-awk

Значение позиционной переменной"пусто"

(после окончания просмотра)

Суммарный возраст:190

Средний возраст:47.5 

5. Селекторы

Здесь "селектор" следует понимать, как

расширение понятия "шаблон", поскольку там где в структуре

команды указан шаблон, в общем случае может стоять любой селектор.

Замечание. Открывающая

скобка действия "{" должна быть в строке селектора.

В качестве селектора может быть:

1. выражение;
   
   
2. шаблон;
   
   
3. их комбинация.
   
   

Соответствующие примеры:

1) $3 != $4 && $3 > 1970

$3 % 2 == 1

$1=="Иванов" - кавычки, чтобы воспринималось, как строка.


2) /ab/ отлично от /a b/, / ab/ и /ab /

Nполя ^шаблон - по совпадению

Nполя !^шаблон - по несовпадению

awk '$3~0 {print} ' < f-awk

echo

awk '$3!~0 {print} ' < f-awk



Иванов И.И. 1980 50

Хведоров И.Х. 1970 60 

Петров А.В. 1979 40

Сидоров С.К. 1979 40

3) Шаблон может формировать множество образцов или

указывать, в каком месте поля искать:

Примеры сочетаний:

awk ' $3~/(7[0-9])$/ {print} ' f-awk

Петров А.В. 1979 40

Сидоров С.К. 1979 40

Хведоров И.Х. 1970 60

То есть в третьем поле выделить 70-е годы (7 и еще

одна цифра от конца поля).

6. Еще примеры

1) awk '$1=="Иванов" {print} ' f-awk

Иванов И.И. 1980 50


2) awk '$4/2==30 {print} ' f-awk

Хведоров И.Х. 1970 60


3) awk '$3 != $4 && $3 > 1970 {print} ' f-awk

Иванов И.И. 1980 50

Петров А.В. 1979 40

Сидоров С.К. 1979 40


4) awk '$1~/нов$/ {print} ' f-awk

Иванов И.И. 1980 50


5) awk '/^Ив|дор/ {print} ' f-awk

Иванов И.И. 1980 50

Сидоров С.К. 1979 40

Хведоров И.Х. 1970 60


6) awk '/1980/,/1979/ {print} ' f-awk

Иванов И.И. 1980 50

Петров А.В. 1979 40 

7. Действия

В awk возможны следующие действия:

1. присваивания выражений;
   
   
2. операторы управления
   
   
3. операторы вывода;
   
   
4. встроенные функции.
   
   

Операторы управления

Простейшие операторы

Структурные операторы

if (условие) {операторы} [else {операторы}]

while (условие) {операторы}

for (выражение; условие; выражение) {операторы}

for (индекс in имя_массива) {операторы}

Структурные операторы в значительной степени аналогичны

соответствующим операторам Си. В последнем случае для каждого

индекса выполняется блок. Текстовые индексы рассматриваются в

лексикографическом порядке.

Примеры

1) awk ' $4~/40/ {if($3<=1980) {print("Фамилия: " $1 )

M["40"]++}}

$4~/50/ {M["50"]++}

END {for(i in M)

{print(" i =" i " M[" i "]=" M[i])}} ' f-awk

Фамилия: Петров

Фамилия: Сидоров

i =40 M[40]=2

i =50 M[50]=1


2) awk ' BEGIN {ORS = " "}

{ for(k=NF; k>0; --k) {print $k}

{print RS}

} ' f-awk |

sed 's/^ //'

50 1980 И.И. Иванов 

40 1979 А.В. Петров 

40 1979 С.К. Сидоров 

60 1970 И.Х. Хведоров 

Здесь, кроме изменения очередности полей в строке

на противоположное (что делает цикл "for"), предварительно

устанавливается выходной разделитель - пробел и весь результат

предварительно выдается в одну строку, поэтому после обработки

каждой строки выдается команда "print RS" для перевода

выходной строки. Редактор "sed" подключен через конвейер,

чтобы убрать возможные пробелы в начале строки. Существенная деталь.

Если запустить лишь базовую структуру

awk '{ for(k=NF; k>0; --k) {print $k}}' f-awk

то все поля исходной таблицы с изменениями порядка

внутри прежних строк получим вытянутыми в один столбец переводом

строки:

50

1980

И.И.

Иванов

40

1979

А.В.

Петров

40

1979

С.К.

Сидоров

60

1970

И.Х.

Хведоров

Однако, если поставим ";" сразу после условия,

т.е. сделаем пустое тело цикла, за пределы которого вынесен "print

$k"

awk '{ for(k=NF; k>0; --k); {print $k}}' f-awk

то получим исходную таблицу

Иванов И.И. 1980 50

Петров А.В. 1979 40

Сидоров С.К. 1979 40

Хведоров И.Х. 1970 60

поскольку "$k" после выхода из цикла будет

иметь значение "0", а "$0" - соответсвует

всей строке в качестве значения(!), то "print $k" будет

после каждого цикла печатать полные строки.

8. Ввод и вывод данных

В общем случае в команде awk может быть указано несколько

файлов. Напомним форматы вызова команды:

awk [-Fc] 'prog.awk' [file ...]

awk [-Fc] -f prog.awk [file ...]

^

Файлы обрабатываются последовательно в указанном

порядке. Это можно использовать для "настройки" awk

команды при обработке последующих файлов.

Пусть файл "f0" имеет вид:

60 Сидоров

А файл awk-программы "prim.awk" имеет вид:

FILENAME == "f0" { # если просматривается файл "f0"

w1 = $2 # присваиваются значения переменным

w2 = $1 # w1 - Сидоров, w2 - 60

}

$1 == w1 { print ("фамилия: "$1)} # означенные переменные

$4 == w2 { print ("годы: " $4)} # используются в

# селекторах

Тогда при вызове команды

awk -f prim.awk f0 f-awk

фамилия: Сидоров

годы: 60

То есть второе поле файла "f0" дает значение

переменной "w1", а первое - "w2". Эти переменные

используются в селекторах при обработке файла "f-awk".

Изменим программу в файле "f-awk":

FILENAME == "f0" {

w1 = $2

w2 = $1

next

}

{ print ("фамилия: "$1); next}

$4 == w2 { print ("годы: " $4)}

фамилия: Иванов

фамилия: Петров

фамилия: Сидоров

фамилия: Хведоров

Если исключить первый оператор "next",

то в выходном файле появится дополнительно первая строка:

фамилия: 60

поскольку выбирается снова первое поле в певом файле

("f0"). Если исключить и второй "next", то

в выходном файле появится дополнительно последняя строка:

годы: 60

которая ранее не выводилась, так как в предшествующий

оператор " { print ("фамилия: "$1)}" заканчивал

работу на ПОСЛЕДНЕЙ строке файла "f-awk", поэтому "next"

пропускал последующую командную строку

$4 == w2 { print ("годы: " $4)}

И еще одна модификация в связи с вводом данных с

терминала. Вызов команды будет:

awk -f prim.awk f0 f-awk

А файл "prim.awk" примет вид:

BEGIN { print ("Введите годы и фамилию: ")}

FILENAME == "-" {

w1 = $2

w2 = $1

next

}

$1 == w1 { print ("фамилия: "$1); next}

$4 == w2 { print ("годы: " $4)}

9. Встроенные функции

Встроенные функции:

Примеры.

1) awk ' BEGIN {FS = "."; a=0}

length ($1) > 8 {print (length ($1), $0);

a++

}

END {print ("Найдено строк: " a) }' f-awk

9 Сидоров С.К. 1979 40

10 Хведоров И.Х. 1970 60

Найдено строк: 2

Здесь поля разделяются по ".", выбираются

строки у которых длина первого поля больше 8-ми, и их длина "length

($1)" печатается перед строкой "$0".

2) awk '{i=split($0, Name, ".");

for (j=1; j<=i; j++)

print ("Name[" j "]=" Name[j])

}' f-awk

Name[1]=Иванов И

Name[2]=И

Name[3]= 1980 50

Name[1]=Петров А

Name[2]=В

Name[3]= 1979 40

Name[1]=Сидоров С

Name[2]=К

Name[3]= 1979 40

Name[1]=Хведоров И

Name[2]=Х

Name[3]= 1970 60


3) awk '{print (length)}' f-awk

22

22

22

22

Поскольку все строки были выровнены пробелами, а

в длине строки учитываются все символы до конца строки.

4) awk '{printf "%7.2f %s\n", NR, $0}' f-awk

echo

awk '{printf "\t%s %s \n", NR, $0}' f-awk

1.00 Иванов И.И. 1980 50

2.00 Петров А.В. 1979 40

3.00 Сидоров С.К. 1979 40

4.00 Хведоров И.Х. 1970 60


1 Иванов И.И. 1980 50 

2 Петров А.В. 1979 40 

3 Сидоров С.К. 1979 40 

4 Хведоров И.Х. 1970 60