Grep, wyrażenia regularne, potoki i inne narzędzia do pracy na plikach

Poznaliśmy już podstawy pracy na plikach oraz znaki specjalne. Dziś zajmiemy się zawartością plików.

Grep czy egrep?

Polecenie grep (skrót od global regular expression print) wyświetla na konsoli linie z pliku, które pasują do podanego wyrażenia regularnego.

Składnia:

  
grep [opcje] [wyrażenie] [plik]

Wyrażenie regularne to zapis opisujący określony ciąg symboli. W poprzednich zajęciach poznaliśmy podstawowe wzorce (tzw. wildcardy). Dziś zajmiemy się bardziej zaawansowanymi wyrażeniami regularnymi.

Polecenie egrep (extended grep) to rozszerzona wersja grep, obsługująca zaawansowane wyrażenia regularne. Ten sam efekt uzyskamy, używając opcji -E w poleceniu grep:

grep -E

Wyrażenia regularne

Wyrażenia regularne działają na podobnej zasadzie jak wcześniej poznane symbole wieloznaczne, ale są bardziej złożone i oferują większe możliwości. Poniżej przedstawiono podstawowe elementy wyrażeń regularnych:

. – dowolny pojedynczy znak
? – poprzedni znak występuje 0 lub 1 raz
* – poprzedni znak występuje 0 lub więcej razy
+ – poprzedni znak występuje 1 lub więcej razy
{n} – poprzedni znak występuje dokładnie n razy
{n,m} – poprzedni znak występuje od n do m razy
[abc] – dowolny znak z podanych w nawiasie
[^abc] – dowolny znak, który nie jest jednym z podanych w nawiasie
() – grupowanie znaków lub wyrażeń
| – alternatywa (operacja logiczna OR)
^ – początek linii
$ – koniec linii (przyjmujemy tu znacznik LF; w przypadku Windowsowego CRLF może nie zostać wykryty)

Przykłady zastosowania

Otwórz plik lista_zakupów.txt. Zaczniemy od prostego polecenia:

egrep 'Lidl' lista_zakupów.txt

Polecenie to wypisze wszystkie pozycje zakupów, które mamy zrobić w Lidlu. Jednak niektóre wpisy mogą być zapisane od małej litery. Aby uwzględnić zarówno “Lidl”, jak i “lidl”, możemy użyć nawiasów kwadratowych:

egrep '[lL]idl' lista_zakupów.txt

Wyszukiwanie konkretnych ilości

Teraz wyszukamy produkty, które chcemy kupić w ilości dwóch sztuk. Jeśli użyjemy polecenia:

egrep '2' lista_zakupów.txt

otrzymamy wszystkie pozycje zawierające cyfrę “2”, co nie jest naszym celem. Możemy spróbować dodać znak końca linii po “2”:

egrep '2$' lista_zakupów.txt

Jednak to nadal zwróci również pozycje, w których ilość to “12”, ponieważ kończą się na “2”. W tym przypadku pomocne będą skróty oznaczające klasy znaków:

\w – znaki słowne, czyli [A-Za-z0-9_]
\s – znaki białe, np. spacje, tabulatory
\d – cyfry od 0 do 9 (uwaga: grep od wersji 3.4 nie wspiera tego skrótu; zamiast tego używamy [0-9] lub [[:digit:]])

Aby wypisać wszystkie pozycje, które chcemy zakupić w ilości dokładnie 2 sztuk, użyjemy polecenia:

egrep '\s2$' lista_zakupów.txt

Wyszukiwanie produktów z konkretnych sklepów

Aby w pliku lista_zakupów.txt znaleźć wszystkie produkty, które zamierzamy kupić w Lidlu lub Auchan w ilości 2 sztuk, użyjemy polecenia:

egrep '([lL]idl|Auchan)\s\w*\s2$' lista_zakupów.txt

Potoki i przekierowania

Przypomnijmy podstawy dotyczące potoków i przekierowań. Co się stanie, gdy zastosujemy polecenie ls? Na konsoli zostanie wyświetlona lista plików i katalogów. Inne polecenie, które poznaliśmy wcześniej, to:

history > history.txt

To polecenie zapisuje całą historię poleceń do pliku history.txt. Między poleceniem history a nazwą pliku znajduje się znak przekierowania >, który przekazuje wynik działania polecenia po lewej stronie do pliku podanego po prawej stronie. W ten sposób, aby zapisać wynik polecenia ls do pliku, użyjemy:

ls > lista.txt

Na tej samej zasadzie możemy zapisać wynik działania polecenia grep do pliku.

Zasada działania

Każdy program (polecenie) ma trzy standardowe strumienie danych. Przetwarza dane wejściowe (STDIN) i generuje dane wyjściowe (STDOUT), które domyślnie są wyświetlane w terminalu. Dodatkowo może generować komunikaty błędów (STDERR). Potoki i przekierowania umożliwiają przekierowanie tych strumieni w inne miejsca.

> – przekierowuje wyjście (STDOUT) do pliku (nadpisuje zawartość)
>> – przekierowuje wyjście do pliku (dopisywanie na końcu pliku)
| – przekierowuje wyjście do innego programu (tworzy potok)
< – przekierowuje zawartość pliku na wejście programu (STDIN)
2> – przekierowuje strumień błędów (STDERR) do pliku

Przykład zastosowania

Dla przykładu, zapiszemy do pliku zabka.txt ponumerowaną listę zakupów z Żabki. W tym celu najpierw użyjemy polecenia grep, a następnie wynik jego działania przekażemy do polecenia nl (numerowanie linii), po czym zapiszemy dane wyjściowe do pliku:

  
egrep 'Żabka' lista_zakupow.txt | nl > zabka.txt

Zadanie

Z pliku komputery.txt znajdź wszystkie komputery z pierwszych 100 oraz ostatnich 150 linii (mogą przydać się polecenia z poprzednich zajęć), o oznaczeniu sekcji R, N lub Z. Ponumeruj je i zapisz do pliku PC.txt.

@Skrypt przygotowany na bazie pracy mgr inż. Michała Hyli. http://mhyla.com

Załącznik do laboratorium

Do wykonania zadań utworz plik komputery.txt i uzupełnij go ponizszymi danymi:

Numer_komputera	Sekcja	
R	700
N	130
E	300
B	120
F	200
B	500
M	800
A	300
F	340
W	260
M	500
V	300
G	390
F	200
F	800
G	400
K	300
K	300
H	300
Q	300
Y	300
F	300
J	300
U	300
Y	300
T	700
T	300
E	700
A	400
J	200
J	500
W	500
I	290
H	270
T	300
A	300
G	400
A	200
C	250
S	160
W	160
A	600
J	300
Z	700
O	300
N	300
Y	340
F	400
C	300
F	350
O	300
O	800
Z	800
N	390
G	290
G	800
I	200
T	500
X	700
H	300
R	500
B	300
Z	300
K	300
A	500
N	400
W	400
L	320
T	300
A	150
U	300
N	300
H	300
A	370
O	130
R	300
H	700
Q	400
I	300
R	600
R	310
E	500
B	350
S	370
R	220
E	800
Q	300
E	130
Q	160
K	300
K	300
A	300
G	140
D	100
M	320
H	800
N	600
B	300
C	370
Y	300
Y	300
Y	240
Z	600
J	300
C	360
G	300
H	200
U	320
B	700
W	300
U	290
J	200
C	300
R	400
G	600
X	800
N	300
G	140
O	270
Y	700
C	280
O	220
A	200
G	300
E	300
E	110
O	130
E	300
U	200
W	300
E	160
N	300
O	300
U	100
F	800
E	240
D	500
C	160
J	800
F	300
I	110
S	170
V	220
N	800
C	600
H	300
Z	400
O	160
U	600
O	100
K	100
N	400
T	280
N	800
G	330
L	500
A	260
Y	300
Y	220
O	300
L	300
I	700
S	400
A	800
K	300
J	500
Y	300
N	230
P	300
O	300
A	300
K	350
C	300
L	300
M	500
L	300
S	300
M	200
E	210
Z	300
Y	300
P	500
D	800
R	300
O	800
Q	250
V	170
R	500
E	310
H	290
D	500
X	300
A	270
F	300
T	300
F	280
D	600
Z	700
J	800
C	600
T	400
A	300
P	200
T	200
C	300
N	250
H	700
C	300
V	800
B	280
E	360
J	300
N	400
D	300
F	300
O	600
W	500
D	240
Y	300
P	300
S	400
B	800
N	200
U	300
P	170
W	200
M	800
S	400
O	300
T	340
G	200
E	160
Y	300
K	300
Z	200
X	400
M	300
C	500
S	310
H	300
W	300
H	230
W	500
O	800
I	300
G	300
O	700
U	300
V	200
P	700
C	400
W	250
W	300
J	600
X	320
J	700
M	320
Z	230
Q	800
Z	700
O	160
O	300
M	600
V	200
I	200
P	350
E	300
M	280
F	600
B	250
P	300
D	600
J	300
K	300
Z	140
X	300
V	500
V	300
R	500
W	300
H	300
R	370
T	200
H	350
B	300
J	200
K	350
R	600
F	110
I	200
F	100
F	800
C	300
U	700
Y	300
S	370
K	700
C	290
O	600
U	300
U	300
L	700
Y	200
M	140
L	300
L	300
V	300
V	200
H	300
H	140
Y	300
M	300
J	500
Y	500
E	300
R	300
J	500
E	600
G	500
M	300
I	230
J	350
Q	210
A	230
C	160
S	300
W	220
T	700
K	700
L	300
E	290
W	160
S	300
T	150
T	300
F	300
Y	300
R	300
Y	300
I	120
J	300
A	300
N	300
T	120
M	300
V	260
F	300
K	150
S	240
O	300
U	390
E	250
S	380
Q	270
I	600
O	290
Y	300
P	500
G	500
F	300
V	600
M	600
U	330
J	300
Z	800
P	340
I	290
Z	800
T	300
S	290
H	240
V	700
U	300
S	260
W	150
E	300
Q	300
Q	220
Z	300
I	300
E	600
Z	330
N	700
F	700
G	800
T	400
Y	300
M	330
D	600
L	300
B	300
H	200
U	300
J	600
P	800
F	300
V	300
S	230
Y	310
N	400
T	600
F	300
U	300
V	800
T	290
T	250
E	260
B	600
R	100
E	290
H	400
M	370
X	280
Y	300
Y	300
Y	210
T	300
C	700
A	600
N	190
H	200
E	260
I	390
G	390
C	370
I	390
I	300
X	200
W	300
Q	190
M	700
I	300
P	800
B	250
P	110
D	300
F	800
P	300
R	300
G	300
D	100
E	300
Q	100
U	500
E	700
R	110
H	200
B	300
F	300
E	300
T	300
R	210
F	220
I	230
S	240
Y	260
B	300
Q	300
Q	210
H	350
E	120
H	240
V	190
N	220
N	300
D	220
S	500
U	700
H	390
Z	500
A	300
K	200
J	500
H	260
M	150
A	220
K	370
S	300
Z	300
B	270
O	500
X	700
X	300
D	300
I	250
T	300
X	300
P	310
Y	300
C	200
H	300
J	200
G	380
C	300
F	210
V	300
I	240
Z	300
D	300
L	300

Użytkowanie komputerów i podstawy systemów operacyjnych - laboratorium 03