您好,登錄后才能下訂單哦!
GNU/Linux中常用的文本處理工具有三種:
grep、egrep、fgrep:文本搜索工具;
sed:流編輯器、文本編輯工具;
awk:文本報告生成器;
今天主要來說一下grep和正則表達式;
一、概述
grep(Global search REgular expression and Print out the line.),是一個文本搜索工具;根據指定“pattern(過濾條件)”對目標文本逐行進行匹配檢查并打印出符合條件的行;
什么是正則表達式?
正則表達式:由一類特殊字符及文本字符所編寫的模式,有些字符不表示其字面意義,而是用于表示控制或通配的功能;
而正則表達式又分為兩類:
基本正則表達式:BRE
擴展正則表達式:ERE
正則表達式引擎:利用正則表達式模式分析所給定的文本的程序。
grep家族:
grep:支持使用基本正則表達式,(也可以使用一個選項“-E”支持擴展的正則表達式;到下面再說);
egrep:支持使用擴展
正則表達式;
fgrep:不支持使用正則表達式;
grep命令
grep [選項] [模式] [FILE...]
常用選項示例:
-i:忽略字符大小寫;
[root@localhost~]# cat test.txt He love his lover. he like his lover. he love his liker. He like his liker. [root@localhost~]# grep -i "he" test.txt He lovehis lover. he likehis lover. he lovehis liker. He likehis liker.
-n:顯示行號;
[root@localhost ~]# grep -ni "he" test.txt 1:He love his lover. 2:he like his lover. 3:he love his liker. 4:He like his liker.
-o:僅顯示匹配到的文本自身;
[root@localhost ~]# grep "bash$" /etc/passwd root:x:0:0:root:/root:/bin/bash mageedu:x:1000:1000:mageedu:/home/mageedu:/bin/bash gentoo:x:3003:3003::/home/gentoo:/bin/bash ubuntu:x:3004:4004::/home/ubuntu:/bin/bash mint:x:3100:3100::/home/mint:/bin/bash hadoop:x:3102:3102::/home/hadoop:/bin/bash hive:x:991:986::/home/hive:/bin/bash linxuejing:x:3103:3103::/home/linxuejing:/bin/bash [root@localhost ~]# grep -o "bash$" /etc/passwd bash bash bash bash bash bash bash bash 注:這里首先是顯示以bash結尾的行,然后加“-o”選項只顯示匹配到字符串本身;
-v:--invert-match:取反,反相匹配;
[root@localhost ~]# grep -v "bash$" /etc/passwd bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin ...... 注:顯示不是以“bash”結尾的行;
--color=auto:對匹配到的文本著色后高亮顯示(這里指的是CentOS 7);
# alias alias cp='cp -i' alias egrep='egrep --color=auto' alias fgrep='fgrep --color=auto' alias grep='grep --color=auto' alias l.='ls -d .* --color=auto' alias ll='ls -l --color=auto' alias ls='ls --color=auto' alias mv='mv -i' alias rm='rm -i' alias which='alias | /usr/bin/which--tty-only --read-alias --show-dot --show-tilde' 注:CentOS 5,6的話需要以alias grep='grep --color=auto'手動來定義;
-q,--quiet:靜默模式,不輸出任何信息;
root@localhost ~]# grep -q "root"/etc/passwd [root@localhost ~]# echo $? 0 可使用“$?”來顯示上條命令的執行狀態結果,“0”表示成功,有匹配到字符串;
-e PATTERN:多模式匹配;
[root@localhost~]# grep -e "r..t" -e "b..h" /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin ftp:x:14:50:FTPUser:/var/ftp:/sbin/nologin chrony:x:993:990::/var/lib/chrony:/sbin/nologin mageedu:x:1000:1000:mageedu:/home/mageedu:/bin/bash gentoo:x:3003:3003::/home/gentoo:/bin/bash ubuntu:x:3004:4004::/home/ubuntu:/bin/bash mint:x:3100:3100::/home/mint:/bin/bash hadoop:x:3102:3102::/home/hadoop:/bin/bash hive:x:991:986::/home/hive:/bin/bash linxuejing:x:3103:3103::/home/linxuejing:/bin/bash
-f FILE:FILE為每行包含了一個pattern的文本文件,及grep script;
[root@localhost~]# vim grep.txt root bash
-A num:顯示匹配到的行的后n行;
[root@localhost ~]# grep -A 1"hadoop" /etc/passwd hadoop:x:3102:3102::/home/hadoop:/bin/bash hive:x:991:986::/home/hive:/bin/bash
-B num:顯示匹配到的行的前n行;
[root@localhost ~]# grep -B 1 "hadoop" /etc/passwd fedora:x:3101:3101::/home/fedora:/bin/csh hadoop:x:3102:3102::/home/hadoop:/bin/bash
-C num:顯示匹配到行的前后n行;
[root@localhost ~]# grep -C 2 "hadoop" /etc/passwd mint:x:3100:3100::/home/mint:/bin/bash fedora:x:3101:3101::/home/fedora:/bin/csh hadoop:x:3102:3102::/home/hadoop:/bin/bash hive:x:991:986::/home/hive:/bin/bash linxuejing:x:3103:3103::/home/linxuejing:/bin/bash
-E:相當于“egrep”,表示支持擴展的正則表達式(下面會說);
-F:支持使用固定字符串,不支持正則表達式,相當于fgrep;
基本正則表達式元字符:
(1)字符匹配
.:匹配任意單個字符;
[]:匹配范圍內的任意單個字符;
[^]:匹配范圍外的任意單個字符;
[a-z]:所有小寫字母;
[A-Z]:所有大寫字母;
[0-9]:所有數字;
[:digit:]:所有的數字;
[:lower:]:所有小寫字母;
[:upper:]:所有大寫字母;
[:alpha:]:任意字母(包括大小寫);
[:alnum:]:所有字母和數字;
[:space:]:空白字符;
[:punct:]:標點符號;
[:blank:]:空格和Tab鍵;
[:cntrl:]:所有的控制符(Ctrl+#);
[:print:]:所有可打印字符;
可使用man 7 glob查看;
示例:
.:查找/etc/passwd文件中以“r”開頭“t”結尾中間跟了兩個任意單個字符的行;
[root@localhost ~]# grep "r..t" /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
[]:查找/tmp/meminfo文件中以S或s開頭的行;
[root@localhost ~]# grep"^[Ss]" /tmp/meminfo SwapCached: 0 kB SwapTotal: 2098172 kB SwapFree: 2098172 kB Shmem: 13128 kB Slab: 234936 kB SReclaimable: 193688 kB SUnreclaim: 41248 kB swap
[a-z]:表示“i”后面根兩個字符不區分大小寫的行;
[root@localhost ~]# ifconfig | grep -i"i[a-z][a-z]" eno16777736:flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu1500 inet 192.168.254.130 netmask 255.255.255.0 broadcast 192.168.254.255 inet6 fe80::20c:29ff:fe8e:eb7c prefixlen64 scopeid 0x20<link> TX errors 0 dropped 0 overruns0 carrier0 collisions0 lo: flags=73<UP,LOOPBACK,RUNNING> mtu65536 inet 127.0.0.1 netmask 255.0.0.0 inet6::1 prefixlen128 scopeid 0x10<host> TX errors 0 dropped 0 overruns0 carrier0 collisions0
[[:alpha:]]:查找文件中以任意字母開頭的行;
[root@localhost ~]# grep"^[[:alpha:]]" /tmp/grub2.cfg set pager=1 LH if [ -s $prefix/grubenv ]; then fi if [ "${next_entry}" ] ; then else fi if [ x"${feature_menuentry_id}" =xy ]; then else fi ........
(2)次數匹配:
*:匹配其前面的字符任意次(包括0次);
[root@localhost ~]# grep "x*y"test2.txt abcy yabcd xxxyabc abgdsfy asdy
\+:匹配其前面的字符至少1次;
[root@localhost ~]# grep "x\+y"test2.txt xxxyabc
.*:任意長度的任意字符;
[root@localhost ~]# grep"x.*y" test2.txt xxxyabc xjgbdfg,n,gnjgy9
\?:匹配前面的字符0次或1次(最多一次),前面的可有可無;
[root@localhost~]# grep "x\?y" test2.txt abcy yabcd xxxyabc abgdsfy asdy xjgbdfg,n,gnjgy
\{m\}:前面的字符精確出現m次,m為非負數整數;
root@localhost~]# grep "x\{2\}" test2.txt xxxyabc
\{m,n\}:前面的字符出現至少m次,至多n次;
\{m,\}:至少m次,多了不限;
\{0,n\}:至多n次;
[root@localhost~]# grep "x\{1,3\}y" test2.txt xxxyabc [root@localhost~]# grep "x\{3,\}y" test2.txt xxxyabc
# 顯示“i”后面出現3個字符; [root@localhost~]# ifconfig | grep"i[[:alpha:]]\{3\}" inet 192.168.254.130 netmask255.255.255.0 broadcast 192.168.254.255 inet6 fe80::20c:29ff:fe8e:eb7c prefixlen 64 scopeid0x20<link> TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 inet 127.0.0.1 netmask 255.0.0.0 inet6 ::1 prefixlen 128 scopeid 0x10<host> TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
(3)位置錨定
限制使用模式搜索文本,限制模式所匹配到的文本只能出現于目標文本的哪個位置;
^:行首錨定;用于模式的最左側,^PATTERN
[root@localhost~]# grep "^root" /etc/passwd root:x:0:0:root:/root:/bin/bash # 顯示以root字符串開頭的行;
$:行尾錨定;用戶模式的最右側,PATTERN$
^PATTERN$:整行匹配;
^$:空行;也不能有空白字符及Tab鍵;
^[[:space:]]*$:查找只有空白字符的行;并統計有多少行;
[root@localhost~]# grep "^[[:space:]]*$" /etc/grub2.cfg | wc -l 17
單詞錨定:\<PATTERN\>
單詞:由非特殊字符組成的連續字符都稱為單詞;
[root@localhost ~]# cat test3.txt root rootls rootnkll openroot [root@localhost ~]# grep "\<root\>" test3.txt root
\<或\b:詞首錨定,用于單詞模式的左側,格式為\<PATTERN, \bPATTERN ;
[root@localhost~]# grep "\<root" /etc/passwd root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin
\>或\b:詞尾錨定,用于單詞模式的右側,格式為PATTERN\>, PATTERN\b ;
[root@localhost~]# grep "bash\>" /etc/passwd root:x:0:0:root:/root:/bin/bash mageedu:x:1000:1000:mageedu:/home/mageedu:/bin/bash gentoo:x:3003:3003::/home/gentoo:/bin/bash ubuntu:x:3004:4004::/home/ubuntu:/bin/bash mint:x:3100:3100::/home/mint:/bin/bash hadoop:x:3102:3102::/home/hadoop:/bin/bash hive:x:991:986::/home/hive:/bin/bash linxuejing:x:3103:3103::/home/linxuejing:/bin/bash
練習:
查找“netstat -tan”命令的結果中,以“LISTEN”后跟0個或多個空白字符結尾的行;
查找“ldd /usr/bin/ls”命令的結果中文件路徑;
查找/etc/grub2.cfg文件中,以至少一個空白字符開頭,后面又跟了非空白字符的行;
(4)分組與引用
\(PATTERN\):將次PATTERN匹配到的字符當做一個整體進行處理;
注意:分組括號中的模式匹配到的字符會被正則表達式引擎自動記錄于內部的變量中,這些變量是\1,\2,\3,....
\n:模式中第n個左括號以及與之匹配的右括號之間的模式所匹配到的結果;
示例:
后向引用:引用前面括號中的模式所匹配到的字符串;
\1表示引用前面模式匹配到的結果后面加一個“r”的行;
二、擴展正則表達式
egrep:支持使用擴展正則表達式,相當于“grep -E”
擴展正則表達式的元字符:多數和上面一樣,這里知舉例說明不同之處;
字符匹配:
.:任意單個字符;
[]:范圍內的任意單個字符;
[^]:范圍外的任意單個字符;
次數匹配:
*:任意次;
?:0次或一次;
root@localhost~]# egrep "x?y" test2.txt abcy yabcd xxxxxxxxyabc abgdsfy asdy xjgbdfg,n,gnjgy
+:匹配其前面的字符1次或多次;
[root@localhost~]# egrep "x+y" test2.txt xxxxxxxxyabc
{m}:精確匹配m次;
[root@localhost~]# egrep "x{5}y" test2.txt xxxxxxxxyabc # 精確匹配前面的字符5次;
{m,n}:至少m次,至多n次;
[root@localhost~]# egrep "x{3,6}y" test2.txt xxxxxxxxyabc # 匹配前面的字符至少3次,至多6次;
位置錨定:
^:行首
$:行尾
\<,\b:詞首
\>,\b:詞尾
分組及引用
(pattern):分組,括號中的模式匹配到的字符會被記錄與正則表達式引擎內部的變量中;
或者:表示C或者cat; ls或者LS;
第一次寫博客,寫的不是很好,請多多指教。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。