linux中grep命令数据过滤和筛选方式

linux grep命令数据过滤和筛选

Linux世界中有句古老的说法“一切皆文件”，而且很多配置文件是纯文本文件，工作中，我们时常需要对大量的服务器进行配置的修改，如果以手动方式在海量的数据中进行查找匹配并最终完成修改，则其效率极低。

此时，Linux系统提供了一个非常方便的grep命令，grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。

下面对grep命令使用进行讲解。

grep命令

grep是一个强大的文本搜索工具。grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。

我们利用这些返回值就可进行一些自动化的文本处理工作。

用法：grep【选项】匹配模式【文件】。

常用选项：

• -a 不要忽略二进制数据。
• -b 在显示符合范本样式的那一行之外，并显示该行之前的内容。
• -c 计算符合范本样式的列数。
• -E 将范本样式为延伸的普通表示法来使用，意味着使用能使用扩展正则表达式。
• -F 将范本样式视为固定字符串的列表。
• -G 将范本样式视为普通的表示法来使用。
• -h 在显示符合范本样式的那一列之前，不标示该列所属的文件名称。
• -i 忽略字符大小写的差别。
• -l 列出文件内容符合指定的范本样式的文件名称。
• -L 列出文件内容不符合指定的范本样式的文件名称。
• -n 在显示符合范本样式的那一列之前，标示出该列的编号。
• -q 不显示任何信息。
• -s 不显示错误信息。
• -v 反转查找。
• -w 只显示全字符合的列。
• -x 只显示全列符合的列。
• -o 只输出文件中匹配到的部分。

使用实例

找出程序运行的端口

netstat -ap | grep ssh

查找本地ip

ifconfig ens33 | grep netmask | tr -s " " | cut -d " " -f3

使用grep指令在当前目录下所有文件中搜索指定文本

grep -n -r “test” ./*

统计一个文件中包含特定字符串的个数

不在屏幕上显示过滤的结果

grep -q root/etc/passwd

不会输出任何信息，如果命令运行成功返回0，失败则返回非0值。一般用于条件测试

什么是正则表达式

正则表达式就是一种计算机描述语言，通过正则表达式可以直接告诉计算机所需要的是字母A并精确匹配定位，也可以告诉计算机需要的是26个字母中的任意一个字母进行匹配等等。

现在很多程序、文本编辑工具、编程语言都支持正则表达式，比如使用grep过滤时就使用正则匹配的方式查找数据。

正则表达式及其含义

• ^ #锚定行的开始 如：'^grep'匹配所有以grep开头的行。    
• $ #锚定行的结束 如：'grep$'匹配所有以grep结尾的行。    
• . #匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。    
• * #匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。    
• .*  #一起用代表任意字符。   
• []  #匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。    
• [^] #匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。    
• \(..\) #标记匹配字符，如'\(love\)'，love被标记为1。    
• \< #锚定单词的开始，如:'\<grep'匹配包含以grep开头的单词的行。    
• \> #锚定单词的结束，如'grep\>'匹配包含以grep结尾的单词的行。    
• x\{m\} #重复字符x，m次，如：'0\{5\}'匹配包含5个o的行。    
• x\{m,\} #重复字符x,至少m次，如：'o\{5,\}'匹配至少有5个o的行。    
• x\{m,n\} #重复字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10个o的行。   
• \w #匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。   
• \W #\w的反置形式，匹配一个或多个非单词字符，如点号句号等。   
• \b #单词锁定符，如: '\bgrep\b'只匹配grep。  

基本表达式的实例

查找包含"root"的行

grep “root” /tmp/passwd

查找与"0:"之间包含任意两个字符的字符串

查找包含oot或ost的行

查找包含"0~9"数字的行

查找以root开头的行

查找以bash结尾的行

过滤文件的空白行

如果过滤文件为非空白行，可以使用grep -v “^$” /tmp/passwd

POSIX字符：

为了在不同国家的字符编码中保持一至，POSIX(The Portable Operating System Interface)增加了特殊的字符类，如[:alnum:]是[A-Za-z0-9]的另一个写法。

要把它们放到[]号内才能成为正则表达式，如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外，都支持POSIX的字符类。

[:alnum:]    #文字数字字符   
[:alpha:]    #文字字符   
[:digit:]    #数字字符   
[:graph:]    #非空字符（非空格、控制字符）   
[:lower:]    #小写字符   
[:cntrl:]    #控制字符   
[:print:]    #非空字符（包括空格）   
[:punct:]    #标点符号   
[:space:]    #所有空白字符（新行，空格，制表符）   
[:upper:]    #大写字符   
[:xdigit:]   #十六进制数字（0-9，a-f，A-F）  

linux 允许通过方括号使用POSIX标准规范，如[:alnum:]将匹配任意单个字母数字字符，下面通过几个简单例子来说明。

由于过滤的输出的内容较多，以下仅为部分输出。

GNU规范

Linux中的GNU软件一般支持转义字符，这些转义元字符有：\b为边界字符，匹配单词的开始或结尾，\B与\b为反义词。\B不会匹配单词the，仅会匹配the中间的单词，如atheist。而\w等同于[_[:alnum:]]，\W等同于[ ^ _ [:alnum:]]。

另外\D表示任意非数字，\s表示任意空白字符。\S表示任意非空白字符。

实例

匹配所有字母、数字及下划线

grep “\w” /tmp/passwd

上面的内容太多，这里不再显示输出内容。

匹配i结尾的单词

总结

在海量数据中，grep命令搜索有效消息提供了便利而又高效的方式，这里零零散散的举了一些例子，当然，grep的用法可不仅仅局限于此。更多了解可以参考man手册。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。