Linux常用命令之文本處理

　　Linux常用命令之文本處理

　　uniq [選項] 文件

　　說明：這個命令讀取輸入文件，并比較相鄰的行。在正常情況下，第二個及以后更多個重復行將被刪去，行比較是根據所用字符集的排序序列進行的。該命令加工后的結果寫到輸出文件中。輸入文件和輸出文件必須不同。如果輸入文件用“- ”表示，則從標準輸入讀取。

　　該命令各選項含義如下：、

　　– c 顯示輸出中，在每行行首加上本行在文件中出現的次數。它可取代- u和- d選項。

　　– d 只顯示重復行。

　　– u 只顯示文件中不重復的各行。

　　– n 前n個字段與每個字段前的空白一起被忽略。一個字段是一個非空格、非制表符的字符串，彼此由制表符和空格隔開(字段從0開始編號)。

　　+n 前n個字符被忽略，之前的字符被跳過(字符從0開始編號)。

　　– f n 與- n相同，這里n是字段數。

　　– s n 與+n相同，這里n是字符數。

　　接下來通過實踐實例說明：

　　代碼如下:

　　[root@stu100 ~]# cat test

　　boy took bat home

　　boy took bat home

　　girl took bat home

　　boy took bat home

　　boy took bat home

　　dog brought hat home

　　dog brought hat home

　　dog brought hat home

　　看test文件的內容

　　代碼如下:

　　[root@stu100 ~]# uniq test

　　boy took bat home

　　girl took bat home

　　boy took bat home

　　dog brought hat home

　　uniq命令不加任何參數，僅顯示連續重復的`行一次

　　代碼如下:

　　[root@stu100 ~]# uniq -c test

　　2 boy took bat home

　　1 girl took bat home

　　2 boy took bat home

　　3 dog brought hat home

　　1

　　-c 參數顯示文件中每行連續出現的次數。

　　代碼如下:

　　[root@stu100 ~]# cat test |sort | uniq -c

　　1

　　4 boy took bat home

　　3 dog brought hat home

　　1 girl took bat home

　　排序后再顯示

　　代碼如下:

　　[root@stu100 ~]# uniq -d test

　　boy took bat home

　　boy took bat home

　　dog brought hat home

　　-d選項僅顯示文件中連續重復出現的行。

　　代碼如下:

　　[root@stu100 ~]# uniq -u test

　　girl took bat home

　　-u選項顯示文件中沒有連續出現的行。

　　代碼如下:

　　[root@stu100 ~]# uniq -f 2 -s 2 test

　　boy took bat home

　　忽略每行的前2個字段，忽略第二 個空白字符和第三個字段的首字符，結果at home

　　代碼如下:

　　[root@stu100 ~]# uniq -f 1 test

　　boy took bat home

　　dog brought hat home

　　忽 略每行的第一個字段，這樣boy ，girl開頭的行看起來是連續重復的行。

　　代碼如下:

　　[root@stu100 ~]# uniq -D test

　　boy took bat home

　　boy took bat home

　　boy took bat home

　　boy took bat home

　　dog brought hat home

　　dog brought hat home

　　dog brought hat home

　　顯示所有重復的行，每個重復的行都顯示

　　當你有一個包含相同條目的雇員(employee)的文件，你可以以如下方式來刪除相同的條目

　　代碼如下:

　　$ sort namesd.txt | uniq

　　$ sort –u namesd.txt

　　如果你想知道有多少行是相同的，可以像下面這個做。以下例子中的第一列顯示該行的重復數量。在本例中，以Alex和Emma開頭的行，在文件中有兩個重復行。

　　代碼如下:

　　$ sort namesd.txt | uniq –c

　　2 Alex Jason:200:Sales

　　2 Emma Thomas:100:Marketing

　　1 Madison Randy:300:Product Development

　　1 Nisha Singh:500:Sales

　　1 Sanjay Gupta:400:Support

　　3. 以下命令僅僅列出了相同的條目

　　代碼如下:

　　$ sort namesd.txt | uniq –cd

　　2 Alex Jason:200:Sales

　　2 Emma Thomas:100:Marketing

【Linux常用命令之文本處理】相關文章：

Linux系統常用命令06-02

Linux常用命令詳解07-22

Linux系統常用命令大全02-26

Linux系統監控常用命令01-11

Linux的一些常用命令12-06

Linux系統ftp程序常用命令04-03

Linux操作系統常用命令03-23

LINUX常用命令操作方法介紹05-28

Linux系統管理常用命令07-07