2009年9月29日 星期二

[Linux] sort 指令

Sort命令的功能是對文件中的各行進行排序。Sort命令有許多非常實用的選項,這些選項最初是用來對數據庫格式的文件內容進行各種排序操作的。實際上,Sort命令可以被認為是一個非常強大的數據管理工具,用來管理內容類似數據庫記錄的文件。

Sort命令將逐行對文件中的內容進行排序,如果兩行的首字符相同,該命令將繼續比較這兩行的下一字符,如果還相同,將繼續進行比較。

語法:

Sort [選項] 文件

說明:Sort命令對指定文件中所有的行進行排序,並將結果顯示在標準輸出上。如不指定輸入文件或使用"- ",則表示排序內容來自標準輸入。

Sort排序是根據從輸入行抽取的一個或多個關鍵字進行比較來完成的。排序關鍵字定義了用來排序的最小的字符序列。缺省情況下以整行為關鍵字按ASCII字符順序進行排序。

改變缺省設置的選項主要有:

- m 若給定文件已排好序,合併文件。

- c 檢查給定文件是否已排好序,如果它們沒有都排好序,則打印一個出錯信息,並以狀態值1退出。

- u 對排序後認為相同的行只留其中一行。

- o 輸出文件 將排序輸出寫到輸出文件中而不是標準輸出,如果輸出文件是輸入文件之一,Sort先將該文件的內容寫入一個臨時文件,然後再排序和寫輸出結果。

改變缺省排序規則的選項主要有:

- d 按字典順序排序,比較時僅字母、數字、空格和製表符有意義。

- f 將小寫字母與大寫字母同等對待。

- I 忽略非打印字符。

- M 作為月份比較:"JAN"<"FEB"

- r 按逆序輸出排序結果。

+posl - pos2 指定一個或幾個字段作為排序關鍵字,字段位置從posl開始,到pos2為止(包括posl,不包括pos2)。如不指定pos2,則關鍵字為從posl到行尾。字段和字符的位置從0開始。

- b 在每行中尋找排序關鍵字時忽略前導的空白(空格和製表符)。

- t separator 指定字符separator作為字段分隔符。

下面通過幾個例子來講述Sort的使用。

用Sort命令對text文件中各行排序後輸出其結果。請注意,在原文件的第二、三行上的第一個單詞完全相同,該命令將從它們的第二個單詞vegetables與fruit的首字符處繼續進行比較。

$ cat text

vegetable soup

fresh vegetables

fresh fruit

lowfat milk

$ Sort text

fresh fruit

fresh vegetables

lowfat milk

vegetable soup

用戶可以保存排序後的文件內容,或把排序後的文件內容輸出至打印機。下例中用戶把排序後的文件內容保存到名為result的文件中。

$ Sort text>result

以第2個字段作為排序關鍵字對文件example的內容進行排序。

$ Sort +1-2 example

對於file1和file2文件內容反向排序,結果放在outfile中,利用第2個字段的第一個字符作為排序關鍵字。

$ Sort -r -o outfile +1.0 -1.1 example

Sort排序常用於在管道中與其他命令連用,組合完成比較複雜的功能,如利用管道將當前工作目錄中的文件送給Sort進行排序,排序關鍵字是第6個至第8個字段。

$ ls - l | Sort +5 - 7

$ ps -e -o " comm pid time"|Sort -d

//按照command的首字母的字母順序排序

Sort命令也可以對標準輸入進行操作。例如,如果您想把幾個文件文本行合併,並對合併後的文本行進行排序,您可以首先用命令cat把多個文件合 併,然後用管道操作把合併後的文本行輸入給命令Sort,Sort命令將輸出這些合併及排序後的文本行。在下面的例子中,文件veglist與文件 fruitlist的文本行經過合併與排序後被保存到文件clist中。

$ cat veglist fruitlist | Sort > clist


$ sort -n -r -t, +1 ABC.txt > ABC.sort.txt

-n 以數字大小排序。
-r 降冪排序。
-t, 欄位以 , 當分隔符號
+1 跳過前一個欄位,以第二個欄位來排序

若是上面出現 這種錯誤 sort: open failed: +1: No such file or directory
應該是 sort 版本變新了. 改用下列方式
$ sort -t, -k 2 ABC.txt > ABC.sort.txt


1 sort的工作原理

sort將文件的每一行作為一個單位,相互比較,比較原則是從首字符向後,依次按ASCII碼值進行比較,最後將他們按升序輸出。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear

2 sort的-u選項

它的作用很簡單,就是在輸出行中去除重複行。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由於重複被-u選項無情的刪除了。

3 sort的-r選項

sort默認的排序方式是升序,如果想改成降序,就加個-r就搞定了。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket programming]$ sort -r number.txt
5
4
3
2
1

4 sort的-o選項

由於sort默認是把結果輸出到標準輸出,所以需要用重定向才能將結果寫入文件,形如sort filename > newfile。

但是,如果你想把排序結果輸出到原文件中,用重定向可就不行了。

[rocrocket@rocrocket programming]$ sort -r number.txt > number.txt
[rocrocket@rocrocket programming]$ cat number.txt
[rocrocket@rocrocket programming]$
看,竟然將number清空了。

就在這個時候,-o選項出現了,它成功的解決了這個問題,讓你放心的將結果寫入原文件。這或許也是-o比重定向的唯一優勢所在。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort -r number.txt -o number.txt
[rocrocket@rocrocket programming]$ cat number.txt
5
4
3
2
1

5 sort的-n選項

你有沒有遇到過10比2小的情況。我反正遇到過。出現這種情況是由於排序程序將這些數字按字符來排序了,排序程序會先比較1和2,顯然1小,所以就將10放在2前面嘍。這也是sort的一貫作風。

我們如果想改變這種現狀,就要使用-n選項,來告訴sort,「要以數值來排序」!

[rocrocket@rocrocket programming]$ cat number.txt
1
10
19
11
2
5
[rocrocket@rocrocket programming]$ sort number.txt
1
10
11
19
2
5
[rocrocket@rocrocket programming]$ sort -n number.txt
1
2
5
10
11
19

6 sort的-t選項和-k選項

如果有一個文件的內容是這樣:

[rocrocket@rocrocket programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4

這個文件有三列,列與列之間用冒號隔開了,第一列表示水果類型,第二列表示水果數量,第三列表示水果價格。

那麼我想以水果數量來排序,也就是以第二列來排序,如何利用sort實現?

幸好,sort提供了-t選項,後面可以設定間隔符。(是不是想起了cut和paste的-d選項,共鳴~~)

指定了間隔符之後,就可以用-k來指定列數了。

[rocrocket@rocrocket programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

我們使用冒號作為間隔符,並針對第二列來進行數值升序排序,結果很令人滿意。

7 其他的sort常用選項

-f會將小寫字母都轉換為大寫字母來進行比較,亦即忽略大小寫

-c會檢查文件是否已排好序,如果亂序,則輸出第一個亂序的行的相關信息,最後返回1

-C會檢查文件是否已排好序,如果亂序,不輸出內容,僅返回1

-M會以月份來排序,比如JAN小於FEB等等

-b會忽略每一行前面的所有空白部分,從第一個可見字符開始比較。

1 準備素材

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

第一個域是公司名稱,第二個域是公司人數,第三個域是員工平均工資。(除了公司名稱,其他的別信,都瞎寫的^_^)

2 我想讓這個文件按公司的字母順序排序,也就是按第一個域進行排序:(這個facebook.txt文件有三個域)

$ sort -t 『 『 -k 1 facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

看到了吧,就直接用-k 1設定就可以了。(其實此處並不嚴格,稍後你就會知道)

3 我想讓facebook.txt按照公司人數排序

$ sort -n -t 『 『 -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

不用解釋,我相信你能懂。

但是,此處出現了問題,那就是baidu和sohu的公司人數相同,都是100人,這個時候怎麼辦呢?按照默認規矩,是從第一個域開始進行升序排序,因此baidu排在了sohu前面。

4 我想讓facebook.txt按照公司人數排序 ,人數相同的按照員工平均工資升序排序:

$ sort -n -t 『 『 -k 2 -k 3 facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

看,我們加了一個-k2 -k3就解決了問題。對滴,sort支持這種設定,就是說設定域排序的優先級,先以第2個域進行排序,如果相同,再以第3個域進行排序。(如果你願意,可以一直這麼寫下去,設定很多個排序優先級)

5 我想讓facebook.txt按照員工工資降序排序,如果員工人數相同的,則按照公司人數升序排序:(這個有點難度嘍)

$ sort -n -t 『 『 -k 3r -k 2 facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

此處有使用了一些小技巧,你仔細看看,在-k 3後面偷偷加上了一個小寫字母r。你想想,再結合我們上一篇文章,能得到答案麼?揭曉:r和-r選項的作用是一樣的,就是表示逆序。因為sort默認是按照升序排序的,所以此處需要加上r表示第三個域(員工平均工資)是按照降序排序。此處你還可以加上n,就表示對這個域進行排序時,要按照數值大小進行排序,舉個例子吧:

$ sort -t 『 『 -k 3nr -k 2n facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

看,我們去掉了最前面的-n選項,而是將它加入到了每一個-k選項中了。

6 -k選項的具體語法格式

要繼續往下深入的話,就不得不來點理論知識。你需要瞭解-k選項的語法格式,如下:

[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]

這個語法格式可以被其中的逗號(「,」)分為兩大部分,Start部分和End部分。

先給你灌輸一個思想,那就是「如果不設定End部分,那麼就認為End被設定為行尾」。這個概念很重要的,但往往你不會重視它。

Start部分也由三部分組成,其中的Modifier部分就是我們之前說過的類似n和r的選項部分。我們重點說說Start部分的FStart和C.Start。

C.Start也是可以省略的,省略的話就表示從本域的開頭部分開始。之前例子中的-k 2和-k 3就是省略了C.Start的例子嘍。

FStart.CStart,其中FStart就是表示使用的域,而CStart則表示在FStart域中從第幾個字符開始算「排序首字符」。

同理,在End部分中,你可以設定FEnd.CEnd,如果你省略.CEnd,則表示結尾到「域尾」,即本域的最後一個字符。或者,如果你將CEnd設定為0(零),也是表示結尾到「域尾」。

7 突發奇想,從公司英文名稱的第二個字母開始進行排序:

$ sort -t 『 『 -k 1.2 facebook.txt
baidu 100 5000
sohu 100 4500
google 110 5000
guge 50 3000

看,我們使用了-k 1.2,這就表示對第一個域的第二個字符開始到本域的最後一個字符為止的字符串進行排序。你會發現baidu因為第二個字母是a而名列榜首。sohu和 google第二個字符都是o,但sohu的h在google的o前面,所以兩者分別排在第二和第三。guge只能屈居第四了。

8 又突發奇想,,只針對公司英文名稱的第二個字母進行排序,如果相同的按照員工工資進行降序排序:

$ sort -t 『 『 -k 1.2,1.2 -k 3,3nr facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500
guge 50 3000

由於只對第二個字母進行排序,所以我們使用了-k 1.2,1.2的表示方式,表示我們「只」對第二個字母進行排序。(如果你問「我使用-k 1.2怎麼不行?」,當然不行,因為你省略了End部分,這就意味著你將對從第二個字母起到本域最後一個字符為止的字符串進行排序)。對於員工工資進行排 序,我們也使用了-k 3,3,這是最準確的表述,表示我們「只」對本域進行排序,因為如果你省略了後面的3,就變成了我們「對第3個域開始到最後一個域位置的內容進行排序」 了。

9 在modifier部分還可以用到哪些選項?

可以用到b、d、f、i、n 或 r。

其中n和r你肯定已經很熟悉了。

b表示忽略本域的簽到空白符號。

d表示對本域按照字典順序排序(即,只考慮空白和字母)。

f表示對本域忽略大小寫進行排序。

i表示忽略「不可打印字符」,只針對可打印字符進行排序。(有些ASCII就是不可打印字符,比如\a是報警,\b是退格,\n是換行,\r是回車等等)

10 思考思考關於-k和-u聯合使用的例子:

$ cat facebook.txt
google 110 5000
baidu 100 5000
guge 50 3000
sohu 100 4500

這是最原始的facebook.txt文件。

$ sort -n -k 2 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

$ sort -n -k 2 -u facebook.txt
guge 50 3000
baidu 100 5000
google 110 5000

當設定以公司員工域進行數值排序,然後加-u後,sohu一行就被刪除了!原來-u只識別用-k設定的域,發現相同,就將後續相同的行都刪除。

$ sort -k 1 -u facebook.txt
baidu 100 5000
google 110 5000
guge 50 3000
sohu 100 4500

$ sort -k 1.1,1.1 -u facebook.txt
baidu 100 5000
google 110 5000
sohu 100 4500

這個例子也同理,開頭字符是g的guge就沒有倖免於難。

$ sort -n -k 2 -k 3 -u facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

咦!這裡設置了兩層排序優先級的情況下,使用-u就沒有刪除任何行。原來-u是會權衡所有-k選項,將都相同的才會刪除,只要其中有一級不同都不會輕易刪除的:)(不信,你可以自己加一行sina 100 4500試試看)

11 最詭異的排序:

$ sort -n -k 2.2,3.1 facebook.txt
guge 50 3000
baidu 100 5000
sohu 100 4500
google 110 5000

以第二個域的第二個字符開始到第三個域的第一個字符結束的部分進行排序。

第一行,會提取0 3,第二行提取00 5,第三行提取00 4,第四行提取10 5。

又因為sort認為0小於00小於000小於0000….

因此0 3肯定是在第一個。10 5肯定是在最後一個。但為什麼00 5卻在00 4前面呢?(你可以自己做實驗思考一下。)

答案揭曉:原來「跨域的設定是個假象」,sort只會比較第二個域的第二個字符到第二個域的最後一個字符的部分,而不會把第三個域的開頭字符納入比較範圍。當發現00和00相同時,sort就會自動比較第一個域去了。當然baidu在sohu前面了。用一個範例即可證實:

$ sort -n -k 2.2,3.1 -k 1,1r facebook.txt
guge 50 3000
sohu 100 4500
baidu 100 5000
google 110 5000

12 有時候在sort命令後會看到+1 -2這些符號,這是什麼東東?

關於這種語法,最新的sort是這麼進行解釋的:

On older systems, `sort' supports an obsolete origin-zero syntax `+POS1 [-POS2]『 for specifying sort keys. POSIX 1003.1-2001 (*note Standards conformance::) does not allow this; use `-k' instead.

原來,這種古老的表示方式已經被淘汰了,以後可以理直氣壯的鄙視使用這種表示方法的腳本嘍!

(為了防止古老腳本的存在,在這再說一下這種表示方法,加號表示Start部分,減號表示End部分。最最重要的一點是,這種方式方法是從0開始計數的,以前所說的第一個域,在此被表示為第0個域。以前的第2個字符,在此表示為第1個字符。明白?)
「轉自Linux大棚-Linux主題博客」


【下列文章您可能也有興趣】

沒有留言: