怎样删除某列中重复的字符串？谢谢 - Shell

侠客

CU编号： 747557
注册：2008-8-18
最后登录： 2009-06-22
帖子：42
精华：0

可用积分：69 (白手起家)
信誉积分：0
专家积分：0 (本版:0)
空间积分：0
推广积分：0

状态：...离线...

1楼发表于 2009-1-6 14:50

有很多行
其中第二列是IP列表，各IP是以','分开的，想干掉重复的IP，怎么做，谢谢了

例如
10.1.2.3,10.1.2.3,10.1.2.3,10.2.3.4,10.2.3.4,10.2.3.4,172.23.2.34,172.23.2.34,172.23.2.34
10.1.2.4,10.1.2.4,10.2.3.78,10.2.3.78,172.23.12.35,172.23.12.35
10.2.1.65,10.2.1.65,10.7.8.79,10.7.8.79

处理后变成这样：
10.1.2.3,10.2.3.4,172.23.2.34
10.1.2.4,10.2.3.78,172.23.12.35
10.2.1.65,10.7.8.79

您对本贴的看法：鲜花[0] 臭蛋[0]

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

ly5066113

(Tim)

法师

CU编号： 465018
注册：2006-9-13
最后登录： 2009-07-03
帖子：5298
精华：0

可用积分：22062 (巨富豪门)
信誉积分：120
专家积分：617 (本版:566)
空间积分：0
推广积分：132

来自：长春
状态：...离线...

[个人空间] [短信] [博客]

[推广获积分]

2楼发表于 2009-1-6 15:30

sed -r ':a;s/([0-9]+(\.[0-9]+){3})(.*),\1/\1\3/;ta' urfile

您对本贴的看法：鲜花[0] 臭蛋[0]

__________________________________

记住该记住的，忘记该忘记的。改变能改变的，接受不能改变的。

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

BlueBlack

侠客

[个人空间] [短信] [博客]

[推广获积分]

3楼发表于 2009-1-6 15:35

回复 #2 ly5066113 的帖子

谢谢了
能讲解下不，看不懂呢，^_^

您对本贴的看法：鲜花[0] 臭蛋[0]

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

BlueBlack

侠客

[个人空间] [短信] [博客]

[推广获积分]

4楼发表于 2009-1-6 15:45

回复 #2 ly5066113 的帖子

172.16.19.46
172.16.19.21,172.16.19.21,172.16.19.21,172.26.19.21,172.26.19.21,172.26.19.21
172.16.19.69,172.16.19.69,172.16.19.69,172.26.19.69,172.26.19.69,172.26.19.69
172.16.19.70,172.16.19.70,172.16.19.70,172.26.19.70,172.26.19.70,172.26.19.70

像这种还是无法处理

您对本贴的看法：鲜花[0] 臭蛋[0]

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

BlueBlack

侠客

[个人空间] [短信] [博客]

[推广获积分]

5楼发表于 2009-1-6 15:49

回复 #4 BlueBlack 的帖子

像这种
172.16.19.46,172.16.19.47
172.16.19.21,172.16.19.21,172.16.19.21,172.26.19.21,172.26.19.21,172.26.19.21
172.16.19.69,172.16.19.69,172.16.19.69,172.26.19.69,172.26.19.69,172.26.19.69
172.16.19.70,172.16.19.70,172.16.19.70,172.26.19.70,172.26.19.70,172.26.19.70
处理后变成这样了：
172.16.19.467
172.16.19.21,172.26.19.21
172.16.19.69,172.26.19.69
172.16.19.70,172.26.19.70

您对本贴的看法：鲜花[0] 臭蛋[0]

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

ILoveMK

天使

CU编号： 627235
注册：2007-10-11
最后登录： 2009-07-05
帖子：1386
精华：0

可用积分：4416 (小富即安)
信誉积分：0
专家积分：55 (本版:10)
空间积分：810
推广积分：0

状态：...离线...

[个人空间] [短信] [博客]

[推广获积分]

6楼发表于 2009-1-6 15:50

QUOTE:

原帖由 ly5066113 于 2009-1-6 15:30 发表

sed -r ':a;s/([0-9]+(\.[0-9]+){3})(.*),\1/\1\3/;ta' urfile

不知道(.*)有啥用，tim解释一下？

您对本贴的看法：鲜花[0] 臭蛋[0]

__________________________________

葡萄美酒夜光杯，欲饮琵琶马上催。
醉卧沙场君莫笑，古来征战几人回。

推荐歌曲：NewDivide-LinkinPark

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

feigepp

新手

CU编号： 794724
注册：2008-12-15
最后登录： 2009-01-20
帖子：3
精华：0

可用积分：5 (白手起家)
信誉积分：0
专家积分：0 (本版:0)
空间积分：0
推广积分：0

状态：...离线...

[个人空间] [短信] [博客]

[推广获积分]

7楼发表于 2009-1-6 15:50

回复 #1 BlueBlack 的帖子

awk -F "," '{for (i=1;i<=NF;i++) print $i}' test |uniq

这样可以吗？

您对本贴的看法：鲜花[0] 臭蛋[0]

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

luyi1983

(租房子的小朋友)

精灵王

CU编号： 636072
注册：2007-11-1
最后登录： 2009-07-03
帖子：284
精华：0

可用积分：435 (稍有积蓄)
信誉积分：5
专家积分：1 (本版:1)
空间积分：0
推广积分：0

状态：...离线...

[个人空间] [短信] [博客]

[推广获积分]

8楼发表于 2009-1-6 15:50

比较笨的方法你可以多用几个pipe
先换成列 sort uniq
然后替换回去

您对本贴的看法：鲜花[0] 臭蛋[0]

__________________________________

-------------------------------------------------------------------
GNU bash, version 3.1.17(6)-release (i686-pc-cygwin)

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

ILoveMK

天使

[个人空间] [短信] [博客]

[推广获积分]

9楼发表于 2009-1-6 15:51

QUOTE:

原帖由 BlueBlack 于 2009-1-6 15:49 发表

像这种
172.16.19.46,172.16.19.47
172.16.19.21,172.16.19.21,172.16.19.21,172.26.19.21,172.26.19.21,172.26.19.21
172.16.19.69,172.16.19.69,172.16.19.69,172.26.19.69,172.26.19.69,172.26.19.69
17 ...

去掉(.*)试试看。

您对本贴的看法：鲜花[0] 臭蛋[0]

__________________________________

葡萄美酒夜光杯，欲饮琵琶马上催。
醉卧沙场君莫笑，古来征战几人回。

推荐歌曲：NewDivide-LinkinPark

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖

luyi1983

(租房子的小朋友)

精灵王

[个人空间] [短信] [博客]

[推广获积分]

10楼发表于 2009-1-6 15:52

回复 #6 ILoveMK 的帖子

好像是保存后面的内容到÷3
给sed下一次替换使用

貌似
tim的command的问题就是不能处理
开头和结尾2个field重复的问题

[ 本帖最后由 luyi1983 于 2009-1-6 15:54 编辑 ]

您对本贴的看法：鲜花[0] 臭蛋[1]

__________________________________

-------------------------------------------------------------------
GNU bash, version 3.1.17(6)-release (i686-pc-cygwin)

YOCSEF“低排放绿色计算"报名中| 【尚观研发课程8.8折，50000年薪起】 | IBM嘉年华颁奖倒计时 | 嵌入式有奖书评,写书评,得大奖