Linux下查找文件中重复的行

1
sort foobar.txt | uniq -D
  • 无参数时,输出所有行,重复行只在首次出现时输出一次
  • -u:只输出非重复行
  • -D:只输出重复行,重复几次输出几次
  • -d:只输出重复行,每类重复只输出一次
  • -c:输出时在每行前加上该行出现的次数,可以单独使用,也可以和-d一起使用

uniq只能在找到连续出现的重复行,所以要先用sort

References

1. http://blog.sina.com.cn/s/blog_6797a6700101pdm7.html
2. http://os.51cto.com/art/200912/171332.htm