本文摘自PHP中文网,作者巴扎黑,侵删。
有一道校招生的面试题,是要给一个很大的文件(不能全部放内存,比如1T)按行来排序和去重。一种简单解决方案就是分而治之,先打大文件分词大小均匀的若干个小文件,然后对小文件排好序,最后再Merge所有的小文件,在Merge的过程中去掉重复的内容。
在Linux下实现这个逻辑甚至不用自己写代码,只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来,写到shell脚本文件里。文件名叫sort_uniq.sh.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
|
使用方法:./sort_uniq.sh file_to_be_sort file_sorted
相关阅读 >>
把编译安装的httpd,利用service和chkconfig进行管理
把编译安装的httpd,利用service和chkconfig进行管理
更多相关阅读请进入《实现》频道 >>