简单实现大文件的排序和去重


本文摘自PHP中文网,作者巴扎黑,侵删。

有一道校招生的面试题,是要给一个很大的文件(不能全部放内存,比如1T)按行来排序和去重。

一种简单解决方案就是分而治之,先打大文件分词大小均匀的若干个小文件,然后对小文件排好序,最后再Merge所有的小文件,在Merge的过程中去掉重复的内容。

在Linux下实现这个逻辑甚至不用自己写代码,只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来,写到shell脚本文件里。文件名叫sort_uniq.sh.

1

2

3

4

5

6

7

8

9

10

11

12

13

14

#!/bin/bash

lines=$(wc -l $1 | sed 's/ .*//g')

lines_per_file=`expr $lines / 20`

split -d -l $lines_per_file $1 __part_$1

for file in __part_*

do

{

  sort $file > sort_$file

} &

done

wait

sort -smu sort_* > $2

rm -f __part_*

rm -f sort_*

使用方法:./sort_uniq.sh file_to_be_sort file_sorted

阅读剩余部分

相关阅读 >>

简单实现大文件的排序和去重

linux实现免密登录功能

linux 超级用户和普通用户之间如何切换命令?

linux中如何实现网络连接

实例讲解expect命令实现shell自动化交互

把编译安装的httpd,利用service和chkconfig进行管理

把编译安装的httpd,利用service和chkconfig进行管理

linux实现使用cp命令时不提示信息

zabbix实现邮件报警实例教程

简单实现大文件的排序和去重

更多相关阅读请进入《实现》频道 >>



打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...