Delphi 老外分享的textFile高速遍历大数据文本

本文整理自网络，侵删。

 
请确保您使用的是FastMM4-这样可以加快速度。内存分配很多。
如果您只读取一次文件，则可以根据需要继续使用旧的“ TextFile”处理。
只需添加一些更大的读取缓冲区，并摆脱I / O检查即可：

 var
   sourceFile   : textFile;
   line             : string;
   fields          : TinputList;
   buf: array[word] of byte; // 64 KB buffer
 begin
   fields:=TinputList.create;
   AssignFile(sourceFile,filename);
   SetTextBuf(sourceFile,buf); // will speed up reading
   Reset(sourceFile);
  {$I-} // if we reached here, the file is existing
   while NOT EOF(sourceFile) do
   begin ReadLn(sourceFile,line);
            fields.loadFromCommaLine(line);
            // process the fields of this record
   end;
   {$I+}
   closeFile(sourceFile);
   fields.free;
 end;
 
默认情况下，缓冲区为128字节，这非常小，并且会经常调用Windows文件API：这是较慢的部分。
仅使用64 KB即可大大提高速度。ReadLn（）函数速度很快，尤其是当您的行少于256个字节时。
如果要随机访问文件内容，可以通过“内存映射”窗口读取文件。
它非常快速且方便，但是在32位处理下，您将无法一次映射3GB的文件（根据我的实验，最多可以映射500 MB或更少，具体取决于您当前的内存使用情况） 。因此，您必须使用“窗口”，该窗口有意在文件上滑动。
 

相关阅读 >>

Delphi时间格式错误

Delphi根据进程id获取进程路径

Delphi之如何快速开发原生activex控件

Delphi 获取随机字符串的方法 getrandomstring

Delphi fdquery 验证登录

Delphi 实现文件防删除非亢占(非hook)

Delphi link() 精简打开网址

Delphi readprocessmemory用法

Delphi中string与pansichar转换

Delphi 结合正确的url

更多相关阅读请进入《Delphi》频道 >>

转载请注明出处：木庄网络博客 » Delphi 老外分享的textFile高速遍历大数据文本