本文摘自php中文网,作者小云云,侵删。
本文主要为大家分享一篇Python读csv文件去掉一列后再写入新的文件实例,具有很的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧,希望能帮助到大家更好掌握Python用了两种.方式解决该问题,都是网上现有的解决方案。
场景说明:
有一个数据文件,以文本方式保存,现在有三列user_id,plan_id,mobile_id。目标是得到新文件只有mobile_id,plan_id。
解决方案
方案一:用python的打开文件写文件的方式直接撸一遍数据,for循环内处理数据并写入到新文件。
代码如下:
1 2 3 4 5 6 7 8 9 10 |
|
方案二:用 pandas 读数据到 DataFrame 再做数据分割,直接用 DataFrame 的写入功能写到新文件
代码如下:
1 |
|
从代码上看,pandas逻辑更清晰。
下面看下执行的效率吧!
1 2 3 4 5 6 7 8 |
|
读写运行时间: 976 ms
读写运行时间: 777 ms
input_file 大概有27万的数据,dataframe的效率比for循环效率还是要快一点的,如果数据量更大些,效果是否更明显呢?
下面试下增加input_file记录的数量试试,有如下结果
input_file | readwrite1 | readwrite2 |
27W | 976 | 777 |
55W | 1989 | 1509 |
110W | 4312 | 3158 |
从上面测试结果来看,dataframe的效率提高大约30%左右。
相关推荐:
利用 python 对目录下的文件进行过滤删除实例详解
浅谈Python NLP入门
实例讲解python用户管理系统
以上就是Python读csv文件去掉一列后再写入新的文件技术教程的详细内容,更多文章请关注木庄网络博客!!
相关阅读 >>
[译]the Python tutorial#input and output
Python os.dup2() 方法是什么? os.dup2能起到什么作用?
更多相关阅读请进入《Python》频道 >>

Python编程 从入门到实践 第2版
python入门书籍,非常畅销,超高好评,python官方公认好书。