文章详情页
python3.x - 求助python下高效且支持大数据量的database2excel方案
问题描述
大家好。小弟目前需要一个速度较好,且支持大数据量的数据库导出至excel(xlsx)的方案小弟的机器配置不高,4核的CPU,可用内存在8G左右(不过是虚拟机,可能性能实际还要低一点)小弟之前尝试过以下几种方案openpyxl:大数据量情况下经常会吃光内存。实验生成100W条/每条6个字段的数据,经常会把小弟这8G内存吃满。生成excel时间大概在10分钟~11分钟左右pyexcel_xlsx:貌似这部分引用的还是openpyxl的东东…不过貌似有一定的优化,生成生成100W条/每条6个字段的数据,消耗内存近3G,时间在8分半左右
这两个方案效率都非常低,而且小弟目前都没有找到中途将内存写入文件的方法…
请各位大大指点,是否还有其他的方案,最好是能够控制单次写入条数,例如每写入5W条,进行一次提交,将内存的东东写在文件中并释放内存,再继续写入这样的。(这样也许可以考虑配合多线程来进行并行写入,加快效率…)谢谢各位了
问题解答
回答1:pandas有分块读取的功能,关键词chunksizedf = pd.read_csv('xxxx',chunksize=10000)可以去研究下文档:http://pandas.pydata.org/pand...
标签:
python
相关文章:
1. javascript - 关于js原生事件的绑定与解除绑定2. javascript - 手机点击input时,button会被顶上去?求解决!!!3. angular.js - 在ionic下,利用javascript导入百度地图,pc端可以显示,移动端无法显示4. javascript - 网易云信整合到项目的流程5. javascript - 函数声明和匿名函数有什么不同?(前端小白求助。。)6. dologin说是没有定义7. HTML5禁止img预览该怎么解决?8. python - 请问这两个地方是为什么呢?9. mybatis - Java关于Mysql的随机id生成10. mysql - 数据库建字段,默认值空和empty string有什么区别 110
排行榜