python - pyspider爬取了接近1G的数据，无法导出csv？

问题描述

已经增加虚拟机内存至2g，依然无法导出。

问题解答

一般是分文件导出的，如果一个单位的数据大约是1M的话，就分成1024个文件。

另外，合成1G的csv也是不合实际的，因为1G的csv几乎是打不开的。如果实在是要合成1G的话，把导出的一千多个文件再合成为一份CSV即可，文件合成python很容易实现。

1G的数据月CSV处理本身就不太合理了。试试看sqlite3。

8G一样不够，建议选择数据库作为存储方案，1G规模的CSV是没有存在的意义的。

用ftp内网下载飞快.我前两天传8个g.感觉就是几分钟就下载好了