文章详情页
我要在命令行同时不间断地运行八九个python爬虫程序(爬不同的网站)?
问题描述
但是过一段时间总有一两个程序会无响应,好像是被挂起了,CPU占用率并不高,不到10%,内存占用也不算多,60%左右,爬虫程序是去批量下载文件,平均每个几兆到十几兆。我设置了这几个程序的优先级高于普通标准,但是还是会出现无响应的状况。版本 python 2.7
求问:这个问题算不算进程被挂起?以及应该如何解决这个问题?
谢谢!
问题解答
回答1:这种问题得自己调,多打log
回答2:Python 有 GIL
相关文章:
1. javascript - 引入 simditor,但是显示标签,这个怎么解决。2. docker api 开发的端口怎么获取?3. android - 目前有哪些用Vue.js开发移动App的方案?4. angular.js - angular route如何实现单页面切换时数据的传递5. Android PopupWindow 问题。6. cas项目起个名字7. python - scrapy获取网页指定内容,后翻到下一页继续,固定循环次数。。问题8. apache - 装上IIS后WAMP就不能用了9. background属性顺序?10. angular.js - angular有没有可以本地构建静态代码的工具
排行榜