文章详情页
我要在命令行同时不间断地运行八九个python爬虫程序（爬不同的网站）？
浏览：46日期：2022-08-21 18:56:02
问题描述
但是过一段时间总有一两个程序会无响应，好像是被挂起了，CPU占用率并不高，不到10％，内存占用也不算多，60％左右，爬虫程序是去批量下载文件，平均每个几兆到十几兆。我设置了这几个程序的优先级高于普通标准，但是还是会出现无响应的状况。版本 python 2.7
求问:这个问题算不算进程被挂起？以及应该如何解决这个问题？
谢谢！
问题解答
回答1：这种问题得自己调，多打log
回答2：Python 有 GIL
相关文章：
1. 管理员编辑，这么写页面没有反应是怎么回事，我哪里弄错了？2. pdo 写入到数据库的内容为中文的时候写入乱码3. PHP类封装的插入数据，总是插入不成功，返回false；4. python - 斗鱼关注人数爬下来是张加载图片，如何爬取关注人数5. 如何使用mysql查询每个用户一次操作时记录的值6. javascript - onfocus="this.type=’password’"，为什么不直接用type=’password’7. 网页爬虫 - python+requests 网页重定向求解8. mysql 时间类型 字段（精确到时分秒） 怎么比较？9. javascript - vue1.0在微信浏览器的兼容性？10. python3.x - 我把3.6的卸载了，也重启了，但是在cmd用python -V指令查看版本时，还是提示下图的python3.6
排行榜
网公网安备