文章详情页
python - 如何解决程序运行太久之后被操作系统暂停的情况?
浏览:131日期:2022-06-29 14:48:35
问题描述
我有几个python爬虫程序,需要持续不间断运行,但是每次都是运行了两天之后变得无响应,每次都是阻塞在time.sleep(60)的地方,但是进程又没有死掉,在控制台输入Ctrl C都不能退出程序,只能在任务管理器里强制退出才行。
请问这是由什么原因导致的?以及如何解决这个问题?
先谢谢各位前辈了!
问题解答
回答1:问题分析建议:
linux: 可以尝试通过strace命令追踪进程状态, 根据输出的内容做分析,或者通过proc对应目录的文件对进程的各项指标做分析! Ctrl-C无效,怀疑进程进入不可中断的睡眠,具体还得看实际获取的数据才有可能知道
windows: 通过任务管理器找到对应的进程, 右键->创建转储文件, 分析该转储文件看能否找出原因.
爬虫程序: 自身对爬取的进度,做详细的日志, 不管是链接,还是遇到的异常,最好都记录下来,以便得知具体停止的时间, 和停止时,爬取的进度, 下次可以先针对这个进度再去深入分析.
回答2:linux系统的话试试用crontab去做定时任务windows用任务计划
相关文章:
1. javascript - SuperSlide.js火狐不兼容怎么回事呢2. java - 创建maven项目失败了 求解决方法3. node.js - 函数getByName()中如何使得co执行完后才return4. 一个走错路的23岁傻小子的提问5. python - 如何使用pykafka consumer进行数据处理并保存?6. 主从备份 - 跪求mysql 高可用主从方案7. javascript - git clone 下来的项目 想在本地运行 npm run install 报错8. mysql主从 - 请教下mysql 主动-被动模式的双主配置 和 主从配置在应用上有什么区别?9. 一个mysql联表查询的问题10. python - django 里自定义的 login 方法,如何使用 login_required()
排行榜
