为了方便管理进程,使用了supervisitor。先不说进程跑一会就僵死的问题。为了提高抓取效率,用了多台服务器进行分布式的抓取,这时候队列的问题就来了,出现多个进程抢同一条队列重复抓取的问题。看了下源代码虽然数据库加了锁但是没有效果。稍微修改了一下源代码,增加了markjob是否成功的判断试了一下感觉好像是可以了。但是进程僵死的情况还是经常出现,过段时间就会发现queue:work
的进程多了几个僵死在那里,后来在启动queue:listen的时候时候加上 --timeout的选项,现在还不知道有没有好使 有待进一步验证。
最佳答案