think-queue的问题

浏览:4146 发布日期:2018/02/26 分类:技术分享
最近做我的小站www.doc5.cn 后台写了抓取程序抓取网上内容,需要用到队列就试用了下tp自带的队列,用的驱动是DB的。
为了方便管理进程,使用了supervisitor。先不说进程跑一会就僵死的问题。为了提高抓取效率,用了多台服务器进行分布式的抓取,这时候队列的问题就来了,出现多个进程抢同一条队列重复抓取的问题。看了下源代码虽然数据库加了锁但是没有效果。稍微修改了一下源代码,增加了markjob是否成功的判断试了一下感觉好像是可以了。但是进程僵死的情况还是经常出现,过段时间就会发现queue:work
的进程多了几个僵死在那里,后来在启动queue:listen的时候时候加上 --timeout的选项,现在还不知道有没有好使 有待进一步验证。
最佳答案
评论( 相关
后面还有条评论,点击查看>>