PHP中如何实现采集多条url?超时问题怎么解决

浏览:1938 发布日期:2013/07/06 分类:求助交流 关键字: curl 采集 SAE 超时
最近在做一个采集站,但是发现一个非常严重的问题,就是没法采集。。。

我用cron job每分钟执行一次采集,一次采集大约需要curl读取50条url,很明显会超时(30秒)。
后来我尝试在BAE/SAE做一个taskqueue的类似后端,发现好像这样做被管理员看到了,然后把我是taskqueue禁止了。
PHP源生的方法是用 Curl Multi Function,但是这个好像是并发curl,虚拟主机的带宽没这么大。
到底怎么办呢?
最佳答案
评论( 相关
后面还有条评论,点击查看>>