您好,匿名用户

scrapy只爬了第一个页面就结束

0 投票

问个问题,为啥我的scrapy在parse里面返回了Request的list,为啥还是只爬了第一个页面就结束了?
我没有处理Items,准备以后直接在parse函数里面存数据库的,跟这个有关系吗?

def parse(self, response):
        
        hxs = HtmlXPathSelector(response)
        result = []
        for div in hxs.select("//div[@class='box']//li//div[@class='bassex']"):
            item = PoiItem()
            item['name'] = div.select('.//a/text()')[0].extract()
            item['url'] = div.select('.//a/@href')[0].extract()
            item['tag'] = div.select('.//span[@class="ic"]/a/@title').extract()
            item['sence'] = div.select('.//p[last()]/a/text()').extract()
            print item
            result.append(item)
            
        urls = self.getUrls(hxs)
        reqList = []
        for url in urls:
            print 'push to Queue:'+ url
            self.doneSet[url] = True
            yield Request(url, callback=self.parse)
用户头像 提问 2012年 12月1日 @ Katarina 中士 (1,341 威望)
分享到:

1个回答

0 投票
 
最佳答案

allow domain 写错了。。。。多加了http。。。找了一个小时

用户头像 回复 2012年 12月1日 @ Fiora 中士 (1,187 威望)
选中 2012年 12月1日 @Katarina
提一个问题:

相关问题

0 投票
1 回复 225 阅读
0 投票
1 回复 40 阅读
0 投票
0 回复 27 阅读
0 投票
1 回复 31 阅读
用户头像 提问 2019年 5月7日 @ Hera 下士 (839 威望)
0 投票
1 回复 422 阅读
用户头像 提问 2017年 5月28日 @ Yasuo 上士 (1,556 威望)

欢迎来到随意问技术百科, 这是一个面向专业开发者的IT问答网站,提供途径助开发者查找IT技术方案,解决程序bug和网站运维难题等。
温馨提示:本网站禁止用户发布与IT技术无关的、粗浅的、毫无意义的或者违法国家法规的等不合理内容,谢谢支持。

IT技术交流群 - 随意问
欢迎访问随意问技术百科,为了给您提供更好的服务,请及时反馈您的意见。
...