开发者社区 问答 正文

spiderman规则配置 - spiderman报错

@像风一样自由 , Spiderman   @自风 ,有谁把抓取规则放到web页面配置了

展开
收起
montos 2020-06-03 10:14:55 489 分享 版权
1 条回答
写回答
取消 提交回答
    1. 跟种子链接不是同一个host的(这时候如果配置了validHost就可以支持多个host的download)

    2. 不符合你配置的sourceRules的

    你如果想遍历所有网页,从上面入手: 1. sourceRules配置成匹配所有(比如type="regex" value=".*")

    2020-06-03 10:16:01
    赞同 展开评论
问答地址: