1
条回答
写回答
写回答
-
CookiesMiddleware：是否向web server发送cookie
DefaultHeadersMiddleware：将所有request的头设置为默认模式
DownloadTimeoutMiddleware：设置request的timeout
HttpAuthMiddleware：对来自特定spider的request授权
HttpCacheMiddleware：给request&response设置缓存策略
HttpProxyMiddleware：给所有request设置http代理
RedirectMiddleware：处理request的重定向
MetaRefreshMiddleware：根据meta-refresh html tag处理重定向
RetryMiddleware：失败重试策略
RobotsTxtMiddleware：robots封禁处理
UserAgentMiddleware：支持user agent重写
DepthMiddleware：对抓取深度和深度优先级进行设置；
HttpErrorMiddleware：设置成功码的范围
OffsiteMiddleware：主域过滤
UrlLengthMiddleware：限定有效url的长度
2021-12-08 23:00:20赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
请教一下Nacos 配置 不生效，不加载shared-configs 配置怎么办?
1002
seata2.0.0报错如下如何处理？
1121
部署了Nacos2.4.0，开启鉴权，用管理员账号，修密码，就报401错误，啥原因呀？
1381
Seata中Global lock wait timeout是为什么呢？
7978
sentinel控制台 没有发现服务 是为啥 ？
344
nacos2.2.3 怎么动态读取 logback-spring.xml?
700
为什么在SeaTa中提示can not get cluster name in registry
3430
Seata中 try to proceed invocation error是什么问题？
1586
我们在做软件的国产化适配，请问Tengine在信创名单里面吗？
1322
怎么Seata一直在显示回滚？
345
展开全部
一键托管，阿里云全链路追踪服务正式商用：成本仅自建1/5或更少
26775
中间件学习——metaq
23580
盘点阿里巴巴 15 款开发者工具
20653
Spring Cloud Alibaba迁移指南（一）：一行代码从 Hystrix 迁移到 Sentinel
11618
阿里中间件蒋江伟（小邪）谈RocketMQ开源：感恩社区
10581
在 Intellij IDEA 中部署 Spring Boot / Spring Cloud 应用到阿里云
13780
阿里架构总监一次讲透中台架构，13页PPT精华详解，建议收藏！
34156
Cloud Toolkit Maven 插件部署应用到阿里云 EDAS
10333
Nacos 1.1.0发布，支持灰度配置和地址服务器模式
10774
借助 Cloud Toolkit 快速创建 Dubbo 工程
7083
展开全部
