开发者社区> 问答> 正文

如何实现从一个url抓取底下所有url并保存为文本? 400 报错

如何实现从一个url抓取底下所有url并保存为文本? 400 报错

假如说,我输入http://www.taobao.com,底下还有一系列的子url请求。怎么在linux系统上把这些url都抓出来呢?要抓出来进行分析(上面截图是httpwatch的抓包截图)

展开
收起
爱吃鱼的程序员 2020-06-03 14:56:51 409 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    下载页面,正则匹配所有的http请求,然后遍历下载######不行,这个没办法。是用curl下来,然后匹配http吗?这些没有全部的子url请求。

    2020-06-03 17:12:51
    赞同 展开评论 打赏
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载