开发者社区 问答 正文

爬虫的工作流程是什么?

爬虫的工作流程是什么?

展开
收起
游客qzzytmszf3zhq 2021-12-08 22:30:32 507 分享 版权
1 条回答
写回答
取消 提交回答
  • (1)抓取网页:通过搜索引擎将待爬取的url加入到通用爬虫的url队列中,进行网页内容的爬取

    (2)数据存储:将爬取下来的网页保存到本地,这个过程会有一定的去重操作,如果某个网页的内 容大部分内容都会重复,搜索引擎可能不会保存。

    (3)预处理:提取文字,中文分词,消除噪音(比如版权声明文字,导航条,广告等)。

    (4)设置网站排名,为用户提供服务。

    2021-12-08 22:30:43
    赞同 展开评论
问答分类:
问答标签:
问答地址: