举例:需要抓取的页面为阿里云域名交易某页面,如:
https://wanwang.aliyun.com/nametrade/detail/online.html?spm=5176.8076989.1407540.22.68fb1838nRC7wJ&productType=2&domainName=wawafang.com
需求:想通过程序把指点域名(如wawafang.com)的价格获取到,就这么简单,但发现并不那么容易做到。 1.首先,我通过调试查看了该页面的网页源代码,但搜索后并没法发现wawafang.com和价格5000这样的关键词。
至此判断,通过上面的URL请求并没有一次性把域名及对应的信息请求过来,而是页面加载后再次ajax请求再获取,通过调试工具去找查看,找到如下:
然后,看了下请求URL为: https://domainapi.aliyun.com/onsale/detail?domainName=wawafang.com&orgType=undefined&productType=2&token=tdomain-aliyun-com:q8hsaMOagyeu7hquFzyTgIHwSkolKVcd&callback=jQuery11110902116498803003_1587029597566&_=1587029597567 把这个url,输入浏览器请求,并没有获取到想要的数据!通过网上查找相关资料,应该是https,token相关原因导致的,而且这个token值每次刷新请求都是变化的,至此,不知该怎么办了!
有没有大神指点下,接下来该如何解决?
遇到了同样的问题,在CSDN看到了,希望阿里云团队能够给出正确、标准的答案~请查看
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。