毕业论文有个课题是基于Youtube评论数据，研究用户对AI的情感偏好，怎么采集比较合理？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
如果采集油管这样的大型网站数据，简单的playwright爬虫估计是不行的，因为很容易被识别并封掉ip，现在的自动化采集脚本太多了。
我之前在做研究生课题时，需要采集大量的社媒数据用于论文，因为没有什么时间去写爬虫脚本，所以用了亮数据的网页抓取API，类似封装好的数据采集流水线，能自动处理各种反爬技术，可以支持大型网站的大数据采集，而且不需要花时间去维护。
用起来也比较简单，需要登陆亮数据的用户控制面板，然后进入Web Scrapers菜单，这是用来配置网页采集API的功能区，油管的采集模板就在这里。
接着进入采集页面，里面有各种接口，包括按url采集视频信息及评论，或者按搜索关键词来采集。
配置好后，它会给到python采集代码，直接放到本地去跑就可以。
阿里云自主研发的通义大模型，凭借万亿级超大规模数据训练和领先的算法框架，实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi
