我想训练电商客服相关的大模型，所以要用到商品信息数据，这个需要跨平台采集，不只是简单的爬虫。我之前自己搭了个商品数据采集工具，用的是python requests和brightdata的网页抓取api，然后用streamlit构建可视化web应用。
用biightdata是因为抓数据时最难处理的是ip封禁、验证码问题，它自带了能自动轮换的ip池，还能自动处理验证码，实测抓取成功率很高，而且能直接集成到现有系统里，支持定时抓取，比如监控新品描述或实时评论，数据会自动更新。
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
阿里云自主研发的通义大模型，凭借万亿级超大规模数据训练和领先的算法框架，实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi
