阿里云Redis集群兼容cluster语法
阿里云Redis集群兼容社区cluster相关语法,允许jedis client等客户端访问cluster nodes等命令,用户在开通兼容功能后,可以将自建的cluster集群无缝迁移到阿里云上的Redis集群,无须修改业务代码。
Scrapy结合Redis实现增量爬取
Scrapy适合做全量爬取,但是,我们不是一次抓取完就完事了。很多情况,我们需要持续的跟进抓取的站点,增量抓取是最需要的。
Scrapy与Redis配合,在写入数据库之前,做唯一性过滤,实现增量爬取。