scrapy 爬虫_scrapy爬虫实例-每日热门
互联网
2023-02-14 09:50:06
(资料图片仅供参考)
1、scrapy自带有去重set（）集合功能，但是set是在内存中的，一旦关机就要重新开始。
2、那么我拿到数据不是在set里面，我把他存入redis，mysql，mongo，在取数据的时候，pop一下不就可以实现断点续传了。
本文就为大家分享到这里，希望小伙伴们会喜欢。
(资料图片仅供参考)
1、scrapy自带有去重set（）集合功能，但是set是在内存中的，一旦关机就要重新开始。
2、那么我拿到数据不是在set里面，我把他存入redis，mysql，mongo，在取数据的时候，pop一下不就可以实现断点续传了。
本文就为大家分享到这里，希望小伙伴们会喜欢。
