打开微信扫一扫，关注微信公众号
爬取思路
闲鱼网站原关键字直接搜索地址关闭。
经过查找，找到能搜索关键字的链接https://s.2.taobao.com/list/?q=关键字&page=2&search_type=item&_input_charset=utf8
经过多次爬取发现闲鱼并没有太多的反爬虫验证，索性连ua都不用给。【2019-08-07在之前爬取频率过多接口失效】目前只能做异步方式参考
闲鱼只能爬取某一个关键字商品前100页面。想要获取所有数据的思路：100页的数据量100x20=2k条左右，全部商品有200k，爬取商品总数量，按照地区分级爬取，如果分级后仍然大于2k，继续分地级。
只提供思路，并未实现
文章来源： https://jxasp.net/python/2676.html
版权说明：仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。我们非常重视版权问题，如有侵权请邮件(48345050#qq.com)与我们联系处理。敬请谅解！
关于资源：本站资源及源码均来源于互联网收集,不保证所提供软件或程序的完整性和安全性，请自行查毒。充值下载是为了获得更丰富的资源信息及更便捷的下载渠道，并非向本站购买任何资源！如需要购买资源或商业用途等，请购买官方正版！
技术支持：除包含“原创”、“独家”、“收费”的标签外所有源码均不提供任何技术支持。
退款说明：由于本站资源均为虚拟产品特点，一经下载均拒绝任何形式的退款要求；请慎重考虑付款。
