我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:BG视讯 > 敌火下运动 >

爬虫实战系列(一):爬取某网站图片

归档日期:06-27       文本归类:敌火下运动      文章编辑:爱尚语录

  首先,经分析后发现该板块的图片是异步加载的,通过requests库难以获取。因此,利用selenium动态获取目标内容的源代码,再用BeautifulSoup库解析保存即可。

  禁止加载JavaScript后,图片则无法显示,并且在XHR里面没有任何内容

  基于此,我们发现,该板块内容只有图片是异步加载 的,但图片又是我们想要爬取的,这时用requests库去获取内容的话会比较困难,因此,我们可以用selenium库来获取目标内容。

  Selenium 是一个用于浏览器自动化测试的框架,可以用来爬取任何网页上看到的数据。

本文链接:http://nucleocide.net/dihuoxiayundong/124.html