Selenium是爬虫中用来模拟JS的利器。
下面介绍一下Linux安装selenium和chromedriver的具体做法。
1. install selenium
首先确保已经安装了pip命令,接下来:
1 | sudo pip install -U selenium |
2. install chromedriver
在Chromedriver网站上找到对应的版本,一般是最新版,如果你选的版本和电脑上的Chrome不互相匹配的话,在运行爬虫的时候会报错。(在网站里面的LATEST_RELEASE中可以找到最新版,不一定按那个序号来的)
找到后,把下面的2.41
改成你要安装的版本。1
wget -N http://chromedriver.storage.googleapis.com/2.41/chromedriver_linux64.zip
然后
1 | unzip chromedriver_linux64.zip #解压你下载的那个包 |
一通操作后,你的selenium和chromedriver应该可以正常使用了。
1 | from selenium import webdriver |