[Python爬虫]使用Selenium操作浏览器订购火车票
- - 一个会写Python的Oracle DBA. [Python程序]利用微信企业号发送报警信息. [Python爬虫]使用Python爬取静态网页-斗鱼直播. [Python爬虫]使用Python爬取动态网页-豆瓣电影(JSON). [Python爬虫]使用Python爬取动态网页-腾讯动漫(Selenium).
[python爬虫] Selenium常见元素定位方法和操作的学习介绍
标签：
python
爬虫
selenium
| 发表时间：2016-07-10 21:10 | 作者：Eastmount
出处：http://blog.csdn.net
这篇文章主要Selenium+Python自动测试或爬虫中的常见定位方法、鼠标操作、键盘操作介绍，希望该篇基础性文章对你有所帮助，如果有错误或不足之处，请海涵~
前文目录：
[Python爬虫] 在Windows下安装PhantomJS和CasperJS及入门介绍(上)
[Python爬虫] 在Windows下安装PIP+Phantomjs+Selenium
[Python爬虫] Selenium自动访问Firefox和Chrome并实现搜索截图
[Python爬虫] Selenium实现自动登录163邮箱和Locating Elements介绍
[Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论
[2] 通过id=loginForm值的form元素找到第一个input子元素
[3] 属性名为name且值为username的第一个input元素
PS：如果需要输入中文，防止编码错误使用send_keys(u"中文用户名")。
前文目录：
[Python爬虫] 在Windows下安装PhantomJS和CasperJS及入门介绍(上)
[Python爬虫] 在Windows下安装PIP+Phantomjs+Selenium
[Python爬虫] Selenium自动访问Firefox和Chrome并实现搜索截图
[Python爬虫] Selenium实现自动登录163邮箱和Locating Elements介绍
[Python爬虫] Selenium+Phantomjs动态获取CSDN下载资源信息和评论
一. 定位元素方法
官网地址： http://selenium-python.readthedocs.org/locating-elements.html
这里有各种策略用于定位网页中的元素(locate elements)，你可以选择最适合的方案，Selenium提供了一下方法来定义一个页面中的元素：
- find_element_by_id
- find_element_by_name
- find_element_by_xpath
- find_element_by_link_text
- find_element_by_partial_link_text
- find_element_by_tag_name
- find_element_by_class_name
- find_element_by_css_selector
- find_elements_by_name
- find_elements_by_xpath
- find_elements_by_link_text
- find_elements_by_partial_link_text
- find_elements_by_tag_name
- find_elements_by_class_name
- find_elements_by_css_selector
除了上面给出的公共方法，这里也有两个在页面对象定位器有用的私有方法。这两个私有方法是find_element和find_elements。
常用方法是通过xpath相对路径进行定位，同时CSS也是比较好的方法。举例：
<html> <body> <form id="loginForm"> <input name="username" type="text" /> <input name="password" type="password" /> <input name="continue" type="submit" value="Login" /> <input name="continue" type="button" value="Clear" /> </form> </body> <html>定位username元素的方法如下：
username = driver.find_element_by_xpath("//form[input/@name='username']")
username = driver.find_element_by_xpath("//form[@id='loginForm']/input[1]")
username = driver.find_element_by_xpath("//input[@name='username']") [1] 第一个form元素通过一个input子元素，name属性和值为username实现 [2] 通过id=loginForm值的form元素找到第一个input子元素
[3] 属性名为name且值为username的第一个input元素
二. 操作元素方法
在讲述完定位对象(locate elements)之后我们需要对该已定位对象进行操作，通常所有的操作与页面交互都将通过WebElement接口，常见的操作元素方法如下：
- clear 清除元素的内容
- send_keys 模拟按键输入
- click 点击元素
- submit 提交表单
举例自动访问FireFox浏览器自动登录163邮箱。
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
# Login 163 email
driver = webdriver.Firefox()
driver.get("http://mail.163.com/")
elem_user = driver.find_element_by_name("username")
elem_user.clear
elem_user.send_keys("15201615157")
elem_pwd = driver.find_element_by_name("password")
elem_pwd.clear
elem_pwd.send_keys("******")
elem_pwd.send_keys(Keys.RETURN)
#driver.find_element_by_id("loginBtn").click()
#driver.find_element_by_id("loginBtn").submit()
time.sleep(5)
assert "baidu" in driver.title
driver.close()
driver.quit() 首先通过name定位用户名和密码，再调用方法clear()清除输入框默认内容，如“请输入密码”等提示，通过send_keys("**")输入正确的用户名和密码，最后通过click()点击登录按钮或send_keys(Keys.RETURN)相当于回车登录，submit()提交表单。 PS：如果需要输入中文，防止编码错误使用send_keys(u"中文用户名")。
三. WebElement接口获取值
通过WebElement接口可以获取常用的值，这些值同样非常重要。
- size 获取元素的尺寸
- text 获取元素的文本
- get_attribute(name) 获取属性值
- location 获取元素坐标，先找到要获取的元素，再调用该方法
- page_source 返回页面源码
- driver.title 返回页面标题
- current_url 获取当前页面的URL
- is_displayed() 设置该元素是否可见
- is_enabled() 判断元素是否被使用
- is_selected() 判断元素是否被选中
- tag_name 返回元素的tagName
举例代码如下：
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")
driver.get("http://www.baidu.com/")
size = driver.find_element_by_name("wd").size
print size
#尺寸: {'width': 500, 'height': 22}
news = driver.find_element_by_xpath("//div[@id='u1']/a[1]").text
print news
#文本: 新闻
href = driver.find_element_by_xpath("//div[@id='u1']/a[2]").get_attribute('href')
name = driver.find_element_by_xpath("//div[@id='u1']/a[2]").get_attribute('name')
print href,name
#属性值: http://www.hao123.com/ tj_trhao123
location = driver.find_element_by_xpath("//div[@id='u1']/a[3]").location
print location
#坐标: {'y': 19, 'x': 498}
print driver.current_url
#当前链接: https://www.baidu.com/
print driver.title
#标题: 百度一下， 你就知道
result = location = driver.find_element_by_id("su").is_displayed()
print result
#是否可见: True 其中图片解释如下图所示。
四. 鼠标操作
在现实的自动化测试中关于鼠标的操作不仅仅是click()单击操作，还有很多包含在ActionChains类中的操作。如下：
- context_click(elem) 右击鼠标点击元素elem，另存为等行为
- double_click(elem) 双击鼠标点击元素elem，地图web可实现放大功能
- drag_and_drop(source,target) 拖动鼠标，源元素按下左键移动至目标元素释放
- move_to_element(elem) 鼠标移动到一个元素上
- click_and_hold(elem) 按下鼠标左键在一个元素上
- perform() 在通过调用该函数执行ActionChains中存储行为
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
#鼠标移动至图片上 右键保存图片
elem_pic = driver.find_element_by_xpath("//div[@id='lg']/img")
print elem_pic.get_attribute("src")
action = ActionChains(driver).move_to_element(elem_pic)
action.context_click(elem_pic)
#重点:当右键鼠标点击键盘光标向下则移动至右键菜单第一个选项
action.send_keys(Keys.ARROW_DOWN)
time.sleep(3)
action.send_keys('v') #另存为
action.perform()
#获取另存为对话框(失败)
alert.switch_to_alert()
alert.accept()
效果如下图所示，通过xpath定位到图片位置并右击鼠标，在弹出的菜单中选择“另存为图片”。但是如何点击“另存为对话框”的“保存”按钮是个难点，目前刚学习阶段，境界没到无法解决。原因：
WebDriver cannot directly interact with dialog windows this is because dialog windows are the domain of the operating system and
not the webpage.
该部分推荐参考资料：
selenium 右键下载图片，结合sikuli - tobecrazy
Selenium WebDriver 中鼠标和键盘事件分析及扩展
Selenium Windows Save/Open Open Dialouge - StackOver
书籍《selenium2 python自动化测试》 作者：虫师
selenium 右键下载图片，结合sikuli - tobecrazy
Selenium WebDriver 中鼠标和键盘事件分析及扩展
Selenium Windows Save/Open Open Dialouge - StackOver
书籍《selenium2 python自动化测试》 作者：虫师
五. 键盘操作
参考： http://selenium-python.readthedocs.org/api.html
前面讲述了鼠标操作，现在讲述键盘操作。在webdriver的Keys类中提供了键盘所有的按键操作，当然也包括一些常见的组合键操作如Ctrl+A(全选)、Ctrl+C(复制)、Ctrl+V(粘贴)。更多键参考官方文档对应的编码。
- send_keys(Keys.ENTER) 按下回车键
- send_keys(Keys.TAB) 按下Tab制表键
- send_keys(Keys.SPACE) 按下空格键space
- send_keys(Kyes.ESCAPE) 按下回退键Esc
- send_keys(Keys.BACK_SPACE) 按下删除键BackSpace
- send_keys(Keys.SHIFT) 按下shift键
- send_keys(Keys.CONTROL) 按下Ctrl键
- send_keys(Keys.ARROW_DOWN) 按下鼠标光标向下按键
- send_keys(Keys.CONTROL,'a') 组合键全选Ctrl+A
- send_keys(Keys.CONTROL,'c') 组合键复制Ctrl+C
- send_keys(Keys.CONTROL,'x') 组合键剪切Ctrl+X
- send_keys(Keys.CONTROL,'v') 组合键粘贴Ctrl+V
这里使用的例子参考虫师的书籍《selenium2 python自动化测试》，推荐该书给大家。代码还是非常有意思的，大家自己去感受下吧~
#coding=utf-8
import time
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Firefox()
driver.get("http://www.baidu.com")
#输入框输入内容
elem = driver.find_element_by_id("kw")
elem.send_keys("Eastmount CSDN")
time.sleep(3)
#删除一个字符CSDN 回退键
elem.send_keys(Keys.BACK_SPACE)
elem.send_keys(Keys.BACK_SPACE)
elem.send_keys(Keys.BACK_SPACE)
elem.send_keys(Keys.BACK_SPACE)
time.sleep(3)
#输入空格+"博客"
elem.send_keys(Keys.SPACE)
elem.send_keys(u"博客")
time.sleep(3)
#ctrl+a 全选输入框内容
elem.send_keys(Keys.CONTROL,'a')
time.sleep(3)
#ctrl+x 剪切输入框内容
elem.send_keys(Keys.CONTROL,'x')
time.sleep(3)
#输入框重新输入搜索
elem.send_keys(Keys.CONTROL,'v')
time.sleep(3)
#通过回车键替代点击操作
driver.find_element_by_id("su").send_keys(Keys.ENTER)
time.sleep(3)
driver.quit()
最后希望文章对你有所帮助吧，如果有错误或不足之处，还请海涵~同时接下来学习下Linux和下面作者的文章。
http://www.dotblogs.com.tw/larrynung/archive/2012/09/26/75065.aspx
（By:Eastmount 2016-7-10 下午1点 http://blog.csdn.net/eastmount/）
作者：Eastmount 发表于2016/7/10 13:10:10 原文链接
阅读：244 评论：0 查看评论
相关 [python 爬虫 selenium] 推荐：
[python爬虫] Selenium常见元素定位方法和操作的学习介绍
- - CSDN博客编程语言推荐文章 这篇文章主要Selenium+Python自动测试或爬虫中的常见定位方法、鼠标操作、键盘操作介绍，希望该篇基础性文章对你有所帮助，如果有错误或不足之处，请海涵~. 前文目录：. [Python爬虫]
在Windows下安装PhantomJS和CasperJS及入门介绍(上).
[Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上)
- - CSDN博客推荐文章前一篇文章" [python爬虫] Selenium爬取新浪微博内容及用户信息"简单讲述了如何爬取新浪微博手机端用户信息和微博信息. 用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等. 微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等. 它主要通过从文本txt中读取用户id，通过"URL+用户ID" 访问个人网站，如柳岩：.
最全Python爬虫总结
- - CSDN博客综合推荐文章最近总是要爬取一些东西，索性就把Python爬虫的相关内容都总结起来了，自己多动手还是好. （2）保存爬取的图片/视频和文件和网页. （7）某个网站的站内所有目录爬虫. （9）爬虫框架Scrapy . 二，保存爬取的图片/视频和文件和网页. #图片/视频和文件和网页的地址抓取下来后，利用模块urllib里的urlretrieve()方法下载下来：.
Python写爬虫与网页解析
- - 互联网实践Python写个简单爬虫，并作网页解析，还是非常高效的. urllib2是urllib得增强版，httplib更为底层，可以理解为urllib是对httplib的抽象. httplib是一个相对底层的http请求模块，其上有专门的包装模块，如urllib内建模块，goto等第三方模块，但是封装的越高就越不灵活，比如urllib模块里请求错误时就不会返回结果页的内容，只有头信息，对于某些需要检测错误请求返回值的场景就不适用，所以就得用这个模块了.
python爬虫实践之网页抓取
- - CSDN博客推荐文章python自带了urllib和urllib2模块，以及第三方的requests库来抓取网页，这里我们使用easy_install包管理工具下载requests库，BeautifulSoup库，在CMD命令行下，切换到easy_install的目录，运行命令easy_install 包名称. 安装好requests包之后，我们就可以选择使用urllib，urllib2或requests库来抓取网页了.
开源Python网络爬虫框架Scrapy
- - 互联网实践所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据. 不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了. 一般的方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样.
[原][python]书籍信息爬虫示例
- - moxiaomomo的专栏[python]书籍信息爬虫示例. 需要收集一些书籍信息，以豆瓣书籍条目作为源，得到一些有效书籍信息，并保存到本地数据库. 具体可参考这个链接：. 然后将这些分类标签链接存到本地某个文件，存储内容如下. 获取书籍信息，并保存本地数据库. 假设已经建好mysql表，如下：. 并已实现相关爬虫逻辑，主要用到了BeautifulSoup包，如下：.
基于 Python 的 Scrapy 爬虫入门：代码详解
- - SegmentFault 最新的文章接下来创建一个爬虫项目，以 图虫网 为例抓取里面的图片. 在顶部菜单“发现” “标签”里面是对各种图片的分类，点击一个标签，比如“美女”，网页的链接为： https://tuchong.com/tags/美女/，我们以此作为爬虫入口，分析一下该页面：. 打开页面后出现一个个的图集，点击图集可全屏浏览图片，向下滚动页面会出现更多的图集，没有页码翻页的设置.
python使用beutifulsoup来爬虫的基本套路
- - jackyrong使用python3，比如爬kugo的榜单：. 在上面的代码中 from bs4 import BeautifulSoup首先导入；. 然后 soup = BeautifulSoup(wb_data.text,'lxml') 中，调用BeautifulSoup，. 这些，XPATH用CHROME浏览器的检查功能，查看下就可以了；.