【说站】python中如何使用XPath爬取小说
2024-11-05
22
python中如何使用XPath爬取小说
说明
xpath是一种在XML文档中搜索信息的语言。
过程
1、获得浏览器中的标题和作者测试。
2、在浏览器安装xpath插件:
3、在html中找到book-mid-info:
4、找到我们想得到小说的名字、作者
即//div[@class='book-mid-info']/h4/a/txt()
实例
# 作者: # 开发时间:2021/4/8/0008 8:24 import requests from lxml import etree url="https://www.qidian.com/rank/yuepiao" headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'} #发送请求 resp=requests.get(url,headers) e=etree.HTML(resp.text) #类型转换,把str转变为class 'lxml.etree._ELement print(type(e)) names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()') authors=e.xpath('//p[@class="author"]/a[1]/text()') print(names) print(authors) #名称和作者对应 for name,authors in zip(names,authors): print(name,":",authors)
以上就是python中使用XPath爬取小说的方法,希望对大家有所帮助。更多Python学习指路:python基础教程
本文教程操作环境:windows7系统、Python 3.9.1,DELL G3电脑。
更新于:16天前赞一波!
相关文章
- 【说站】python中Queue如何通信
- 【说站】python WSGI规范是什么
- 【说站】python中进程池Pool的初始化
- 【说站】python Pool常用函数有哪些
- 【说站】python整数的进制转换
- 【说站】python如何使用send唤醒
- 【说站】python gevent的原理分析
- 【说站】python生成器创建的方法整理
- 【说站】本月编程语言排行:C语言稳居榜首,python持续上升
- 【说站】python密码生成器的使用
- 【说站】python模块如何传入参数
- 【说站】python模块的介绍和导入
- 【说站】招聘月:Python数据分析岗位迎来机遇
- 【说站】python调用函数的注意点
- 【说站】python中try-except-finally语句的使用
- 【说站】python raise语句的两种用法
- 【说站】python try-except捕获异常的方法
- 【说站】python对象方法是什么
- 【说站】python函数的理解及定义
- 【说站】python类如何实例化对象
文章评论
评论问答