avatar

爬取QQ音乐歌曲精彩评论

爬取QQ音乐歌曲精彩评论(参考风变小课)
调用selenium库爬取

调用selenium库爬取
代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# 本地Chrome浏览器的静默默模式设置:
from selenium import webdriver #从selenium库中调用webdriver模块
from selenium.webdriver.chrome.options import Options # 从options模块中调用Options类
import time

chrome_options = Options() # 实例化Option对象
chrome_options.add_argument('--headless') # 把Chrome浏览器设置为静默模式
driver = webdriver.Chrome(options = chrome_options) # 设置引擎为Chrome,在后台默默运行


driver.get('https://y.qq.com/n/yqq/song/003o9UnR4BMEGU.html') # 访问页面
print('请等待5秒')
time.sleep(5)
if driver.find_element_by_class_name('popup__close'):#如果要求打开客服端
button = driver.find_element_by_class_name('popup__close') # 根据类名找到【关闭】
button.click() # 点击
button = driver.find_element_by_class_name('js_get_more_hot') # 根据类名找到【点击加载更多】
button.click() # 点击
comments = driver.find_element_by_class_name('js_hot_list').find_elements_by_class_name('js_cmt_li') # 使用class_name找到评论
time.sleep(2) # 等待两秒
print(len(comments)) # 打印获取到的评论个数
for comment in comments: # 循环
sweet = comment.find_element_by_tag_name('p') # 找到评论
print ('评论:%s\n ---\n'%sweet.text) # 打印评论
driver.close() # 关闭浏览器
文章作者: Techoc
文章链接: https://techoc.xyz/posts/c8914ede/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Techoc's

评论