Python selenium get_cookies获取cookie不全的解决方案
作者:zhu6201976
之前使用爬虫时最让我头疼的就是cookie失效的问题了,下面这篇文章主要给大家介绍了关于Python selenium get_cookies获取cookie不全的解决方案,需要的朋友可以参考下
一、场景
浏览器访问淘宝,再访问天猫,继续访问1688......
此时,浏览器中的cookie是什么状态?
显然,包含上述3个网站的所有cookie
二、此时,若通过selenium get_cookies()方法,能获取到浏览器所有cookie吗?
答案显然是不能的(webdriver安全考虑),此方法只能获取当前请求域名下的所有cookie
故访问天猫或1688会登录失败。
那可以通过什么方式,将浏览器所有cookie获取?
方案一:基于浏览器内核,打造属于自己的浏览器,解除限制
方案二:挂代理,Fiddler,mitmproxy等
方案三:分别请求对应域名,获取所有cookie(推荐,笔者首创)
三、样例代码
lmdd_url = f'{self.root_lmdd_url}/seller/dashboard/plan/order' self.chrome.get(lmdd_url) cookie_list = self.chrome.get_cookies() self.chrome.get(self.root_lmdd_api_url) cookie_list_api = self.chrome.get_cookies() cookie_list.extend(cookie_list_api) self.update_session_cookie(cookie_list)
补充:selenium通过add_cookie()添加cookie
selenium通过add_cookie()添加cookie,再次访问网站时,服务器直接读取浏览器cookie
第一次登陆 手动输入用户名密码
# -*- coding:utf-8 -*- from selenium import webdriver from time import sleep driver = webdriver.Firefox() driver.get('http://www.baidu.com') sleep(2) driver.find_element_by_xpath('//*[@id="u1"]/a[7]').click() driver.add_cookie({'name':'userName','value':'youname'}) driver.add_cookie({'name':'password','value':'youpassword'}) sleep(30) driver.get('http://www.baidu.com') driver.find_element_by_id('kw').send_keys('selenium')
总结
到此这篇关于Python selenium get_cookies获取cookie不全解决的文章就介绍到这了,更多相关Python selenium get_cookies获取cookie内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!