怎么要选取Cookie呢?

Cookie是指某个网址为了鉴定分别用户身份、实行session跟踪而存款和储蓄在用户本地终端上的数码(平日通过加密),比如说有些网址须求登录才能访问有些页面,在登录在此以前,你想抓取有些页面内容是不允许的。那么大家得以利用urllib二库保存我们登录的Cookie,然后再抓取其余页面就直达了目标了。

Cookie,指有些网址为了鉴定区别用户地方、进行session跟踪而储存在用户本地终端上的数据(经常经过加密)

Opener

诸如某个网址必要报到后才能访问某些页面,在报到在此以前,你想抓取有些页面内容是差异意的。那么大家能够使用Urllib2库保存大家登录的Cookie,然后再抓取其余页面就完成目标了。

当您拿走1个url,你选取二个opener(3个urllib贰.OpenerDirector的实例)。在前面,大家都是应用的暗中认可的opener,也正是urlopen。它是2个特有的opener,能够领略为opener的3个特种实例,传入的参数仅仅是url,data,timeout。假使大家需求用到Cookie,只用这几个opener是不可能实现指标的,所以大家需啊哟创制更相像的opener来落成对库克ie的安装。

从前呢,我们不能不先介绍3个opener的概念。

Cookielib

1.Opener

当您取得1个U宝马X3L你采纳八个opener(二个urllib二.OpenerDirector的实例)。在前头,大家都以选拔的私下认可的opener,也便是urlopen。它是一个奇特的opener,能够清楚成opener的一个奇特实例,传入的参数仅仅是url,data,timeout。

设若大家须要用到Cookie,只用那些opener是无法达到指标的,所以我们须要成立更相像的opener来达成对Cookie的装置。

Cookielib模块的关键职能是提供可存款和储蓄cookie的指标,以便于与urllib2模块合作使用来走访Internet财富。Cookielib模块分外有力,大家能够利用本模块的cookieJar类的对象来捕获cookie并在继续连接请求时再一次发送,比如可以完成模拟登录功用。该模块主要指标有库克ieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。它们中间的关系是:CookieJar——派生——>FileCookieJar——派生——>MozillaCookieJar和LWPCookieJar.

2.Cookielib

cookielib模块的重大职能是提供可存款和储蓄cookie的对象,以便于与urllib2模块合作使用来拜会Internet能源。库克ielib模块非凡强劲,大家能够使用本模块的CookieJar类的靶子来捕获cookie并在继续连接请求时再一次发送,比如能够完结模拟登录功效。该模块主要的靶子有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它们的涉嫌:CookieJar —-派生—->FileCookieJar
 —-派生—–>MozillaCookieJar和LWPCookieJar

取得Cookie保存到变量

一)获取Cookie保存到变量

第二,我们先选择CookieJar对象完结获取cookie的功力,存款和储蓄到变量中,先来感受一下

 

1
2
3
4
5
6
7
8
9
10
11
12
13
import urllib2
import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法,也可以传入request
response = opener.open(‘http://www.baidu.com’)
for item in cookie:
    print ‘Name = ‘+item.name
    print ‘Value = ‘+item.value

亚洲必赢手机入口88,笔者们选取上述措施将cookie保存到变量中,然后打印出了cookie中的值,运维结果如下

 

1
2
3
4
5
6
7
8
9
10
Name = BAIDUID
Value = B07B663B645729F11F659C02AAE65B4C:FG=1
Name = BAIDUPSID
Value = B07B663B645729F11F659C02AAE65B4C
Name = H_PS_PSSID
Value = 12527_11076_1438_10633
Name = BDSVRTM
Value = 0
Name = BD_HOME
Value = 0

 

先是,大家先选拔CookieJar对象达成获取cookie的功效,存款和储蓄到变量中。

2)保存Cookie到文件

在地点的措施中,我们将cookie保存到了cookie那个变量中,假使大家想将cookie保存到文件中该怎么做吧?那时,我们将要动用

FileCookieJar那个目的了,在那边大家使用它的子类MozillaCookieJar来贯彻Cookie的保存

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import cookielib
import urllib2
 
#设置保存cookie的文件,同级目录下的cookie.txt
filename = ‘cookie.txt’
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求,原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

关于终极save方法的三个参数在此证实一下:

官方解释如下:

ignore_discard: save even cookies set to be discarded. 

ignore_expires: save even cookies that have expiredThe file is
overwritten if it already exists

有鉴于此,ignore_discard的意趣是不怕cookies将被丢掉也将它保存下去,ignore_expires的趣味是假诺在该文件中cookies已经存在,则覆盖原来的书文件写入,在此间,大家将这八个百分百装置为True。运营之后,cookies将被保留到cookie.txt文件中,我们查阅一下内容,附图如下

亚洲必赢手机入口88 1

亚洲必赢手机入口88 2 

 3)从文件中收获库克ie并走访

那么大家早已完结把Cookie保存到文件中了,假诺之后想接纳,能够运用下边包车型客车章程来读取cookie并走访网址,感受一下

 

1
2
3
4
5
6
7
8
9
10
11
12
13
import cookielib
import urllib2
 
#创建MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load(‘cookie.txt’, ignore_discard=True, ignore_expires=True)
#创建请求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

设想,若是大家的 cookie.txt
文件中保留的是有些人登录百度的cookie,那么大家领到出那几个cookie文件内容,就足以用上述措施模拟此人的账号登录百度。

咱俩应用上述措施将Cookie保存到变量中,然后打字与印刷出了cookie中的值,运营结果如下:

 四)利用cookie模拟网址登录

上面大家以大家高校的教诲系统为例,利用cookie完毕模拟登录,并将cookie音讯保存到文本文件中,来感受一下cookie大法吧!

小心:密码笔者改了哟,别偷偷登录本宫的选课系统 o(╯□╰)o

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import urllib
import urllib2
import cookielib
 
filename = ‘cookie.txt’
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
            ‘stuid’:’201200131012′,
            ‘pwd’:’23342321′
        })
#登录教务系统的URL
loginUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login’
#模拟登录,并把cookie保存到变量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie请求访问另一个网址,此网址是成绩查询网址
gradeUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre’
#请求访问成绩查询网址
result = opener.open(gradeUrl)
print result.read()

如上程序的法则如下

始建三个暗含cookie的opener,在访问登录的U酷威L时,将登录后的cookie保存下来,然后采取这一个cookie来访问其余网站。

如登录之后才能查看的大成查询呀,本学期课表呀等等网站,模拟登录仿佛此完结啦,是还是不是很酷炫?

好,小伙伴们要加油啊!我们后天得以顺遂得到网址消息了,接下去正是把网址内部有效内容提取出来,下1节我们去会会正则表明式!

亚洲必赢手机入口88 3 

保存Cookie到文件

在上头的法子中,大家将Cookie保存到了cookie那几个变量中,假诺大家想将cookie保存到文件中即将用到FileCookieJar那个指标了,在那边大家应用它的子类MozillaCookieJar来兑现库克ie的保存。

亚洲必赢手机入口88 4 

有关终极save方法的三个参数在此说Bellamy下:

法定的分解如下:

亚洲必赢手机入口88 5 

保存下来,ignore_expires的情致是假设在该公文中cookies已经存在,则覆盖原作件写入,在此处,我们将那多个全体安装为True。运维之后,cookies将被封存到cookie.txt文件中,我们查阅一下情节:

亚洲必赢手机入口88 6 

从文件中获取Cookie并走访

那么大家早已做到把Cookie保存到文件中,如若大家现在想使用,能够使用上边包车型大巴秘籍来读取cookie并走访网址,如图所示:

亚洲必赢手机入口88 7 

设想,借使大家的cookie.txt文件中保留的是有个别人登录百度的cookie,那么大家领到那么些cookie文件内容,就足以用上述措施模拟这厮的账号登录百度。

利用cookie模拟网址登录

上边以抓取某校园引导种类为例,利用cookie达成模拟登录,并将cookie消息保存到文件中。

亚洲必赢手机入口88 8 

上述程序的原理如下:

开创七个涵盖cookie的opener,在做客登录的url时,将登录后的cookie保存下来,然后利用那个cookie来访问别的网站。

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图