缘何要选用Cookie呢?

干什么要利用Cookie呢?

Cookie,指某个网址为了鉴定分别用户身份、实行session跟踪而储存在用户当地终端上的数码(常常通过加密)

Cookie,指某个网址为了鉴定区别用户地方、进行session跟踪而储存在用户本地终端上的数量(通常经过加密)

诸如有个别网站需求报到后才能访问某些页面,在登录以前,你想抓取有些页面内容是不允许的。那么大家能够使用Urllib贰库保存大家登录的Cookie,然后再抓取其他页面就高达目标了。

例如有个别网址须求登录后才能访问某个页面,在登录以前,你想抓取有些页面内容是不允许的。那么大家得以利用Urllib贰库保存大家登录的库克ie,然后再抓取其余页面就直达指标了。

在此以前呢,大家亟须先介绍1个opener的概念。

从前呢,大家务必先介绍一个opener的定义。

1.Opener

当你拿走四个U奥迪Q5L你利用3个opener(贰个urllib二.OpenerDirector的实例)。在前头,大家都以选取的暗中同意的opener,也正是urlopen。它是一个特种的opener,能够清楚成opener的1个特种实例,传入的参数仅仅是url,data,timeout。

假诺大家要求用到Cookie,只用这几个opener是不能够达到规定的标准目标的,所以大家供给创立更相像的opener来完成对Cookie的安装。

1.Opener

当您拿走多少个U奇骏L你接纳多少个opener(贰个urllib二.OpenerDirector的实例)。在前方,大家都是运用的默许的opener,也等于urlopen。它是3个奇特的opener,可以精晓成opener的三个新鲜实例,传入的参数仅仅是url,data,timeout。

设若我们须要用到Cookie,只用这么些opener是不可能达到规定的标准目标的,所以大家要求创立更相像的opener来完结对Cookie的安装。

2.Cookielib

cookielib模块的首要性效用是提供可存储cookie的对象,以便于与urllib二模块协作使用来拜会Internet财富。Cookielib模块11分有力,我们可以使用本模块的库克ieJar类的对象来捕获cookie并在接二连三连接请求时再度发送,比如可以兑现模拟登录功效。该模块首要的靶子有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它们的涉及:CookieJar —-派生—->File库克ieJar
 —-派生—–>MozillaCookieJar和LWPCookieJar

2.Cookielib

cookielib模块的根本意义是提供可存款和储蓄cookie的指标,以便于与urllib二模块合作使用来走访Internet能源。Cookielib模块十一分强大,大家能够使用本模块的CookieJar类的指标来捕获cookie并在继承连接请求时再也发送,比如能够兑现模拟登录作用。该模块重要的指标有CookieJar、File库克ieJar、MozillaCookieJar、LWPCookieJar。

它们的涉及:CookieJar —-派生—->FileCookieJar
 —-派生—–>MozillaCookieJar和LWPCookieJar

一)获取库克ie保存到变量

率先,大家先利用库克ieJar对象完结获取cookie的法力,存款和储蓄到变量中,先来感受一下

 

import urllib2
import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法,也可以传入request
response = opener.open('http://www.baidu.com')
for item in cookie:
    print 'Name = '+item.name
    print 'Value = '+item.value

大家采纳上述办法将cookie保存到变量中,然后打字与印刷出了cookie中的值,运营结果如下

Name = BAIDUID
Value = B07B663B645729F11F659C02AAE65B4C:FG=1
Name = BAIDUPSID
Value = B07B663B645729F11F659C02AAE65B4C
Name = H_PS_PSSID
Value = 12527_11076_1438_10633
Name = BDSVRTM
Value = 0
Name = BD_HOME
Value = 0

一)获取Cookie保存到变量

先是,大家先使用CookieJar对象达成获取cookie的效果,存款和储蓄到变量中,先来感受一下

 

1
2
3
4
5
6
7
8
9
10
11
12
13
import urllib2
import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法,也可以传入request
response = opener.open(‘http://www.baidu.com’)
for item in cookie:
    print ‘Name = ‘+item.name
    print ‘Value = ‘+item.value

我们运用上述办法将cookie保存到变量中,然后打字与印刷出了cookie中的值,运维结果如下

 

1
2
3
4
5
6
7
8
9
10
Name = BAIDUID
Value = B07B663B645729F11F659C02AAE65B4C:FG=1
Name = BAIDUPSID
Value = B07B663B645729F11F659C02AAE65B4C
Name = H_PS_PSSID
Value = 12527_11076_1438_10633
Name = BDSVRTM
Value = 0
Name = BD_HOME
Value = 0

 

2)保存Cookie到文件

在上边的点子中,大家将cookie保存到了cookie那些变量中,纵然大家想将cookie保存到文件中该怎么办啊?这时,大家即将动用

FileCookieJar那个指标了,在此间大家采纳它的子类Mozilla库克ieJar来促成Cookie的保存

 

import cookielib
import urllib2

#设置保存cookie的文件,同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求,原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

关于最后save方法的多个参数在此说可瑞康(Nutrilon)下:

合法表达如下:

ignore_discard: save even cookies set to be discarded. 

ignore_expires: save even cookies that have expiredThe file is
overwritten if it already exists

有鉴于此,ignore_discard的情趣是不怕cookies将被屏弃也将它保存下去,ignore_expires的意思是借使在该公文中cookies已经存在,则覆盖原来的书文件写入,在此处,咱们将这五个百分百装置为True。运营之后,cookies将被保留到cookie.txt文件中。

2)保存Cookie到文件

在上面的艺术中,大家将cookie保存到了cookie这么些变量中,如若大家想将cookie保存到文件中该如何做吧?这时,大家即将采纳

FileCookieJar那个目的了,在那里我们使用它的子类MozillaCookieJar来兑现Cookie的保留

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import cookielib
import urllib2
 
#设置保存cookie的文件,同级目录下的cookie.txt
filename = ‘cookie.txt’
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求,原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

关于终极save方法的五个参数在此证实一下:

合法解释如下:

ignore_discard: save even cookies set to be discarded. 

ignore_expires: save even cookies that have expiredThe file is
overwritten if it already exists

有鉴于此,ignore_discard的意趣是正是cookies将被丢掉也将它保存下去,ignore_expires的趣味是要是在该文件中cookies已经存在,则覆盖最初的作品件写入,在那边,大家将那五个百分百装置为True。运行之后,cookies将被保留到cookie.txt文件中,大家查阅一下内容,附图如下

图片 1

三)从文件中收获Cookie并走访

那么大家早已完毕把库克ie保存到文件中了,如若之后想使用,能够运用上边包车型地铁措施来读取cookie并走访网站,感受一下

 

import cookielib
import urllib2

#创建MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
#创建请求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

思考,假诺大家的 cookie.txt
文件中保留的是有些人登录百度的cookie,那么大家领到出那一个cookie文件内容,就足以用以上办法模拟此人的账号登录百度。

 三)从文件中取得Cookie并走访

那么大家早已做到把Cookie保存到文件中了,如若之后想使用,能够运用上边包车型地铁法子来读取cookie并走访网址,感受一下

 

1
2
3
4
5
6
7
8
9
10
11
12
13
import cookielib
import urllib2
 
#创建MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load(‘cookie.txt’, ignore_discard=True, ignore_expires=True)
#创建请求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

设想,如若大家的 cookie.txt
文件中保留的是有个别人登录百度的cookie,那么大家领到出那几个cookie文件内容,就足以用上述办法模拟这厮的账号登录百度。

 四)利用cookie模拟网址登录

上边大家以学校的教诲系统为例,利用cookie达成模拟登录,并将cookie音讯保存到文本文件中,来感受一下cookie大法吧!

import urllib
import urllib2
import cookielib

filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
            'stuid':'201200131012',
            'pwd':'23342321'
        })
#登录教务系统的URL
loginUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login'
#模拟登录,并把cookie保存到变量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie请求访问另一个网址,此网址是成绩查询网址
gradeUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre'
#请求访问成绩查询网址
result = opener.open(gradeUrl)
print result.read()

以上程序的法则如下

创建一个富含cookie的opener,在做客登录的UKoleosL时,将登录后的cookie保存下来,然后接纳这一个cookie来访问其余网站。

 四)利用cookie模拟网址登录

上边大家以我们高校的引导系列为例,利用cookie达成模拟登录,并将cookie音信保存到文本文件中,来感受一下cookie大法吧!

专注:密码小编改了呀,别偷偷登录本宫的选课系统 o(╯□╰)o

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import urllib
import urllib2
import cookielib
 
filename = ‘cookie.txt’
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
            ‘stuid’:’201200131012′,
            ‘pwd’:’23342321′
        })
#登录教务系统的URL
loginUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login’
#模拟登录,并把cookie保存到变量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie请求访问另一个网址,此网址是成绩查询网址
gradeUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre’
#请求访问成绩查询网址
result = opener.open(gradeUrl)
print result.read()

如上程序的法则如下

创办贰个暗含cookie的opener,在走访登录的UCRUISERL时,将登录后的cookie保存下去,然后使用那几个cookie来访问其他网站。

如登录之后才能查看的成绩查询呀,本学期课表呀等等网站,模拟登录就好像此完毕啊,是否很酷炫?

好,小伙伴们要加油啊!大家现在得以万事大吉得到网址音信了,接下去正是把网址内部有效内容提取出来,下1节我们去会会正则表明式!

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图