单元1：Requests库入门

安装

win+R cmd
pip install requsets

测试安装成功

import requests

get()方法

r = requests.get(url)#获得网页
#返回一个包含服务器资源的response对象
#构造一个向服务器请求资源的request对象

完整使用方法：

request.get(url,params=None,**kwargs)
#url:拟获取页面的url链接
#params:Url中的额外参数，字典或字节流格式，可选
#**kwargs:12个控制访问的参数

Response对象的属性

爬取网页的通用代码框架

理解requests库的异常

#有效稳定的代码框架
import requests

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()#如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "error"

    
if __name__ == "__main__":
    url = "<http://www.baidu.com>"
    print(getHTMLText(url))

HTTP协议及Requests库方法

Requests库的7个主要方法

Http协议与request库

head()方法