用Python实现爬取百度热搜信息

后端：
name="HQ"
前端：
<p>{{name}}长得真帅！</p>
显示：
HQ长得真帅！

if __name__=="__main__":  #当程序执行时 调用一下函数
    main()
 

def askurl(url):
    head={
        "User-Agent":'''Mozilla/5.0 (Windows NT 10.0; Win64; x64)
         AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36 Edg/97.0.1072.55'''
    }
    #用户代理 告诉服务器我只是一个普普通通的浏览器
    requset=urllib.request.Request(url)
    #发送请求
    response=urllib.request.urlopen(requset)
    #响应的为一个request对象 
    #通过read()转化为 bytes类型字符串
    #再通过decode()转化为 str类型的字符串
 
    #接受响应
    html=response.read().decode('utf-8')
    
    将抓取到的网页存入文档中 方便观察
    path=r"C:\Users\XXX\Desktop\Python\text.txt"   
    #这里在字符串前加入r 防止字符串中的\发生转义
 
    f=open(r"path",'w',encoding='utf-8')
    f.write(html)
    f.close()
    #这样在txt文件中就可以查看网页的源码
 
    return html

def getData(html):
    datalist=[]
    soup=BeautifulSoup(html,"html.parser")   #定义一个解析对象
    
    #soup.find_all(a,b) 其中a为标签的类型 class_ 对div的class进行匹配 
    #返回的是所有class为category-wrap_iQLoo horizontal_1eKyQ的列表
    
    for item in soup.find_all('div',class_="category-wrap_iQLoo horizontal_1eKyQ"):
        item=str(item)
        #将列表中每一个子标签转换为字符串用于re匹配

#匹配规则
#链接
findlink=re.compile(r' href="(.*?)" rel="external nofollow"  target="_blank') 
#标题
findtitle=re.compile(r'ellipsis"> (.*?) </div> <div cla') 
#内容
findcontent1=re.compile(r'ellipsis_DupbZ"> (.*?) <a class=')
findcontent2=re.compile(r'small_Uvkd3"> (.*?) <a class=')
#热度
findnumber=re.compile(r'ex_1Bl1a"> (.*?) </div>')

def getData(html):
    datalist=[]
    soup=BeautifulSoup(html,"html.parser")   #定义一个解析对象
    
    #soup.find_all(a,b) 其中a为标签的类型 class_ 对div的class进行匹配 
    #返回的是所有class为category-wrap_iQLoo horizontal_1eKyQ的列表
    
    for item in soup.find_all('div',class_="category-wrap_iQLoo horizontal_1eKyQ"):
        item=str(item)
        #将列表中每一个子标签转换为字符串用于re匹配
        data=[]
        #标题
        title=re.findall(findtitle,item)[0]
        #简介
        #判断是否对第一种匹配 如果不是的话返回为空列表 此时应采用第二种匹配
 
        if (len(re.findall(findcontent1,item))!=0):
            content=re.findall(findcontent1,item)[0]
        else:
            content=re.findall(findcontent2,item)[0]
        #热度
        number=re.findall(findnumber,item)[0]
        #链接
        link=re.findall(findlink,item)[0]
 
        #将数据存入数组
        data.append(title)
        data.append(number)
        data.append(content)
        data.append(link)
        datalist.append(data)
        
    print(datalist)
    return datalist

def Savedata(datalist):
    #存入数据的目标路径
    path=r'C:\Users\XXX\Desktop\Python\爬虫\data.xls'
    workbook=xlwt.Workbook(encoding='utf-8')
    #创建工作表对象
    worksheet=workbook.add_sheet('sheet1')
    #创建表单 
    col=("标题","热度","内容","链接")
    #定义表含有的属性
 
    for i in range(4):
        worksheet.write(0,i,col[i])
    #write(i,j,value) 向 表单的 [i][j] 位置写入value
    for i in range(30):
        for j in range(4):
            worksheet.write(i+1,j,datalist[i][j]) 
    #将excel表保存
    workbook.save(path)