Python读取网页内容的方法
作者:写代码没钱途
这篇文章主要介绍了Python读取网页内容的方法,实例分析了Python基于URL读取网页内容的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下
本文实例讲述了Python读取网页内容的方法。分享给大家供大家参考。具体如下:
import urllib2 #encoding = utf-8 class Crawler: def main(self): #req = urllib2.Request('http://www.baidu.com/') #req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)') #urllib2.socket.setdefaulttimeout(10) # 超时10秒 #page = urllib2.urlopen(req) page = urllib2.urlopen('http://www.google.com', timeout=10) data = page.read() print data print len(data) #计算字节长度 if __name__ == '__main__': me=Crawler() me.main()
希望本文所述对大家的Python程序设计有所帮助。
您可能感兴趣的文章:
- python打开url并按指定块读取网页内容的方法
- Python读取本地文件并解析网页元素的方法
- Python中文分词工具之结巴分词用法实例总结【经典案例】
- Python 结巴分词实现关键词抽取分析
- python jieba分词并统计词频后输出结果到Excel和txt文档方法
- python使用jieba实现中文分词去停用词方法示例
- python中文分词教程之前向最大正向匹配算法详解
- Python基于jieba库进行简单分词及词云功能实现方法
- python实现中文分词FMM算法实例
- Python中文分词实现方法(安装pymmseg)
- python中文分词,使用结巴分词对python进行分词(实例讲解)
- python实现的读取网页并分词功能示例