热门排行
简介
信息采集的难点是什么? 数据比较复杂,形式多样;下载后的难点又是什么?数据管理。网络信息采集大师(NetGet)的主要功能,就是解决这两个问题。
网络信息采集大师立足于快速的信息采集,实时在线的信息监测,为企业决策,网站建设,本地局域网新闻系统建设等提供快速完整强大的方案。
功能介绍:
1. 可采集几乎任何类型的网站信息,包括静态htm,html类型和动ASP,ASPX,JSP等。可N级页面关联采集,自动整合成一条完整记录。
2. 支持网页框架,链接和网页加密等。支持完整采集和增量采集(断点续采)。可采集本地磁盘信息。
3. 支持Post数据请求采集方式。
4. 支持登录才能看到的信息采集方式,先在任务的'登录设置'处进行登录,就可采集登录后才能看到的信息。
5. 可设置脚本类型的任务,类似javascript:submit('Page',1)等格式的可轻松采集。
6. 可自动下载二进制文件,比如图片,软件,mp3等。
7. 真正的多线程,多任务,运行时占用系统资源很少,可稳定地长时间运行。(明显区别于其他软件)
8. 数据发布。数据可直接入库,或通过web提交方式发布到网站。
9. 数据保存格式丰富。可保存为Txt,Excel,Html和多种数据库格式(Access sqlserver Oracle Mysql等)。
10. 强大的新闻采集,自动化处理功能。可自动保留新闻的格式,包括图片等(可通过设置自动去除广告)。可通过设置,自动下载图片 ,自动把正文里图片的网络路径改为本地文件路径(也可保留原样);可把采集的新闻自动处理成自己设计的模板格式;可采集具有分页形式的新闻。 通过这些功能,简单设置后即可在本地建立一个强大的新闻系统,无需人工干预。
11. 对采集的信息,可自动进行二次批量再加工,使之更加符合您的实际要求。也可设置自动加工公式,在采集的过程中,按照公式自动加工处理,包括数据合并和数据替换等。
12. 无人值守采集。通过任务调度,实现信息实时监测。指定某些任务自动运行,把采集的数据自动去掉重复之后导入数据库(可指定组合唯一项)。可循环往复运行。可指定某任务在某个时间点运行。可设置采集一定数据量后,自动保存入库,自动清空内存。此功能可在占用系统资源很少的情况下,连续不间断地采集十万级和百万级数据。做到无人值守采集。
13. 提供软件接口。可自己对软件进行二次开发,通过插件对采集的数据进行任意加工处理。比如自动翻译,自动数据分发,入库等。
14. 更多强大的实用功能,在使用中去体会吧。
升级日志:
增加网络抓包功能,借助此功能,可细致分析起始地址,或Post数据的情况,能方便快速的找到实际的网络地址。增强脚本类型任务功能。
网络信息采集大师立足于快速的信息采集,实时在线的信息监测,为企业决策,网站建设,本地局域网新闻系统建设等提供快速完整强大的方案。
功能介绍:
1. 可采集几乎任何类型的网站信息,包括静态htm,html类型和动ASP,ASPX,JSP等。可N级页面关联采集,自动整合成一条完整记录。
2. 支持网页框架,链接和网页加密等。支持完整采集和增量采集(断点续采)。可采集本地磁盘信息。
3. 支持Post数据请求采集方式。
4. 支持登录才能看到的信息采集方式,先在任务的'登录设置'处进行登录,就可采集登录后才能看到的信息。
5. 可设置脚本类型的任务,类似javascript:submit('Page',1)等格式的可轻松采集。
6. 可自动下载二进制文件,比如图片,软件,mp3等。
7. 真正的多线程,多任务,运行时占用系统资源很少,可稳定地长时间运行。(明显区别于其他软件)
8. 数据发布。数据可直接入库,或通过web提交方式发布到网站。
9. 数据保存格式丰富。可保存为Txt,Excel,Html和多种数据库格式(Access sqlserver Oracle Mysql等)。
10. 强大的新闻采集,自动化处理功能。可自动保留新闻的格式,包括图片等(可通过设置自动去除广告)。可通过设置,自动下载图片 ,自动把正文里图片的网络路径改为本地文件路径(也可保留原样);可把采集的新闻自动处理成自己设计的模板格式;可采集具有分页形式的新闻。 通过这些功能,简单设置后即可在本地建立一个强大的新闻系统,无需人工干预。
11. 对采集的信息,可自动进行二次批量再加工,使之更加符合您的实际要求。也可设置自动加工公式,在采集的过程中,按照公式自动加工处理,包括数据合并和数据替换等。
12. 无人值守采集。通过任务调度,实现信息实时监测。指定某些任务自动运行,把采集的数据自动去掉重复之后导入数据库(可指定组合唯一项)。可循环往复运行。可指定某任务在某个时间点运行。可设置采集一定数据量后,自动保存入库,自动清空内存。此功能可在占用系统资源很少的情况下,连续不间断地采集十万级和百万级数据。做到无人值守采集。
13. 提供软件接口。可自己对软件进行二次开发,通过插件对采集的数据进行任意加工处理。比如自动翻译,自动数据分发,入库等。
14. 更多强大的实用功能,在使用中去体会吧。
升级日志:
增加网络抓包功能,借助此功能,可细致分析起始地址,或Post数据的情况,能方便快速的找到实际的网络地址。增强脚本类型任务功能。