热门排行
简介
小矿网页机器人是一款强大的专业数据采集器,通过用户自定义配置,可快捷的将网页数据结构化存储到本地,并可输出到数据库、发布到网站。采集软件可应用于数据挖掘、垂直搜索引擎、网站信息聚合、企业口碑监测、舆情信息监测等领域,针对大数据采集,提供分布式采集应用,是一款值得您信赖的数据采集利器!
软件特征:
所见即所得
无需关注技术,无需复杂的设置,所有操作均在浏览器中操作。看到的即可采集到,当然,Flash同样无法采集。
自动化网页操作
通过设置规则,系统可完全模拟人工进行自动化网页操作,登录、鼠标滚动、输入、选择等均不在话下。
傻瓜化配置
传统的采集器都需要对网页结构进行分析,但小矿不需要,点点鼠标即可完成配置,开启您的操作之旅吧!
软件功能:
支持常用采集功能:导航(级别不限)、网页解码、url编码、压缩采集、下载图片、翻页文章正文自动合并;
支持可视化配置、规则配置助手,可有效辅助用户进行规则配置;
支持采集数据发布至文件【支持CSV、Excel、Word】、网站、数据库【数据库支持:Access、Mysql、SqlServer】;
支持常用的数据清洗规则,包括自动去除网页代码、编码解码、字符串替换等操作;
支持常用采集策略,代理采集、错误重试等;
支持复杂采集规则配置,支持多页采集,导航页数据采集,自动下载正文图片,复杂结构数据轻松采集;
支持网址排重,错误出错排重控制,可有效提升您的采集效率;
支持采集延时控制、CSRF Token获取、代理轮询等多种采集策略;
支持字典参数、数据库网址参数提取、直接入库,轻松应对批量数据采集;
支持更多的数据清洗规则;
支持数据排重,支持更复杂的采集需求,可灵活构建更加复杂的采集规则,最终输出符合用户要求的数据结构;
支持网络雷达,实现自动化数据监控,并通过邮件进行提醒,轻松构建竞价、舆情监控应用;
支持插件,可扩展属于自己的采集功能,自定义数据清洗、数据发布、系统集成,灵活应用;
支持反屏蔽检测,自动打码,支持更加复杂的采集执行策略,让采集真正无忧;
支持线程资源独立设置,可针对单任务多线程中的每个线程独立设置Cookie、代理等,一台变多台;
提供专有的采集服务引擎,支持7×24小时不间断采集,搭建一个属于自己的云采集试试吧;
远程管理,不受地域限制,随时随地管理采集;
企业级大数据采集专用,真正适合大数据采集应用;
可根据用户实际需求,提供采集方案,以更适合企业自身应用;
可根据用户实际需求,提供二次定制开发;