采集器下载

网站管理员希望将别人的整站数据下载到自己的网站里或者将别人网站的一些内容保存到自己的服务器上。从内容中抽取相关的字段，发布到自己的网站系统中。有时需要将网页相关的文件也保存到本地，如图片、附件等。网站管理员会定时从同一网站上抓取内容，希望已经抓取的内容不要再发布到网站系统中。对于一些网站，需要登陆才能获取页面。网站管理员希望通能够通过一个内容列表页面获取所有的相关内容，包括内容列表的其它分页。当第二次抓取相同网站时，希望不要再重复第一次的设定