C图片采集软件 自动翻页 自动分类

网站管理员希望将别人的整站数据下载到自己的网站里或者将别人网站的一些内容保存到自己的服务器上。从内容中抽取相关的字段，发布到自己的网站系统中。有时需要将网页相关的文件也保存到本地，如图片、附件等。

图片采集软件能采集任何网站的各种格式图片,实现把所有文章、新闻、帖子等中间的图片全部有有序列的分类后保存到您的计算机上等功能,可以把任何论坛网站的所有帖子的图片采集到本地,轻松过滤广告等,是网站、论坛站长和喜欢收集美图的朋友的必备工具。

本文演示使用C# WebBrowser控件实现自动识别下一页，按标题分类，图片自动下载（不重复），效果如下图1所示。在随附的代码下载中提供了完整的源代码。

图1 效果图

演示程序结构

创建演示程序，我在Visual Studio 2013 选择新建C#Windows窗体应用程序命名为ImgSpider，添加Controls文件夹包含包含封装label，textbox控件；Core文件夹内有字典实体Entity用到的基类；Entity文件夹有读取配置文件dict.xml的映射类；Helper文件夹有DownLoadHelper用于下载图片，HtmlParserHelper解析HTML，XmlHelper读取XML文档；窗体文件frmAutoBorwser是程序的操作界面。图2 显示了演示程序的整体结构。

程序执行

窗体文件frmAutoBorwser

在窗体文件frmAutoBorwser使用到的控件，

第一，WebBrowser控件

WebBrowser 是一个 .NET 控件类，在 .NET Framework 2.0 版中新增。WebBrowser 类使用户可以在窗体中导航网页。使用 WebBrowser 控件可以在 Windows 窗体应用程序中承载网页以及支持浏览器的其他文档。例如，可以使用 WebBrowser 控件在应用程序中提供基于 HTML 的集成用户帮助或 Web 浏览功能。此外，还可以使用 WebBrowser 控件向 Windows 窗体客户端应用程序添加基于 Web 的现有控件。

第二，Timer 控件

通过引发 Timer 事件，Timer 控件可以有规律地隔一段时间执行一次代码。

第三，DataGridView 控件

将数据绑定到 DataGridView 控件非常简单和直观，在大多数情况下，只需设置 DataSource 属性即可。

点击采集图片按钮

WebBrowser.Navigate方法导航网页到采集的起始网址。要注意WebBrowser控件加载完成后，才可以继续采集操作。通过Timer控件有规律的间隔执行，WebBrowser控件加载完后要采集的任务。

获取当前页标题URL，判断是否已经下载

处理需要下载的标题URL，WebBrowser导航到指定URL

获取当前标题图片URL，并且WebBorwser导航到下一张图片URL

下载图片，判断是否按标题拆分，更新Access数据库

DownLoadHelper.cs文件的主要方法是

下载图片

HtmlParserHelper.cs文件的主要方法

第一，获取当前图片URL和下一张图片URL