利用c实现web信息自动抓取

ReadyGo!技术成就梦想 www.efish.cn efish 2007-9-7 18:44:49

背景   　随着internet的普及，网络信息正以极高的速度增长，在这么多数据中找到自己需要的信息是一件很繁琐的事情，找到需要的信息后如何获取也是件麻烦的事。这就需要internet信息抓取程序来代替人工的操作。 所谓internet信息抓取程序，就是程序会按照用户的关键词或关键网站来收集相应的信息，并提供给用户想要的信息格式。   　信息量的增加会带来信息网站发布人员工作量的剧增，为实现信息发布系统实现信息自 动发布、减少工作人员工作量、即时跟踪最新信息，就需要自动信息提供程序，因此internet信息抓取程序应运而生。   目标   　实现自定义网站信息分类抓取，存入本地数据库、生成静态页面或其它用户定义的信息结构，并下载与信息相关的多媒体文件。   开发   目标站点结构分析 本步骤是准确抓取信息个关键。 首先要选择更新频率高的页面做为抓取地址，然后分析要抓取内容页面url特点。 然后分析要抓取信息页面的元素特性，比如标题位置，内容位置 等，得到定位标记点。 将以上信息写成自己的配置文件或存到数据库中。 每个网站都需要分析，写出单独的配置文件，供抓取程序使用。    信息提取 根据配置文件取得要抓取页面url，使用httpwebrequest类获取内容： //获取http页面函数         public string get_http(string a_strurl,int timeout)         {             string strresult ;                       try             { httpwebrequest myreq = (httpwebrequest)httpwebrequest.create(a_strurl) ;                 myreq.timeout = timeout;                 httpwebresponse httpwresp = (httpwebresponse)myreq.getresponse();                             stream mystream = httpwresp.getresponsestream () ;                   streamreader sr = new streamreader(mystream , encoding.default);                 stringbuilder strbuilder = new stringbuilder();                 while (-1 != sr.peek())                 {                     strbuilder.append(sr.readline()+"\r\n");                 }                   strresult = strbuilder.tostring();             }             catch(exception exp)             {                 strresult = "错误：" + exp.message ;             }               return strresult ;           }

责任编辑: efish 参与评论 查找更多： c.netweb 2.0网站开发asp.net

2秒记住本站域名

玩过泡泡龙吗？Readygo?Go! 再加上.Com.Cn的后缀，那就是大名小顶的ReadyGo.com.cn

分类导航