建站经验 experience
当前位置:首页 > 网站建设专题 > 建站经验
浅析asp.net抓取网页内容的实现方法
发布日期:2015-02-27 阅读次数:929 字体大小:

  ASP.NET是.NET FrameWork的一部分,是一项微软公司的技术,是一种使嵌入网页中的脚本可由因特网服务器执行的服务器端脚本技术,它可以在通过HTTP请求文档时再在Web服务器上动态创建它们。那么asp.net是怎样去抓取网页上面的内容?今天,广州网站建设告诉您两个很实用的方法!

  一、ASP.NET 使用HttpWebRequest抓取网页内容

  代码如下:

/// <summary>方法一:比较推荐  

/// 用HttpWebRequest取得网页源码  

/// 对于带BOM的网页很有效,不管是什么编码都能正确识别  

/// </summary>  

/// <param name="url">网页地址" </param>  

/// <returns>返回网页源文件</returns>  

public static string GetHtmlSource2(string url)  

{  

    //处理内容  

    string html = "";  

    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);  

    request.Accept = "*/*"; //接受任意文件  

    request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; //   

    request.AllowAutoRedirect = true;//是否允许302  

    //request.CookieContainer = new CookieContainer();//cookie容器,  

    request.Referer = url; //当前页面的引用  

    HttpWebResponse response = (HttpWebResponse)request.GetResponse();  

    Stream stream = response.GetResponseStream();  

    StreamReader reader = new StreamReader(stream, Encoding.Default);  

    html = reader.ReadToEnd();  

    stream.Close();  

    return html;  

}

  二、ASP.NET 使用 WebResponse 抓取网页内容

  代码如下:

public static string GetHttpData2(string Url)  

{  

    string sException = null;  

    string sRslt = null;  

    WebResponse oWebRps = null;  

    WebRequest oWebRqst = WebRequest.Create(Url);  

    oWebRqst.Timeout = 50000;  

    try  

    {  

        oWebRps = oWebRqst.GetResponse();  

    }  

    catch (WebException e)  

    {  

        sException = e.Message.ToString();  

    }  

    catch (Exception e)  

    {  

        sException = e.ToString();  

    }  

    finally  

    {  

        if (oWebRps != null)  

        {  

            StreamReader oStreamRd = new StreamReader(oWebRps.GetResponseStream(), Encoding.GetEncoding("utf-8"));  

            sRslt = oStreamRd.ReadToEnd();  

            oStreamRd.Close();  

            oWebRps.Close();  

        }  

    }  

    return sRslt;  

}

  以上两个办法是镭拓科技根据多年的广州网站建设经验总结出来,希望可以帮有需要的您!如需知道更多的网站建设经验,请继续关注www.ratuo.com