现在位置首页 / 项目实战 /正文

C#使用webclient获取搜狐网页内容的乱码问题

作者: IT小兵 | 2014年11月28日| 热度:℃ | 评论: |参与:

这几天使用c#的webclient进行网站页面内容的获取,但是在获取搜狐网页内容时,总是乱码。开始以为是编码的问题,但是不管使用gb2312、gbk、utf8,最终的结果都是乱码,代码如下:
                        WebClient wc = new WebClient();
                        byte[] btWeb = wc.DownloadData(strUrl);
                        string strWeb = System.Text.Encoding.GetEncoding("GBK").GetString(btWeb);
        最后通过google发现是因为搜狐网站页面进行了压缩导致,为便于学习与保存,以下内容摘抄自扩展WebClient支持gzip,deflate压缩页面的自解压,解决乱码问题页面内容:

       为了加快页面的下载速度,提升WEB服务器的性能,现在的很多网站,都开启了页面的压缩输出功能,常用的 gzip 和 deflate 。 

        在 .NET 平台上,做网页采集,常用的方式是使用 HttpWebRequest 和 WebClient。

        HttpWebRequest 是对 WebRequest 的http协议的实现。而WebClient是对HttpWebRequest的一个轻量级的封装。

        HttpWebRequest 功能完备,强大,但是使用较繁琐,相比之下,WebClient 就简单易用多了,但是,这个简单也是必定有代价的,那就是精简了很多HttpWebRequest具备的功能,例如:WebClient对Cookie的支持就被砍掉了。本文作者δCat http://rtmd.net

        从 .NET 2.0 开始,WebRequest就具备了对压缩网页自解压的功能。实现的代码,大致如下:  

        HttpWebRequest hwr = (HttpWebRequest)WebRequest.Create(url);

        hwr.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;

         很明显,就是 AutomaticDecompression 这个属性的使用,但是这个属性的默认值是 DecompressionMethods.None 。

        正是这个功能,在 WebClient 的实现里,也被精简掉了,导致 WebClient 继承来的 WebRequest 的 AutomaticDecompression 属性不能被更改。

        从而出现了,使用WebClient获取被压缩的页面时,虽然指定了正确的编码,但返回的Html依旧是乱码,而事实上这并不是乱码,而是压缩后的html内容。

        下面我们对WebClient进行一个继承并扩展,让它支持自解压。

public class XWebClient : WebClient {  
            protected override WebRequest GetWebRequest(Uri address) {  
                HttpWebRequest request = base.GetWebRequest(address) as HttpWebRequest;  
                request.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;  
                return request;  
            }  
 } 

        上面的代码,我们新建了一个XWebClient类,继承自WebClient,然后,重载了WebClient的GetWebRequest事件,将AutomaticDecompression属性的值,改为默认支持压缩。

        剩下的,就使用XWebClient来代替WebClient,完成获取网页内容的工作

PS:源地址:http://china.ygw.blog.163.com/blog/static/687197462014013105742966/


点击阅读本文所属分类的更多文章: 项目实战 。和高手一起交流:346717337

未注明转发、原文均为本站原创。分享本文请注明 原文链接

给您更多信息和帮助

在这里您可以找到更多:

技术交流群:346717337 Jquery插件交流

投稿:suchso@vip.qq.com

承接:企业网站门户/微网站/微商城/CMS系统/微信公众号运营/业务咨询

echarts教程系列
本月最热文章

微信扫一扫,徜徉悠嘻网,您的休闲乐园

微信公众号:快乐每一天

随机文章
标签

技术交流群:346717337

投稿:suchso@vip.qq.com

专业专注:企业网站门户/微网站/微商城/CMS系统/微信公众号运营/付费问题咨询