c# 工具（爬虫的封装和使用HttpWebRequest版）

2019-12-26 17:22:59 20219 收藏
分类专栏： .Net通用工具
最后发布:2019-12-26 17:22:59首次发布:2019-12-26 17:22:59
版权声明：本文为博主原创文章，遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41181778/article/details/103719362
版权

爬虫的封装HttpWebRequest类版本（后续说到HttpClient版本）

public class HttpHelper
    {
        private static Logger logger = new Logger(typeof(HttpHelper));

        /// <summary>
        /// 根据url下载内容  之前是GB2312
        /// </summary>
        /// <param name="url"></param>
        /// <returns></returns>
        public static string DownloadUrl(string url)
        {
            return DownloadHtml(url, Encoding.UTF8);
        }

        /// <summary>
        /// 下载html
        /// http://tool.sufeinet.com/HttpHelper.aspx
        /// HttpWebRequest功能比较丰富，WebClient使用比较简单
        /// WebRequest
        /// 
        /// </summary>
        /// <param name="url"></param>
        /// <returns></returns>
        public static string DownloadHtml(string url, Encoding encode)
        {
            string html = string.Empty;
            try
            {
                HttpWebRequest request = HttpWebRequest.Create(url) as HttpWebRequest;//模拟请求
                request.Timeout = 30 * 1000;//设置30s的超时
                request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36";

                request.ContentType = "text/html; charset=utf-8";// "text/html;charset=gbk";// 

                request.CookieContainer = new CookieContainer();//1 给请求准备个container
                using (HttpWebResponse response = request.GetResponse() as HttpWebResponse)//发起请求
                {
                    if (response.StatusCode != HttpStatusCode.OK)
                    {
                        logger.Warn(string.Format("抓取{0}地址返回失败,response.StatusCode为{1}", url, response.StatusCode));
                    }
                    else
                    {
                        try
                        {
                            StreamReader sr = new StreamReader(response.GetResponseStream(), encode);
                            html = sr.ReadToEnd();//读取数据
                            sr.Close();
                        }
                        catch (Exception ex)
                        {
                            logger.Error(string.Format($"DownloadHtml抓取{url}失败"), ex);
                            html = null;
                        }
                    }
                }
            }
            catch (System.Net.WebException ex)
            {
                if (ex.Message.Equals("远程服务器返回错误: (306)。"))
                {
                    logger.Error("远程服务器返回错误: (306)。", ex);
                    html = null;
                }
            }
            catch (Exception ex)
            {
                logger.Error(string.Format("DownloadHtml抓取{0}出现异常", url), ex);
                html = null;
            }
            return html;
        }
    }

使用

public class CategorySearch : ISearch
    {
        private static Logger logger = new Logger(typeof(CategorySearch));
        private int _Count = 1;//每次都得new一个 重新初始化类别


        /// <summary>
        /// 如果爬虫需要获取腾讯课堂所有的课程数据，需要通过类目来获取
        /// 
        /// 还是 请求获取Html内容   解析过滤信息， 获取有效信息入库
        /// </summary>
        public void Crawler()
        {

            //Console.WriteLine("请输入Y/N进行类别表初始化确认！ Y 删除Tencent_Category表然后重新创建，然后抓取类型数据，N（或者其他）跳过");
            //string input = Console.ReadLine();
            //if (input.Equals("Y", StringComparison.OrdinalIgnoreCase))
            //{
            //    DBInit.InitCategoryTable();
            //}
            //else
            //{
            //    Console.WriteLine("你选择不初始化类别数据");
            //}
            //Console.WriteLine("*****************^_^**********************");

            List<TencentCategoryEntity> categoryList = new List<TencentCategoryEntity>();
            try
            {
                string url = $"{Constant.TencentClassUrl}/weixin_41181778";
                string html = HttpHelper.DownloadUrl(url);

                HtmlDocument doc = new HtmlDocument();
                doc.LoadHtml(html);
                string fristPath = @"//*[@id=""mainBox""]/main/div[2]/div[1]/h4/a";
                HtmlNodeCollection nodeList = doc.DocumentNode.SelectNodes(fristPath);
                if (nodeList == null)
                {

                }
                foreach (HtmlNode node in nodeList)
                {
                    categoryList.AddRange(this.First(node.InnerHtml, null));
                }

                CategoryRepository categoryRepository = new CategoryRepository();
                categoryRepository.Save(categoryList);
            }
            catch (Exception ex)
            {
                logger.Error("CrawlerMuti出现异常", ex);
            }
            finally
            {
                Console.WriteLine($"类型数据初始化完成，共抓取类别{ categoryList?.Count}个");
            }
        }



        /// <summary>
        /// 对每一个一级类进行查找
        /// </summary>
        /// <param name="html"></param>
        /// <param name="code"></param>
        /// <param name="parentCode"></param>
        /// <returns></returns>
        private List<TencentCategoryEntity> First(string html, string parentCode)
        {
            List<TencentCategoryEntity> categoryList = new List<TencentCategoryEntity>();
            HtmlDocument doc = new HtmlDocument();
            doc.LoadHtml(html);
            string namePath = "//a/h2";
            HtmlNode name = doc.DocumentNode.SelectSingleNode(namePath);
            string codePath = "//a";
            HtmlNode codeNode = doc.DocumentNode.SelectSingleNode(codePath);
            string href = codeNode.Attributes["href"].Value;

            string code = string.Empty;
            if (href != null && href.IndexOf("mt=") != -1)
            {
                href = href.Replace(";", "&");
                code = href.Substring(href.IndexOf("mt=") + 3, 4);
            }
            TencentCategoryEntity category = new TencentCategoryEntity()
            {
                Id = _Count++,
                State = 1,
                CategoryLevel = 1,
                Code = code,
                ParentCode = parentCode
            };
            category.Name = name.InnerText;
            category.Url = href;
            categoryList.Add(category);
            if (name.InnerText != "全部")
            {
                categoryList.AddRange(this.Second($"{Constant.TencentClassUrl}{href}&tuin=7e4f8b7d", code));
            }
            return categoryList;
        }

        /// <summary>
        /// 在一个一级类下面的全部二级类进行查找
        /// </summary>
        /// <param name="html"></param>
        /// <param name="parentCode"></param>
        /// <returns></returns>
        private List<TencentCategoryEntity> Second(string url, string parentCode)
        {
            string html = HttpHelper.DownloadUrl(url);
            List<TencentCategoryEntity> categoryList = new List<TencentCategoryEntity>();
            HtmlDocument doc = new HtmlDocument();
            doc.LoadHtml(html);
            string path = "//*[@id='auto-test-1']/div[1]/dl/dd";
            HtmlNodeCollection nodeList = doc.DocumentNode.SelectNodes(path);

            foreach (HtmlNode node in nodeList)
            {
                HtmlDocument htmlDocument = new HtmlDocument();
                htmlDocument.LoadHtml(node.InnerHtml);

                string codePath = "//a";
                HtmlNode codeNode = htmlDocument.DocumentNode.SelectSingleNode(codePath);
                string href = codeNode.Attributes["href"].Value;
                if (!string.IsNullOrWhiteSpace(href))
                {
                    href = href.Replace(";", "&");
                }

                string code = string.Empty;
                if (href != null && href.IndexOf("st=") != -1)
                {
                    href = href.Replace(";", "&");
                    code = href.Substring(href.IndexOf("st=") + 3, 4);
                }
                TencentCategoryEntity category = new TencentCategoryEntity()
                {
                    Id = _Count++,
                    State = 1,
                    CategoryLevel = 2,
                    Code = code,
                    ParentCode = parentCode
                };
                category.Name = codeNode.InnerText;
                category.Url = href;

                categoryList.Add(category);

                if (codeNode.InnerText != "全部")
                {
                    categoryList.AddRange(this.Third($"{Constant.TencentClassUrl}{href}&tuin=7e4f8b7d", code));
                }
            }
            return categoryList;
        }

        /// <summary>
        /// 在一个二级类下的全部三级类里面进行查找
        /// </summary>
        /// <param name="html"></param>
        /// <param name="parentCode"></param>
        /// <returns></returns>
        private List<TencentCategoryEntity> Third(string url, string parentCode)
        {
            string html = HttpHelper.DownloadUrl(url);
            List<TencentCategoryEntity> categoryList = new List<TencentCategoryEntity>();
            HtmlDocument doc = new HtmlDocument();
            doc.LoadHtml(html);
            string path = "//*[@id='auto-test-1']/div[1]/dl/dd";
            HtmlNodeCollection nodeList = doc.DocumentNode.SelectNodes(path);
            if (nodeList == null)
            {

            }
            foreach (HtmlNode node in nodeList)
            {
                HtmlDocument htmlDocument = new HtmlDocument();

                htmlDocument.LoadHtml(node.InnerHtml);

                string codePath = "//a";
                HtmlNode codeNode = htmlDocument.DocumentNode.SelectSingleNode(codePath);
                string href = codeNode.Attributes["href"].Value;

                string code = string.Empty;
                if (href != null)
                {
                    href = href.Replace(";", "&");
                }
                if (href != null && href.IndexOf("tt=") != -1)
                {
                    href = href.Replace(";", "&");
                    code = href.Substring(href.IndexOf("tt=") + 3, 4);
                }
                TencentCategoryEntity category = new TencentCategoryEntity()
                {
                    Id = _Count++,
                    State = 1,
                    CategoryLevel = 3,
                    Code = code,
                    ParentCode = parentCode
                };
                category.Name = codeNode.InnerText;
                category.Url = href;
                categoryList.Add(category);
            }
            return categoryList;
        }
    }
已标记关键词 清除标记
只要你学透着13个Python爬虫，就能爬取一切数据！还不上车
01-04
若问今年最火的一门编程语言是什么？答案必然是Python~
C#使用HttpWebRequest获取网页数据
c0411034的博客
08-25 3522
1.封装好的使用方法 class HttpGetUrl { public static string HttpGet(string url, string post_parament) { string html; HttpWebRequest Web_Request = (HttpWebRequest)We...
表情包
插入表情
还能输入1000个字符 “速评一下”
C#网页采集数据的几种方式(WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)
jintougao的专栏
10-22 6万+
获取网页数据（采集数据）有很多种方式。在这里主要讲述通过WebClient、WebBrowser和HttpWebRequest/HttpWebResponse三种方式获取网页内容。 这里获取的是包括网页的所有信息。如果单纯需要某些数据内容，可以自己构造函数甄别抠除出来！一般的做法是根据源码的格式，用正则来过滤出你需要的内容部分。
C#攻克反爬虫之代理IP爬取
Leaderxin的博客
10-29 4237
目前很多大型网站在反爬虫时采取IP限制策略，限制同一个IP的请求频率及次数，或者同一IP在达到请求次数后强制登陆验证等。此时我们就需要用到代理IP来突破限制，此篇我们介绍通过DotnetSpider框架爬取西刺高匿代理IP的过程。 DotnetSpider框架简介 DotnetSpider是.net core开发的开源爬虫项目，基本开箱即用，对于爬虫各个部分的封装已经比较成熟，github下载地址...
C# HttpWeb POST请求封装
Hello,World!
07-27 1176
/// /// HTTP 进度事件 /// /// TRUE为上传进度，FALSE为下载进度 /// 已完成大小 /// 总共大小 public delegate void OnHttpPostProgress(bool bUpload, long lFininsh, long lT...
是！“不会数据分析的，全是假程序员！”HR：太真实......（附资料，建议白嫖）
CSDN学院
11-10 2万+
数据正在变得越来越常见，小到我们每个人的社交网络、消费信息、运动轨迹……大到企业的销售、运营数据，产品的生产数据，交通网络数据…… 如何从海量数据中获得别人看不见的知识，如何利用数据来武装营销工作、优化产品、用户调研、支撑决策，数据分析可以将数据的价值最大化。 所以无论你做产品，运营，HR，财务，还是做研发，系统架构，在数不清的场景下，数据分析都是基本功，它不是一个职位，而是一个技能。 因此，我们才会说，学习数据分析，无论你的职场目标是什么，基本都是必须的，而且不会过时。 但是一提数据分析，很多人就
HttpWebRequest详解
04-27 2607
源地址：http://www.cnblogs.com/tuyile006/archive/2008/11/14/1333632.html Determining Whether the Device Is Connected   Most network applications need to know whether the device is currently connected
HttpWebRequest 知识点
weixin_30296405的博客
05-28 33
1 string Url = System.Configuration.ConfigurationManager.AppSettings["CallPaperInvoiceURL"]; 2 Url = @"" + Url + "?id=" + PK_ECOrderHead + "&whse="...
使用c#的Html Agility Pack爬虫工具爬取百度风云榜(二)
萌新级程序猿的博客
01-04 394
上一篇博客先获取到了百度风云榜这个界面的HTML代码 但是这些HTML代码中无用的数据很多，甚至还有广告之类的，所以这一次我们要用 Html Agility Pack筛选出有用的数据 还是先上代码 //url是http://top.baidu.com/buzz?b=1&amp;fr=topindex string strHTML = WebHelper.GetHtml(target...
WebRequest、WebResponse的使用示例
万里归来少年心
11-20 3333
1.WebRequest和WebResponse    首先新建windows窗体应用程序，添加列表框，并将其docking属性设置为“DockStyle.Fill”，然后对主窗体的构造函数进行如下改动。 public Form1() { InitializeComponent(); WebRequest request = WebRequest.Create("http:/...
实测 c# .net 中 httpwebrequest 和 httpclient 性能 区别 对比
坚定的走
11-09 4616
https://blog.csdn.net/tiger3927/article/details/78165980?locationNum=9&amp;fps=1 以下是httpclient的代码 using (var http = new HttpClient())                       {                                        ...
爬虫之C#实现的几种方式
vealcheak的博客
07-04 2095
HttpWebRequest/HttpWebResonse -
.Net(c#)模拟Http请求之HttpWebRequest封装
weixin_34376986的博客
01-15 221
一、需求： 　　向某个服务发起请求获取数据，如：爬虫，采集。 二、步骤（HttpWebRequest)： 无非在客户端Client（即程序）设置请求报文（如：Method,Content-Type,Agent,Cookie以及请求参数等信息）向服务端Server发送请求，服务端响应数据。 三、源码简介： ①.HttpUtil类:HttpWebRequest封装的核心 ②.Htt...
技术破局：AI程序员2021如何跳出舒适圈？！
CSDN学院
01-05 2万+
近日，IDC调研机构与浪潮联合发布《2020-2021 中国人工智能计算力发展评估报告 》。报告显示，预计2020 年中国AI市场规模将达到 62.7亿美元，2019~2024 年的年复合增长率为 30.4%，中国成为全球各个区域里面AI的投资发展最快的一个国家。 报告从AI算力产业发展趋势、市场规模、区域算力分布和行业AI算力保有程度等多个角度进行全面综合评估，旨在评估中国人工智能发展的现状，为推动产业AI化发展提供极具价值的参考依据和行动建议。 同时小编注意到据 BOSS直聘发布的《2020人才资.
C#HttpHelper爬虫类源码分享--苏飞版
weixin_34390105的博客
12-03 508
介绍 C#HttpHelper实现了C#HttpWebRequest抓取时无视编码，无视证书，无视Cookie，并且实现的代理的功能，使用它您可以进行Get和Post请求，可以很方便 的设置Cookie，证书，代理，编码问题您不用管，因为类会自动为您识别网页的编码。 这个类是我以前写百度，Google，Soso，Sogou等网络蜘蛛时使用的，经...
C# 后台使用HttpWebRequest发送POST请求帮助类
lm_home的博客
03-09 1万+
using System; using System.Collections.Generic; using System.IO; using System.Net; using System.Text; namespace Utils { public class RequestHelper { public static string SendHttpReque
推荐13个.Net开源的网络爬虫
hguchen的专栏
06-15 1万+
.net开源爬虫比起其他语言开源爬虫少很多，而且开源质量也相对没那么好，为了让大家了解.net开源爬虫，笔者为大家收集了13款开源爬虫，希望可以帮助大家学习.net爬虫技术
unity-HttpWebRequest
01-11
unity-HttpWebRequest下载,支持断点续传，支持后台下载。亲测可用，如有问题可联系我，不喜忽喷。
C#写的网络爬虫工具
08-20
执行WindowsFormsCrawler.exe程序，分为固定格式的和自由爬取两种方式。
利用HttpWebRequest模拟表单提交 JQuery 的一个轻量级 Guid 字符串拓展插件. 轻量级Config文件AppSettings节点编辑帮助类...
12-26 53
利用HttpWebRequest模拟表单提交 1 using System; 2 using System.Collections.Specialized; 3 using System.IO; 4 using System.Net; 5 using System.Text; 6 7 namespace Allyn.Com...
©️2020 CSDN 皮肤主题: 代码科技 设计师:Amelia_0503 返回首页