最近工作中需求定时爬取不同城市每天的温度。其实就是通过编程的方法去抓取不同网站网页进行分析筛选的过程。.NET提供了很多类去访问并获得远程网页的数据，比如WebClient类和HttpWebRequest类。这些类对于利用HTTP去访问远端的网页并且下载下来是很有用的，但在对于所下载下来的HTML的 ...
分类：
Windows程序 时间：
2017-03-14 00:03:58
阅读次数：
1351
如何使用程序调用webApi接口 在C#中，传统调用HTTP接口一般有两种办法： WebRequest/WebResponse组合的方法调用 WebClient类进行调用。 第一种方法抽象程度较低，使用较为繁琐；而WebClient主要面向了WEB网页场景，在模拟Web操作时使用较为方便，但用在Re ...
//这个函数的目的是在获取页面的同时，也获取链接对应的cookiepublic static HtmlPage getCookieAndHtml(String url)throws IOException{ URL link=new URL(url); WebClient wc=new WebCli ...
分类：
Web程序 时间：
2017-03-06 19:40:43
阅读次数：
345
使用Java操作Redis需要jedis-2.1.0.jar，下载地址：http://files.cnblogs.com/liuling/jedis-2.1.0.jar.zip 如果需要使用Redis连接池的话，还需commons-pool-1.5.4.jar，下载地址:http://files.c ...
分类：
其他好文 时间：
2017-02-25 10:46:17
阅读次数：
262
1.安装chocolatey打开cmd.exe执行@powershell -NoProfile -ExecutionPolicy Bypass -Command "iex ((New-Object System.Net.WebClient).DownloadString('https://choco ...
原文出处：http://www.cnblogs.com/0201zcr/p/4987561.html spring + redis 实现数据的缓存 1、实现目标 通过redis缓存数据。（目的不是加快查询的速度，而是减少数据库的负担） 2、所需jar包 注意：jdies和commons-pool两个 ...
分类：
编程语言 时间：
2017-02-08 14:40:52
阅读次数：
410
抓取网站数据建议用服务操作，此例只实现从请求到拿数据，并把数据写入xml的功能 List<youcaimodel> _list = new List<youcaimodel>(); int page = 1000; //一共抓取1000页的数据 WebClient client = new WebC ...
分类：
其他好文 时间：
2017-02-08 13:17:32
阅读次数：
295
DBCP 一、导包 Apache官网下载DBCP包，导入两个包路径如下： commons-dbcp-1.4-bin\commons-dbcp-1.4\commons-dbcp-1.4.jar：连接池的实现 commons-pool-1.5.6-bin\commons-pool-1.5.6\commo ...
分类：
数据库 时间：
2017-02-03 12:12:40
阅读次数：
317
原文地址：http://www.cnblogs.com/shadowtale/p/3372735.html //body是要传递的参数,格式"roleId=1&uid=2" //post的cotentType填写: //"application/x-www-form-urlencoded" //so ...
什么是Httphelper？ httpelpers是一个封装好拿来获取网络上资源的工具类。因为是用http协议，故取名httphelper。 httphelper出现的背景 使用WebClient可以很方便获取网络上的资源，例如 这样就可以拿到百度首页的的源代码，由于WebClient封装性太强，有 ...
分类：
Web程序 时间：
2017-01-06 21:54:12
阅读次数：
188
