最近又在网上找了一些有关MFC抓取网页代码的文章看，发现有个比较简单的代码，和大家分享下。 CInternetSession session(NULL, 0); CHttpFile* htmlFile = NULL; CString strLine, strHtml; CSt...
分类：
Web程序 时间：
2014-08-17 00:59:41
阅读次数：
224
1. [代码][JavaScript]代码 import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;/*** 视频工具...
分类：
编程语言 时间：
2014-08-16 17:05:51
阅读次数：
269
在linux系统中，如何用shell脚本抓取远程日志？分析线上的日志会有一个困境，机器太多，如果每台都登录上去看不太现实，但是下载下来更麻烦因为每台SCP都要求输入密码。于是我便写了一个自动抓取远程日志的脚本，实现在基本功能。代码：#!/usr/bin/expect -fif { $argc !=1...
分类：
其他好文 时间：
2014-08-15 23:40:09
阅读次数：
327
一、抓取流程概述
1、nutch抓取流程
当使用crawl命令进行抓取任务时，其基本流程步骤如下：
（1）InjectorJob
开始第一个迭代
（2）GeneratorJob
（3）FetcherJob
（4）ParserJob
（5）DbUpdaterJob
（6）SolrIndexerJob
开始第二个迭代
（2）GeneratorJob（3）FetcherJob（4）...
分类：
其他好文 时间：
2014-08-15 22:36:09
阅读次数：
1149
使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网 页，然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入...
分类：
其他好文 时间：
2014-08-15 16:14:09
阅读次数：
198
用Spider抓取数据，然后再做各种处理，然后放到web页面供大家使用。
那么，就需要一个Web Server。
几乎每种语言都有一大堆Web Server开发框架，Python也不例外，比如这里http://www.zhihu.com/question/20706333。廖雪峰同学还有个python的教程http://www.liaoxuefeng.com/wiki/00137473...
分类：
Web程序 时间：
2014-08-15 16:07:38
阅读次数：
196
前言在介绍和使用tcpdump之前，请确保您已经掌握或者了解如下几个关键概念，否则后面的内容让你有点痛苦。能够在Linux命令行下工作理解OSI七层网络协议的概念熟悉各层的协议头部，重点是IP/TCP/UDP交换机和路由器对应于OSI的协议层另外还需要注意的是：tcpdump是基于Unix系统的..
分类：
其他好文 时间：
2014-08-14 21:08:59
阅读次数：
506
看了网上很多关于死锁的的博客，大家通常介绍死锁的原理，本人也写一个详细的分析。当然，是关于SQLSERVER的死锁。使用SQL Profiler抓取死锁事件2、选择选项卡：事件选择，勾选右下角的显示所有事件，找到Locks事件，勾选上Deadlock graph。3、再选择第三个选项卡：事件提取设置...
分类：
数据库 时间：
2014-08-14 19:48:29
阅读次数：
2049
在抓取某网站数据，结果在数据包中发现了一串编码的数据："......\u65b0\u6d6a\u5fae\u535a......", 这其实是中文被unicode编码后了的数据，想解码出中文来。解决方案：方案A(稳定版+推荐)：function replace_unicode_escape_sequ...
分类：
Web程序 时间：
2014-08-14 06:07:57
阅读次数：
295
这是我入职公司写的第一个程序，当时并没有太多的接触php，对php也不是很了解进过慢慢的学习完成的，虽然很low但我觉得很有意义！
array(
"wx_thread" => array("fid" => 36, "author" => "admin", "authorid" => "1", "lastposte...
分类：
微信 时间：
2014-08-13 18:57:27
阅读次数：
625
