网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。搜 索引擎架构在ElasticSearch之上，...
分类：
其他好文 时间：
2015-01-10 19:37:13
阅读次数：
1115
HTTP（HyperTextTransferProtocol）即超文本传输协议，目前网页传输的的通用协议。HTTP协议采用了请求/响应模型，浏览器或其他客户端发出请求，服务器给与响应。就整个网络资源传输而言，包括message-header和message-body两部分。首先传递message-h...
分类：
Web程序 时间：
2015-01-08 12:47:19
阅读次数：
132
代码大部分参考网络资源，但针对网络资源中取消选中的各种问题做了改进。if ($.fn.treegrid) { $.extend($.fn.treegrid.methods, { /** * 级联选择 * @param {Object} targ...
分类：
其他好文 时间：
2015-01-08 00:52:34
阅读次数：
2293
运营商网络採用SDN所面临的挑战（一）Babak Samimi 将数据平面、控制平面与管理平面分隔开来所实现的软件定义网络（SDN）改善了OPEX及CAPEX，而且使得网络资源的集中调配和管理成为可能——SDN的这些长处广为人知。因为SDN带来的网络资源的集中化创建出了易于管理、易于自己主动化以及灵...
分类：
其他好文 时间：
2015-01-07 12:46:13
阅读次数：
161
基于TCP协议的网络通信
使用URL访问网络资源
使用HTTP访问网络
使用WebView视图显示网页
基于TCP协议的网络通信
TCP/IP通信协议是一种可靠的网络协议，它在通信的两端各建立一个Socket，通信的两端之间形成网络虚拟链路。Java对基于TCP协议的网络通信提供了良好的封装，Java使用Socket对象来代表两端的通信接口，并通过Soc...
分类：
移动开发 时间：
2015-01-05 16:48:39
阅读次数：
306
1.文件处理函数 file_get_contents() //获取文件/网络资源的内容 较快捷的函数，内部封装了打开/关闭等操作 但因其实一次性将文件的内容全部读取，针对大文件时慎用 file_put_contents('文件',内容) //把内容写入到文件中 若文件不存在，则自动创建 ...
分类：
Web程序 时间：
2014-12-31 21:17:05
阅读次数：
151
1.先在AndroidManifest.xml中注册加入访问因特网服务的权限： （若不加入，则会出现permission denied异常）2.代码如下:package vip.test.HttpGet;import java.io.BufferedInputStream;import java.....
分类：
移动开发 时间：
2014-12-29 20:00:05
阅读次数：
168
1. 大量字符串相加时使用StringBuffer类，而不要使用String。
2. 循环中要要先计算循环次数，然后再循环，避免每次循环都计算次数（如数组长度，list大小）等
3. 打开资源后，用完要及时关闭，如conn,resultSet,statement,流或网络资源等。
4. 使用数据库连接池技术，管理数据库连接。
5. 使...
分类：
其他好文 时间：
2014-12-26 11:09:57
阅读次数：
177
一般情况下，在互联网编程中，我们会使用多线程来抢夺网络资源。那么，线程数量我们如何来确定呢？
我们都知道，线程数量和CPU核数有关。所以有人建议说：线程数为核数的两倍最好。
其实只要这些线程不频繁切换、竞争资源的话。想要最优性能，还是根据具体项目慢慢调试。
CPU切不切换我们没法控制，只能提高线程优先级以获取更多的CPU时间。
CPU除了处理Java还需要处理N多系统和其他线程，一般而言，...
分类：
编程语言 时间：
2014-12-23 17:29:12
阅读次数：
209
