阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等 ...
分类：
编程语言 时间：
2018-01-24 16:57:48
阅读次数：
201
1、 2、HttpClient 参考： https://www.cnblogs.com/ouyy/p/6823462.html（以上内容转自此篇文章） ...
分类：
编程语言 时间：
2018-01-22 01:13:38
阅读次数：
188
xmppframework是XMPP协议的一个objective-c实现. 要了解xmppframework, 从这里開始吧：https://github.com/robbiehanson/XMPPFramework/wiki/IntroToFramework XMPPFramework中包括了一个 ...
分类：
其他好文 时间：
2018-01-21 23:58:45
阅读次数：
366
一、安装kvm 1、先在blos中，开启vt-d功能 2、检查vmx看，是否开启vt-d [root@kvm-server ~]# egrep --color '(vmx|svm)' /proc/cpuinfoflags : fpu vme de pse tsc msr pae mce cx8 ap ...
分类：
其他好文 时间：
2018-01-21 14:53:52
阅读次数：
316
经过几天闲暇时间的学习，终于又理解的深入了一些，关于Spark Client如何提交作业也更清晰了点。 在整体的流程图上是这样的： 大体的思路就是应用程序通过SparkSubmit提交程序后，自动在当前的JVM中启动Driver，然后与Master通信创建Excutor执行相应的任务。 自己整理了下 ...
分类：
其他好文 时间：
2018-01-20 01:00:24
阅读次数：
139
类加载器概述: java类的加载是由虚拟机来完成的,虚拟机把描述类的Class文件加载到内存,并对数据进行校验,解析和初始化,最终形成能被java虚拟机直接使用的java类型,这就是虚拟机的类加载机制.JVM中用来完成上述功能的具体实现就是类加载器.类加载器读取.class字节码文件将其转换成jav ...
分类：
编程语言 时间：
2018-01-18 17:03:10
阅读次数：
184
本次使用haproxy仅测试web端的高可用以及负载均衡，存在的问题是haproxy是单点，所以还需要借助keepalived对haproxy高可用，下次说明。服务器：10.0.0.152：haproxy10.0.0.15410.0.0.155http需要掌握的是：1.高可用和负载均衡；2.系统日志rsyslog；3.动静分离一：haproxy简介：HAProxy提供高可用性、负载均衡以及基于TC
分类：
其他好文 时间：
2018-01-16 18:30:13
阅读次数：
165
FLANN库全称是Fast Library for Approximate Nearest Neighbors，它是目前最完整的（近似）最近邻开源库。不但实现了一系列查找算法，还包含了一种自动选取最快算法的机制,在一个度量空间X给定一组点P=p1,p2,…,pn，这些点必须通过以下方式进行预处理，给 ...
分类：
其他好文 时间：
2018-01-15 20:36:00
阅读次数：
322
接着上一篇的介绍继续 关于在使用readHeader函数读取点云数据头的类型的代码（Read a point cloud data header from a PCD file.） 查看PCD文件里的内容（其实对于如何生成这种高纬度的文件呢？） 另外一种PCD文件的比如VFH的PCD文件 那么接下来 ...
分类：
其他好文 时间：
2018-01-15 20:28:04
阅读次数：
291
目录 前言 1、Eigen线性代数库的安装 2、Sophus李代数库的安装 3、OpenCV计算机视觉库的安装 4、PCL点云库的安装 5、Ceres非线性优化库的安装 6、G2O图优化库的安装 7、Octomap八叉树地图库的安装 8、DBoW3词袋模型库 目录 前言 1、Eigen线性代数库的安 ...
分类：
其他好文 时间：
2018-01-07 14:14:16
阅读次数：
2613
