常常看到前辈们大牛们感慨，感慨我们这一代人生活在最好的时代，拥有海量的学习资源以及指数增长的新技术与新知识。的确，如果你是这个时代的大学生，或是初出茅庐的程序员，你会发现有太多太多的选择，甚至是穷尽一生都看不完的资料，书籍，文档.....但是，作为一个亲历者，这样的环境真的是最适合程序员成长吗？.....
分类：
其他好文 时间：
2015-01-21 11:32:27
阅读次数：
151
Loadrunner上传文件解决办法（大文件） 最近再做一个跟海量存储相关的项目测试，需要通过LR模拟用户大量上传和下载文件，请求是Rest或Soap，同时还要模拟多种大小尺寸不一的文件 通常情况下，都是使用简单的post协议即可： 方法一：web_submit_data("importStu...
分类：
Web程序 时间：
2015-01-20 23:46:36
阅读次数：
217
HBase 是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠性和可伸缩行,另外一方面里用 了BigTable的高效数据组织形式.可以说HBase为海量数据的real-time...
分类：
其他好文 时间：
2015-01-20 17:01:44
阅读次数：
170
摘抄至http://blog.jobbole.com/46673/随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项...
分类：
Web程序 时间：
2015-01-16 18:26:13
阅读次数：
601
原文地址: http://www.lanceyan.com/tech/arch/snscrawler.html
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。
我们来看一...
分类：
其他好文 时间：
2015-01-16 16:48:11
阅读次数：
166
《今天你买到票了吗？——从铁道部12306.cn站点漫谈电子商务站点的“海量事务快速处理”系统》首发地址： http://bbs.hpx-party.org/thread-8488-1-1.html 。一万四千字电子商务站点干货贴，贯穿产品、研发、运维三大领域，没有耐心读完的读者慎入，另外，本文不是...
分类：
其他好文 时间：
2015-01-16 16:29:39
阅读次数：
228
一、问题由来 这个题目的由来是在《编程珠玑》里遇到的，故记录一下。还可以这么说，”如何从二进制文件中等概率取整数？”或者”在不知道文件总行数的情况下，如何从文件中随机的抽取一行?”这个题目说的有点不清楚实际上是：一个二进制文件中有好多好多整数，你要随机取出一个。 这个问题的难点就在于你开始不知道有多...
分类：
编程语言 时间：
2015-01-15 19:57:31
阅读次数：
230
整理一下昨天写的百度地图项目最开始写了一个百度地图,但是速度那慢的简直了 所以昨天将百度地图API的海量点 写了一下 1秒啊 o.o 厉害OK 记下此乃需要的js //html代码 //关键代码就酱紫 哎 为此地图的一个小位置浪费好多时间 - - 任需...
分类：
Windows程序 时间：
2015-01-15 17:42:03
阅读次数：
2598
1．引言1.1编写目的将之前会议中记录的设计要点进行总结和规划，供团队内开发者和测试人员进行代码编写与测试。1.2项目背景软件名: 网络资源收集工具本软件任务:为下一组元数据抽取和整理工具进行对接，为下一组提供其所需的各类海量数据。2．总体设计2.1需求概述将35w+个符合条件的网页，问答，文章放入...
分类：
其他好文 时间：
2015-01-15 07:03:06
阅读次数：
247
1．引言1.1编写目的将之前会议中记录的设计要点进行总结和规划，供团队内开发者和测试人员进行代码编写与测试。1.2项目背景 软件名: 网络资源收集工具本软件任务:为下一组元数据抽取和整理工具进行对接，为下一组提供其所需的各类海量数据。2．任务概述2.1目标总的目标是编写一个更快捷，更稳定的爬虫软件，...
分类：
其他好文 时间：
2015-01-15 07:02:17
阅读次数：
178
