Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。大数据时代的精髓技术在于Hadoop、Yarn、Spark，是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo！、阿里淘宝...
分类：
移动开发 时间：
2014-09-13 17:03:45
阅读次数：
328
来自http://www.xmind.net/m/WvfC/...
分类：
编程语言 时间：
2014-09-13 10:43:55
阅读次数：
196
今天看了汪海写的python爬虫教程，说实话看不懂。。。于是就用bash下的工具自己开始写了一个抓取糗事百科的糗事的脚本，期间搜索到了grep和curl命令的一些使用技巧。grep命令，使用grep命令来进行文本的通配，一般只是显示匹配的行，但是使用以下几个参数就可以显示上下文了：-C [num] ...
分类：
其他好文 时间：
2014-09-12 23:19:24
阅读次数：
665
1. [代码]用python实现的抓取腾讯视频所有电影的爬虫 # -*- coding: utf-8 -*-# by awakenjoys. my site: www.dianying.atimport reimport urllib2from bs4 import BeautifulSoupim....
分类：
编程语言 时间：
2014-09-12 17:01:43
阅读次数：
422
在页面跳的时候，目的界面可能会根据url中的某些参数进行数据处理，这个时候如何能快速并设计一个通用的截取url中的参数，并且获取各个参数值？代码： url = location.search;//获取当前界面url中“？”后面的所有值组成的字符串 var paramRequest...
分类：
其他好文 时间：
2014-09-12 13:14:53
阅读次数：
206
Springbatch是一个轻量级的，完全面向Spring的批处理框架，可以应用于企业级大量的数据处理系统。Spring Batch可以提供大量的，可重复的数据处理功能，包括日志记录/跟踪，事务管理，作业处理统计工作重新启动、跳过，和资源管理等重要功能。它能使业务人员专注于核心业务的开发，而将重复性的耗时工作交给系统自动处理。如数据的倒入，导出，数据的复制等工作。本文将通过一个简单的文件复制的小例子介绍SpringBatch的工作原理。首先来看相关的核心代码和配置：...
分类：
编程语言 时间：
2014-09-12 11:55:13
阅读次数：
268
live555源码分析----DESCRIBE命令处理live555源码分析----SETUP命令处理流程live555源码分析----PLAY命令的处理live555源码分析----RTP的打包与发送实现RTP协议的H.264视频传输系统live555源码分析----H264的数据处理live555源码分析----mpg文件的处理...
分类：
其他好文 时间：
2014-09-11 23:53:42
阅读次数：
233
--抓取西部POS数据DELETE FROM POSLSBFINSERT INTO POSLSBFselect * from [192.168.1.100].[SCMIS].DBO.possrlbf WHERE SLDAT>'20130101'ORDER BY 1INSERT INTO POSXBB...
分类：
其他好文 时间：
2014-09-11 20:56:12
阅读次数：
252
问题描述我开发的网站加了个新功能：需要在线上处理表数据的批量合并和更新，昨天下午发布上线，执行该功能后，服务器的load突然增高，变化曲线异常，SA教育了我一番，让我尽快处理，将CPU负载降低。工作所需，我经常要写些程序批量处理数据，每次执行几十万数据处理的时候，我机子的CPU都会飙高，而且数据处理...
分类：
系统相关 时间：
2014-09-11 18:58:52
阅读次数：
942
上周，老大压下来任务，让写一个网络爬虫，负责爬某一个行业网站的数据信息。由于本人只会shell编程语言，其它编程语言从未涉猎，因此就只能硬着头皮用shell去写了。转眼之前已经过去一周了，一切从无到有，经历的坎坷无数，这里我就不一一吐槽。这里呢，我就简单和大家分享下..
分类：
其他好文 时间：
2014-09-11 09:45:02
阅读次数：
335
