Hadoop，HBase，Storm，Spark到底是什么？
Hadoop=HDFS+Hive+Pig+......
分类：
其他好文 时间：
2014-12-09 17:45:22
阅读次数：
183
应公司要求在 Vsphere client部署备用网站，以便备用，不要问为什么有虚拟化任性。
环境centos6.5 直接用yum安装环境，新机器做下初始话一个脚本公司同事写的：
#!/bin/bash
# Program:
# system_init_shell
# History:
# Release:
# 1.1
cat
+-------...
分类：
Web程序 时间：
2014-12-09 12:19:16
阅读次数：
273
应公司要求在Vsphereclient部署备用网站，以便备用，不要问为什么有虚拟化任性。环境centos6.5直接用yum安装环境，新机器做下初始话一个脚本公司同事写的：#!/bin/bash#Program:#system_init_shell#History:#Release:#1.1cat<<EOF+-------------------------------------..
分类：
Web程序 时间：
2014-12-09 10:43:37
阅读次数：
283
Tachyon是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。从软件栈的层次来看，Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层。它利用底层文件系统作为备份，对于上层应用来说，Tachyon就是一个分布式文件系统。本文讲述了Tachyon的重要概念、使用方法以及基本原理。...
分类：
其他好文 时间：
2014-12-09 09:26:53
阅读次数：
243
这几天学校的事情比较多，空闲时间也有，但没有利用起来。前些天听国学课，发觉自己心性还是不很成熟，以前自觉遇到君子应用君子的方法相处，遇到小人用小人的方法对待，老师一句话，疏清了自己。当我们用小人的方法对待小人时，有一天，你和小人打了一架，很多时候，我们就不..
分类：
系统相关 时间：
2014-12-09 01:59:33
阅读次数：
410
vipython_tab.py#!/usr/bin/envpythonimportsysimportreadlineimportrlcompleterimportatexitimportos#tabcompletionreadline.parse_and_bind(‘tab:complete‘)histfile=os.path.join(os.environ[‘HOME‘],‘.pythonhistory‘)try:readline.read_history_file(histfile)exceptIOErr..
分类：
编程语言 时间：
2014-12-08 19:46:44
阅读次数：
455
前两篇文章写了Shuffle Read的一些实现细节。但是要想彻底理清楚这里边的实现逻辑，还是需要更多篇幅的；本篇开始，将按照Job的执行顺序，来讲解Shuffle。即，结果数据（ShuffleMapTask的结果和ResultTask的结果）是如何产生的；结果是如何处理的；结果是如何读取的。...
分类：
其他好文 时间：
2014-12-07 21:48:53
阅读次数：
224
好久没更新博客了，之前学了一些R语言和机器学习的内容，做了一些笔记，之后也会放到博客上面来给大家共享。一个月前就打算更新Spark Sql的内容了，因为一些别的事情耽误了，今天就简单写点，Spark1.2马上就要出来了，不知道变动会不会很大，据说添加了很多的新功能呢，期待中...首先声明一下这个版本...
分类：
数据库 时间：
2014-12-07 01:20:23
阅读次数：
585
mahout入门指南之mahout单机版推荐算法
鄙人最近在研究mahout，网上找了一些入门资料来看，发现都整理的比较乱。折腾了一番，终于搞清楚了。为了让新手们较快入门，决定总结分享一下，写此入门指南。
mahout是什么？
mahout是一个机器学习库，里面实现了一些算法，比如推荐算法，聚类算法。
实现方式有单机内存版，也有分布式（hadoop和spark）。...
分类：
编程语言 时间：
2014-12-06 15:26:15
阅读次数：
368
Bash Shell的基础特性：
命令历史：
history：shell内建命令
环境变量HISTFILE定义用户退出命令历史列表的存储位置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
...
分类：
系统相关 时间：
2014-12-06 14:07:59
阅读次数：
539
