测试版本：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with co...
分类：
其他好文 时间：
2014-06-03 06:26:17
阅读次数：
277
1. 数据统计的需求
互联网上对于数据的统计，一个重要的应用就是对网站站点数据的统计，例如CNZZ站长统计、百度统计、Google Analytics、量子恒道统计等等。
网站站点统计工具无外乎有以下一些功能：
1）网站流量统计：包括PV、UV、IP等指标，这些统计指标可以以趋势图的形式展示出来，如最近一周、最近一个月等。
2）IP来源信息统计：记录各个来源IP下的访问PV...
分类：
其他好文 时间：
2014-06-03 01:33:36
阅读次数：
226
Eclipse工作台提供了一个性能视图用于查看（和/或编辑）选定项目的属性。在本文中，您将学习如何使用选项卡式的属性视图创建一个性能增强的用户界面视图。
1.引言
Eclipse工作台提供了一个属性视图，即在文章中详细描述你的性能控制。默认的用户界面是属性和值对表，并且值使用一个标准的对话框单元格编辑器。
工作台使用扩展（extensions）为属性视图定义了一个自定义的用户界面。利用这个扩展，Properties视图已创建。
属性视图允许您创建任何用户界面的属性。此外，您可以为元素创建用户接口而不...
分类：
系统相关 时间：
2014-06-03 00:56:30
阅读次数：
444
前言
今天Spark终于跨出了里程碑的一步，1.0.0版本的发布标志着Spark已经进入1.0时代。1.0.0版本不仅加入了很多新特性，并且提供了更好的API支持。Spark SQL作为一个新的组件加入，支持在Spark上存储和操作结构化的数据。已有的标准库比如ML、Streaming和GraphX也得到了很大程度上的增强，对Spark和Python的接口也变得更稳定。以下是几个主要的改进点...
分类：
其他好文 时间：
2014-06-03 00:43:41
阅读次数：
269
hibernate在写数据库配置文件时非常的不确定，必须进行必要的测试保证数据库结构的正确性。所以可以应用junit进行测试。
使用junit非常简单，eclipse只需要右键项目新建一个junit test case即可（填写类名和包名）。然后在对应位置写对应的代码运行测试即可。
下面给出一个常用的hibernate测试框架：
package com.atguigu.hibernate.e...
分类：
系统相关 时间：
2014-06-03 00:05:35
阅读次数：
449
1.vertica概念
面向数据分析的数据仓库系统解决方案
2.vertica关键特性
Ø 标准的SQL接口：可以利用已有的BI、ETL、Hadoop/MapReduce和OLTP环境
Ø 高可用：内置的冗余也提升了查询速度
Ø 自动化数据库设计：数据库自动安装、优化、管理
Ø 高级压缩：十多种压缩算法最多可节省90%的空间
Ø 大规模并行处理：运行于低成本的x86型Lin...
分类：
其他好文 时间：
2014-06-02 23:09:24
阅读次数：
483
eclipse 4支持css切换，rcp可以根据自己定义的css进行切换...
分类：
Web程序 时间：
2014-06-02 22:33:04
阅读次数：
394
spring错误笔记
spring定时器执行两次因为导入了两次
关于配置文件如下
对应的类有个定时执行检查的动作，但是动作中的日志每次输出两遍，一开始以为是log4j的输出导致的两条，找了半天没办法还是决定eclipse调试打印一下，输出竟然是两条，那么等于这个方法竟然执行了两次。
根绝网上提供的说法如果导入两次那么就可能出现这种情况，发现真的...
分类：
编程语言 时间：
2014-06-01 10:45:52
阅读次数：
291
总的来说，正确的做法是优先通过配置文件，再在具体机器上进行相应进程的启动/停止操作。
网上一些资料说在调整配置文件的时候，优先使用主机名而不是IP进行配置。
总的来说添加/删除DataNode和TaskTracker的方法非常相似，只是操作的配置项和使用的命令有微小差异。
1. DataNode
1.0 配置文件
在namenode下修改配置文件conf/mapred-site.xml。
关键参数dfs.hosts和dfs.hosts.exclude。
注意：不同hado...
分类：
其他好文 时间：
2014-06-01 10:45:08
阅读次数：
340
今天遇到一个问题，在终端里运行newLISP脚本，一切正常，移动到crontab中就不行。即便crontab -e命令运行在同一个用户下，还是有问题。由于newLISP脚本要用到hive和hadoop，估计是环境变量的问题。所以先用newLISP shell运行(env)命令，将当前环境变量记录到文件evn.lsp中。然后在newLISP脚本中加载之。下面是env.lsp文件部分内容：(set '...
分类：
其他好文 时间：
2014-06-01 10:26:57
阅读次数：
330
