折腾了好几天，终于可以在CenOS下用eclipse写spark程序了当前环境是CentOS6.5,jdk7,scala2.10.4,spark0.9.1前期因为对linux不熟悉的原因花了不少时间查阅命令。折腾了不少时间，终于把jdk8，scala2.11.0环境变量配置好了。在此环境下可以正常编...
分类：
其他好文 时间：
2014-05-23 06:01:28
阅读次数：
312
Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构，元数据即表的模式，都存储在名为meta....
分类：
其他好文 时间：
2014-05-23 05:54:55
阅读次数：
1771
hadoop
中对java的基本类型进行了writeable的封装，并且所有这些writeable都是继承自WritableComparable的，都是可比较的；并且，它们都有对应的get()
和 set()方法，其中对整型(int 和 long)进行编码的时候，有固定长度格式（intWritabl...
分类：
其他好文 时间：
2014-05-23 03:10:15
阅读次数：
207
Hadoop Eclipse 开发工具 主要分为1、根据Hadoop版本生成插件2、安装Hadoop
Eclipse插件3、配置Hadoop目录4、配置Hadoop连接5、新一个MapReduce工程WordCount.javaMapReduce——WordCount问题总结参考：http://bl...
分类：
系统相关 时间：
2014-05-23 02:44:30
阅读次数：
354
Hadoop 运行环境准备运行环境部署结构介绍Linux
CentOS6.5安装（Hadoop环境配置）Linux
常用远程管理工具介绍SSH免密码登录配置Hadoop安装及配置Hadoop验证-WordCount执行Hadoop开发工具准备Hadoop Eclipse
Plugin配置安装及验证H...
分类：
其他好文 时间：
2014-05-23 02:41:15
阅读次数：
211
疯狂猜成语-----四周第二次站立会议参会人员：杨霏，袁雪，胡潇丹，郭林林，尹亚男，赵静娜会议内容：在寻找用户过程中，在自己的内部测试体验过程中出现了一小部分bug，所以用户体验推迟。出现的问题：1、用户登录后，用户资料不够完善2、游戏的数据量比较少，需要再一次加大数据量3、高级游戏出现多个结果，与...
分类：
其他好文 时间：
2014-05-21 17:43:14
阅读次数：
257
代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发，后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发，支付宝流计算与分布式搜索系统的设计和研发，后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门，负责创新性项目的研究和跟进，目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。
在...
分类：
数据库 时间：
2014-05-21 17:04:40
阅读次数：
393
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
课程讲师：迪伦
课程分类：Java
适合人群：高级
课时数量：96课时
用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop
涉及项目：Greenplum Hadoop大数据分析平台
更新程度：完毕
对这个课程有兴趣的朋友可以加我的QQ2059055336和...
分类：
其他好文 时间：
2014-05-21 13:23:22
阅读次数：
363
近日百度迎来了一位首席科学家，人工智能领域最权威的学者之一吴恩达(Andrew Ng)。
这位曾于 2013 年入选《时代》杂志“全球最具影响力 100 人”的美国人将全面负责百度研究院。
百度研究院目前包括三大实验室：硅谷人工智能实验室、北京深度学习实验室(原深度学习研究院)和北京大数据实验室。就在同日，百度宣布启用位于加州桑尼维尔的百度美国研发中心。
吴恩达作为斯坦福大学计算...
分类：
其他好文 时间：
2014-05-21 13:21:56
阅读次数：
305
目的
此文档描述了如何为Hadoop配置和管理 Service Level Authorization 。
预备条件
确保已经安装Hadoop,配置和设置都正确了。更多细节，请看：* 首次使用者的单节点设置 * 大的、分布式集群的集群设置。
概览
Service Level Authorization 是一个必要的初始认证机制，其确保客户端连接到一个有必要的、预配置的、权...
分类：
其他好文 时间：
2014-05-21 08:13:32
阅读次数：
227
