Hadoop核心技术厂商Cloudera将在2014/06推出hadoop
Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类：
数据库 时间：
2014-05-12 11:45:03
阅读次数：
457
首先，来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类：
移动开发 时间：
2014-05-10 22:39:32
阅读次数：
656
--测试表CREATE TABLE [dbo].[Employee] ( [EmployeeNo]
INT PRIMARY KEY, [EmployeeName] [nvarchar](50) NULL, [CreateUser] [nvarchar](50)
NULL, [...
分类：
数据库 时间：
2014-05-10 19:23:09
阅读次数：
451
技术能力到业务价值的转化，是当今大数据传统行业实践面临的首要问题，经过这些年的发展大数据平台本身已经相对成熟，已经基本具备生产应用的可能。从实际项目的实践情况来看，成熟的也仅限平台框架本身，应用支撑实施工具层面的匮乏，使得大数据技术的企业应用很难做到如传统SQL技术一样的工程化，易用化。目前大部分厂...
分类：
其他好文 时间：
2014-05-10 18:07:06
阅读次数：
398
Rs2008
在内存管理方面已经有了很大的改变。主要增加了文件缓存，允许把内存数据卸载到文件缓存中。而Rs2005
都是把数据放到内存中。对于大数据量的报表而言，很容易出现OutOfMemory 错误。在实际应用中，发现Rs2008 也经常出现 OutOfMemory
错误。主要有以下几个原因：1 ...
分类：
其他好文 时间：
2014-05-10 08:14:31
阅读次数：
317
IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider，此接口在前一篇文章中已经提到过了。///
/// 提供数据批量处理的方法。 /// public interface IBatcherProvider : IProviderService...
分类：
数据库 时间：
2014-05-10 06:28:39
阅读次数：
518
本Hadoop与HBase集群有1台NameNode, 7台DataNode
1. /etc/hostname文件
NameNode:
node1
DataNode 1:
node2
DataNode 2:
node3
.......
DataNode 7:
node8
2. /etc/hosts文件
N...
分类：
其他好文 时间：
2014-05-10 04:55:08
阅读次数：
386
一、 概念知识介绍
Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题，可以使没有并行 处理或者分布式计算经验的工程师，也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。
Hadoop MapReduce基于“分而治之”的思想，将计算任务...
分类：
其他好文 时间：
2014-05-10 04:39:09
阅读次数：
570
1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类：
其他好文 时间：
2014-05-10 04:28:25
阅读次数：
475
spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
