码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
大数据时代的用户信息安全三原则
几年前,雷·库兹韦尔写过一本书叫做《奇点临近》。他说,人类文明经过这么多年发展,在本世纪的中叶会经过一个点,这个点,就是奇点。奇点是一个拐点,也就是说人类文明可能会进入一个分岔,可能会进入一个新的文明高度,也可能会急转直下,人类就此灭亡。所以奇点有双重的含义,有可能变得更好,也有可能变得更糟糕。 进入微软、亚马逊,谷歌等美国IT企业工作人才项目,起薪40万,百度搜索(MUMCS) ...
分类:其他好文   时间:2014-05-23 01:01:56    阅读次数:256
MAHOUT_LOCAL is not set;adding HADOOP_CONF_DIR to classpath
在Mahout中出现错误:MAHOUT_LOCAL is not set;adding HADOOP_CONF_DIR to classpath MAHOUT_LOCAL与HADOOP_CONF_DIR 以上的两个参数是控制Mahout是在本地运行还是在Hadoop上运行的关键。 $MAHOUT_HOME/bin/mahout文件指出,只要设置MAHOUT_LOCAL的值为一个非空(...
分类:其他好文   时间:2014-05-23 00:40:35    阅读次数:365
网络天然是大数据的,大数据天然是网络的
The network is naturally bigdataing, while bigdata is inherently networking. --yeasy@blog 用英文表达似乎更加准确一些。 计算机科学发展了半个世纪,而网络的出现极大推动了计算机相关技术的爆发式进步。 计算机或网络领域所研究的典型问题,往往都是追求高性能、精确、准确,而大数据技术则往往提供一...
分类:其他好文   时间:2014-05-23 00:25:05    阅读次数:285
关系型数据库与HBase的数据储存方式区别
如今Bigtable型(列族)数据库应用越来越广,功能也很强大。但是很多人还是把它当做关系型数据库在使用,用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。 传统关系型数据库(mysql,oracle)数据存储方式主要如下: 图一 上图是个很典型的数据储存方式,我把每条记录分成3部分:主键、记录属性、索引字段。我们会对索引字段建立索引,达到二级索引...
分类:数据库   时间:2014-05-23 00:19:11    阅读次数:301
windows下eclipse调试hadoop详解
1)下载Eclipse http://www.eclipse.org/downloads/ Eclipse Standard 4.3.2 64位   2) 下载hadoop版本对应的eclipse插件 我的hadoop是1.0.4,因此下载hadoop-eclipse-plugin-1.0.4.jar 下载地址:http://download.csdn.net/detail/m_sta...
分类:Windows程序   时间:2014-05-22 23:48:33    阅读次数:607
Hadoop-2.2.0中文文档——Common-Hadoop HTTP web控制台认证
简介 此文档描述了如何配置Hadoop HTTP web控制台,去要求用户认证。 默认地,Hadoop HTTP web控制台(JobTracker, NameNode, TaskTrackers 和 DataNodes)不需要任何认证就允许访问。 与Hadoop RPC相似, Hadoop HTTP web控制台可以被配置为需要使用HTTP SPNEGO协议认证(由FireFo...
分类:Web程序   时间:2014-05-22 23:40:12    阅读次数:347
大数据读书汇
第六届中国云计算大会(大数据读书汇)...
分类:其他好文   时间:2014-05-22 23:24:23    阅读次数:343
Cloudera CDH 5集群搭建(yum 方式)
Hadoop CDH YUM Spark...
分类:其他好文   时间:2014-05-22 22:56:05    阅读次数:521
人类行为真的可预测么?
随着大数据时代的到来,我们越来越多的使用电子产品,使我们的活动信息被越来越多的收集起来。我们知道,机器学习的一大目标就是利用历史数据去预测未来,那么,我们的行为会不会被预测呢?...
分类:其他好文   时间:2014-05-22 22:43:12    阅读次数:557
hadoop学习;hadoop伪分布搭建
先前已经做了准备工作安装jdk什么的 接下来开始...
分类:其他好文   时间:2014-05-22 18:28:38    阅读次数:296
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!