折腾了好几天，终于可以在CenOS下用eclipse写spark程序了当前环境是CentOS6.5,jdk7,scala2.10.4,spark0.9.1前期因为对linux不熟悉的原因花了不少时间查阅命令。折腾了不少时间，终于把jdk8，scala2.11.0环境变量配置好了。在此环境下可以正常编...
分类：
其他好文 时间：
2014-05-23 06:01:28
阅读次数：
312
几年前，雷·库兹韦尔写过一本书叫做《奇点临近》。他说，人类文明经过这么多年发展，在本世纪的中叶会经过一个点，这个点，就是奇点。奇点是一个拐点，也就是说人类文明可能会进入一个分岔，可能会进入一个新的文明高度，也可能会急转直下，人类就此灭亡。所以奇点有双重的含义，有可能变得更好，也有可能变得更糟糕。
进入微软、亚马逊，谷歌等美国IT企业工作人才项目，起薪40万，百度搜索（MUMCS）
...
分类：
其他好文 时间：
2014-05-23 01:01:56
阅读次数：
256
The network is naturally bigdataing, while bigdata is
inherently networking.
--yeasy@blog
用英文表达似乎更加准确一些。
计算机科学发展了半个世纪，而网络的出现极大推动了计算机相关技术的爆发式进步。
计算机或网络领域所研究的典型问题，往往都是追求高性能、精确、准确，而大数据技术则往往提供一...
分类：
其他好文 时间：
2014-05-23 00:25:05
阅读次数：
285
疯狂猜成语-----四周第二次站立会议参会人员：杨霏，袁雪，胡潇丹，郭林林，尹亚男，赵静娜会议内容：在寻找用户过程中，在自己的内部测试体验过程中出现了一小部分bug，所以用户体验推迟。出现的问题：1、用户登录后，用户资料不够完善2、游戏的数据量比较少，需要再一次加大数据量3、高级游戏出现多个结果，与...
分类：
其他好文 时间：
2014-05-21 17:43:14
阅读次数：
257
使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。
有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。
一句话产品介绍:...
分类：
其他好文 时间：
2014-05-21 16:37:02
阅读次数：
363
最近上头给我派了一个活，oracle数据导入excel，接任务的时候，我感觉比较轻松，心里想，这很简单，三下五除二，一个上午就可以搞定，因为之前实现过嘛！
但是程序在加上“大数据”烙印之后，就不是那么简单的一回事了，实现过程中，出现最常见的两个问题：超出行数限制和内存溢出！
18天的数据，总共是500w条，如何将500w条记录存入excel中，我当时想过两种实现方式：PLSQL...
分类：
其他好文 时间：
2014-05-21 15:59:54
阅读次数：
307
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
课程讲师：迪伦
课程分类：Java
适合人群：高级
课时数量：96课时
用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop
涉及项目：Greenplum Hadoop大数据分析平台
更新程度：完毕
对这个课程有兴趣的朋友可以加我的QQ2059055336和...
分类：
其他好文 时间：
2014-05-21 13:23:22
阅读次数：
363
近日百度迎来了一位首席科学家，人工智能领域最权威的学者之一吴恩达(Andrew Ng)。
这位曾于 2013 年入选《时代》杂志“全球最具影响力 100 人”的美国人将全面负责百度研究院。
百度研究院目前包括三大实验室：硅谷人工智能实验室、北京深度学习实验室(原深度学习研究院)和北京大数据实验室。就在同日，百度宣布启用位于加州桑尼维尔的百度美国研发中心。
吴恩达作为斯坦福大学计算...
分类：
其他好文 时间：
2014-05-21 13:21:56
阅读次数：
305
本地管理表空间中设置不同大小的db_block_size时数据文件头保留空间对应如下：--？？
db_block_size=2KB，文件头保留32个数据块，即64KB。
db_block_size=4KB，文件头保留16个数据块，即64KB。
db_block_size=8KB，文件头保留8个数据块，即64KB。
db_block_size=16KB，文件头保留4个数据块，即64KB。...
分类：
数据库 时间：
2014-05-21 08:27:08
阅读次数：
529
