这篇文章不提原理，讲讲hadoop及其周边项目的作用。hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？官方定义：hadoop是一个开发和执行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据...
分类：
其他好文 时间：
2014-07-19 21:30:03
阅读次数：
179
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1...
分类：
其他好文 时间：
2014-07-19 21:05:50
阅读次数：
236
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
在前面的博文实践记录之-Rsync镜像备份介绍了镜像备份工具Rsync的安装和使用．但在大数据时代，rsync的不足之处也暴露出来．首先．rsync本身实现不了实时备份．靠系统的crontab实现的话也受限于1分钟．因此这就导致了服务端和客户端数据可能出现不一致，更无法在应用故障时做到..
分类：
其他好文 时间：
2014-07-16 16:44:36
阅读次数：
391
从各个角度总结了电商平台中的架构实践，由于时间仓促，定了个初稿，待补充完善，欢迎大家一起交流。转载请声明出处：http://blog.csdn.net/yangbutao/article/details/12242441作者：杨步涛关注分布式架构、大数据、搜索、开源技术QQ:306591368技术B...
分类：
其他好文 时间：
2014-07-15 23:51:01
阅读次数：
669
今天之后的几章我们重点讨论企业如果要利用大数据应该从那几个方面入手,我粗粗的总结了一下大致分三个方面,这三个方面做到为了,恭喜你你的企业正开始享受和拥有大数据来的红利和价值。具体入手之前，我们先要明确一点就是首先企业管理层需要有清晰思路然后从上到下认真贯彻，管..
分类：
其他好文 时间：
2014-07-15 11:48:23
阅读次数：
184
为什么要视图?答:1:可以简化查询2:可以进行权限控制把表的权限封闭,但是开放相应的视图权限,视图里只开放部分数据3:大数据分表时可以用到比如,表的行数超过200万行时,就会变慢,可以把一张的表的数据拆成4张表来存放.News表Newsid,1,2,3,4News1,news2,news3,news4表把一张表的数..
分类：
数据库 时间：
2014-07-15 10:48:51
阅读次数：
397
使用asm来部署 超大数据库（10TB到PB 范围）--针对oracle 10G...
分类：
数据库 时间：
2014-07-15 10:13:03
阅读次数：
296
大并发大数据量请求一般会分为几种情况：1.大量的用户同时对系统的不同功能页面进行查找，更新操作2.大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作3.大量的用户同时对系统的同一个页面，同一个表进行更新操作 对于第一种情况一般处理方法如下：一。对服务器层面的处理1. 调整IIS 7应用...
分类：
其他好文 时间：
2014-07-14 17:57:43
阅读次数：
217
