前记 公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以 ...
分类:
其他好文 时间:
2017-03-05 12:17:53
阅读次数:
289
原文:Introduction to Google Maps API for Android
作者: Eunice Obugyei
译者:kmyhy
从健康类 app Runkeeper...
分类:
移动开发 时间:
2017-03-05 00:43:00
阅读次数:
1470
因为个人对这块的知识也不熟悉,所以大多内容来源于网络. 1. Hadoop项目框架 2. Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件... ...
分类:
其他好文 时间:
2017-02-19 10:35:42
阅读次数:
238
1、初步接触mvc 路由 routes.MapRoute( "CM", "CM/{controller}/{action}/{id}/", new { controller = "Home", action = "Index", id = UrlParameter.Optional } ); 匹配: ...
今天被问到hive的数据倾斜,觉得自己对这块理解比较欠缺,某度了一下进行深入学习: hive在跑数据时经常会出现数据倾斜的情况,使的作业经常reduce完成在99%后一直卡住,最后的1%花了几个小时都没跑完,这种情况就很可能是数据倾斜的原因,解决方法要根据具体情况来选择具体的方案 1、join的ke ...
分类:
其他好文 时间:
2017-02-13 19:11:16
阅读次数:
297
当我们要处理一串数据的时候,相比较c++和c中的数组和指针,在Java中我们更为常用的是ArrayList、HashMap等集合数据结构。c语言对指针的支持成就了他的深度,而Java中多种多样的包装类...
分类:
编程语言 时间:
2017-02-08 16:15:07
阅读次数:
271
spark是从mapreduce发展过来的,拥有分布式并行计算的能力 运行效率高: spark是把中间数据放到内存中,并且spark支持DAG图的分布式并行计算的编程框架,减少了迭代过程中数据的落地,提高了处理效率。 而mapreduce的计算结果是保存在磁盘上的,这势必会影响整体速度。 容错性高: ...
分类:
其他好文 时间:
2017-02-05 12:31:47
阅读次数:
159
1、检查网络配置[root@hadoop-master ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop-masterGATEWAY=192.168.126.2 [root@hadoop-master ~]# cat /etc/h ...
分类:
其他好文 时间:
2017-01-30 22:45:03
阅读次数:
296
MapReduce 是一个分布式计算框架,主要由两部分组成:编程模型和运行时环境. 其中,编程模型为用户提供了非常易用的编程接口,用户只需要像编写串行程序一样实现几个简单的函数即可实现一个分布式程序,而其他比较复杂的工作,如节点间的通信、节点失效、数据切分等,全部由MapReduce 运行时环境完成... ...
分类:
其他好文 时间:
2017-01-24 18:52:25
阅读次数:
629
VM网络配置... 3 CentOS配置... 5 下载地址... 5 激活网卡... 5 SecureCRT. 5 修改主机名... 6 yum代理上网... 7 安装ifconfig. 8 wget安装与代理... 8 安装VMware Tools. 8 其他... 9 问题... 9 设置..... ...
分类:
其他好文 时间:
2017-01-24 13:43:42
阅读次数:
1580