锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除传统的计算资源（如CPU、RAM、I/O等）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而 ...
分类：
数据库 时间：
2016-06-30 20:06:45
阅读次数：
275
本期内容：1.SparkStreaming中RDD为空处理2.StreamingContext程序停止方式SparkStreaming运用程序是根据我们设定的BatchDuration来产生RDD，产生的RDD存在partitons数据为空的情况，但是还是会执行foreachPartition，会获取计算资源，然后计算一下，这种情况就会浪费集群计算资..
分类：
其他好文 时间：
2016-06-14 16:16:58
阅读次数：
183
锁，在现实生活中是为我们想要隐藏于外界所使用的一种工具。在计算机中，是协调多个进程或县城并发访问某一资源的一种机制。在数据库当中，除了传统的计算资源（CPU、RAM、I/O等等）的争用之外，数据也是一种供许多用户共享访问的资源。如何保证数据并发访问的一致性、有效性，是所有数据库必须解决的一个问题，锁的冲突也是影响数据库并发访问性能的一个重要因素。从这一角度来说，锁对于数据库而言就显得尤为重要。
...
分类：
数据库 时间：
2016-06-14 16:10:12
阅读次数：
230
为什么叫浅谈呢，因为就是自己的观点，受知识所限难免偏颇。数据中心里面真正的东西总结起来就是三大部件：计算、存储和网络。这三大部件的演变过程是：硬件—虚拟化—融合。在传统独立硬件时代，计算资源就是服务器，存储也是独立的硬件设备，因为服务器和存储之间的相互连接..
分类：
其他好文 时间：
2016-06-10 15:03:58
阅读次数：
311
对以下文章内容我要说明下，在财大气粗的互联网公司或为财大气粗的客户服务的不缺钱的主，请立即绕行，以下内容不适合您。 以下内容为客户计算资源紧缺，预算紧缺，无法通过增大带宽，增多服务器，购买各种高级服务的程序员们进行讨论。 谢谢 对于如何提高应用程序的性能（无论是互联网应用还是企业级应用）我的观点一直 ...
分类：
其他好文 时间：
2016-05-25 18:20:33
阅读次数：
151
Azure虚拟机采用按需付费、自助服务的方式供用户使用。当我们需要停用虚拟机一段时间时，应采用关闭虚拟机，而不是在虚拟机点击关机按钮（计算服务仍然收费）。关闭虚拟机状态为【已停止（已取消分配）】。当虚拟机关机时，计算资源停止收费，存储资源仍然需要收费。然而，某个..
分类：
其他好文 时间：
2016-05-18 22:13:10
阅读次数：
1706
首先我先介绍一下魅族大数据上云的背景，即我们为什么要上云？
在开始之前我们默认今天参与直播的各位同学对Hadoop相关技术和docker都有一定的了解，另外以下提到Hadoop是泛指目前魅族大数据使用的Hadoop生态圈技术，资源除特别说明则泛指存储资源、计算资源和网络资源的总和。...
分类：
其他好文 时间：
2016-05-18 18:35:41
阅读次数：
243
1、Hadoop介绍
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了一个系统底层细节透明的分布式架构，通过Hadoop，可以将大量的廉价机器的计算资源组织起来，解决单机不能解决的海量数据的处理问题。Hadoop主要有以下几个优点：
高可靠性：提供按位处理的存储和计算能力值得用户信赖。
高扩展性：可以轻松地从小量集群扩展到数以千计的节点中...
分类：
其他好文 时间：
2016-05-18 18:24:00
阅读次数：
241
1、Hadoop介绍
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了一个系统底层细节透明的分布式架构，通过Hadoop，可以将大量的廉价机器的计算资源组织起来，解决单机不能解决的海量数据的处理问题。Hadoop主要有以下几个优点：
高可靠性：提供按位处理的存储和计算能力值得用户信赖。
高扩展性：可以轻松地从小量集群扩展到数以千计的节点中。...
分类：
其他好文 时间：
2016-05-18 18:18:38
阅读次数：
133
Hadoop资源管理由两部分组成：资源表示模型和资源分配模型。其中，资源表示模型用于描述资源的组织方式，Hadoop采用“槽位”（slot）组织各节点上的资源；而资源分配模型则决定如何将资源分配给各个作业/任务，在Hadoop中，这一部分由一个插拔式的调度器完成。
Hadoop引入了“slot”概念表示各个节点上的计算资源。为了简化资源管理，hadoop将各个节点上的资源（CPU、内存和磁盘等）等...
分类：
其他好文 时间：
2016-05-12 13:36:34
阅读次数：
144
