在过去，每个应用都是单个程序，跑在单一CPU的单一服务器上。现在不一样了。在大数据和云计算的世界里，应用都是由许多独立的程序运行在一组不断变化的机器上。 协调这些独立程序的行为比起单一程序来困难的多。这样很容易导致开发人员陷入协调的逻辑而没有时间来实现正确的应用逻辑，或者反过来，花很少的时...
分类：
其他好文 时间：
2014-07-16 21:20:54
阅读次数：
149
记得还没毕业的时候，那时候我还不知道网优是什么，我的目标是做一名改变世界的程序猿，虽然我现在的目标也没有变，但是人毕竟不能两次踏入同一条河流，所以，过去终究只能是过去。 偶然看到了mapreduce,度娘告诉我这是一个用来处理大数据的框架，回想起当时笔试去哪儿网的时候的一篇2M的小说中找出张无忌出....
分类：
其他好文 时间：
2014-07-16 21:00:34
阅读次数：
279
大数据是信息技术的重要概念。很多企业正在搜集大数据并使用复杂的分析工具对其进行分析，以期发现隐藏的规律和关联。如果生产制造系统发生重大变更的时候也能够自动识别并找到最佳的作业条件，例如设备发生故障、原材料特性发生变化或者能源和人力成本发生变化，那么是不是很棒呢?这就是生产制造领域内大数据的存在意.....
分类：
其他好文 时间：
2014-07-16 20:03:29
阅读次数：
165
见过很多成长中的企业，随着业务的扩大，数据流的增加，自家的软件越来越受到成长性的颈瓶，于是乎高薪招来大牛，然后就急急忙忙的乱设计架构做试验，最后搞的头痛医头，脚痛医脚的局面。
这样的企业国内太多，多的我都不好意思说了。
无论什么软件受到成长性的颈瓶，除了历史架构原因，没有别的因素了。
目前解决数据流颈瓶的技术...
分类：
其他好文 时间：
2014-07-12 21:47:30
阅读次数：
287
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
将几百万条数据导入到数据库中，怎么样高效率的导入？下面我就介绍一个高效率的方法：1、将数据库文件(DB.csv)导入到DataTable中：/// /// 将CSV文件的数据读取到DataTable中 /// /// CSV文件路径 ///...
分类：
数据库 时间：
2014-07-11 10:33:04
阅读次数：
252
在Mysql数据库中，Mysql Merge表有点类似于视图。下面就让我们来一起了解一下Mysql Merge表都有哪些优点，希望对您能有所帮助。
Mysql Merge表的优点：
A： 分离静态的和动态的数据
B：利用结构接近的的数据来优化查询
C: 查询时可以访问更少的数据
D：更容易维护大数据集
E: 可以通过修改.mrg文件来修改Merge表，当然也可以用alter进行修改...
分类：
数据库 时间：
2014-07-10 23:53:04
阅读次数：
313
概述
最近工作上忙死了……广播变量这一块其实早就看过了，一直没有贴出来。
本文基于Spark 1.0源码分析，主要探讨广播变量的初始化、创建、读取以及清除。
类关系
BroadcastManager类中包含一个BroadcastFactory对象的引用。大部分操作通过调用BroadcastFactory中的方法来实现。
BroadcastFactory是一个Trait，有两个直接子...
分类：
其他好文 时间：
2014-07-10 19:43:49
阅读次数：
298
1.使用命令行操作1）4个通用命令行<1>archive归档文件的创建用途：由于hadoop的设计是为了处理大数据，理想的数据应该blocksize的倍数。namenode在启动时会将所有的元数据load到内存中当大量小于blocksize的文件存在的时候，，不仅占用了大量的存储空间，也占用了大量的n..
分类：
其他好文 时间：
2014-07-10 18:56:21
阅读次数：
353
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 图 1 Hadoop生态系统图由图可知，hadoop生态系统包括以下成员：① 各种浏览器，产生海量的Web数据；② Nutch项目，一个快速搜索海量网页的开源项目③ HDFS，Hadoop分布式文件系统，大数据的存储系...
分类：
其他好文 时间：
2014-07-10 15:32:23
阅读次数：
189
