记得还没毕业的时候，那时候我还不知道网优是什么，我的目标是做一名改变世界的程序猿，虽然我现在的目标也没有变，但是人毕竟不能两次踏入同一条河流，所以，过去终究只能是过去。 偶然看到了mapreduce,度娘告诉我这是一个用来处理大数据的框架，回想起当时笔试去哪儿网的时候的一篇2M的小说中找出张无忌出....
分类：
其他好文 时间：
2014-07-16 21:00:34
阅读次数：
279
Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
大数据是信息技术的重要概念。很多企业正在搜集大数据并使用复杂的分析工具对其进行分析，以期发现隐藏的规律和关联。如果生产制造系统发生重大变更的时候也能够自动识别并找到最佳的作业条件，例如设备发生故障、原材料特性发生变化或者能源和人力成本发生变化，那么是不是很棒呢?这就是生产制造领域内大数据的存在意.....
分类：
其他好文 时间：
2014-07-16 20:03:29
阅读次数：
165
C#语言中对SqlServer、Oracle、SQLite和MySql中的数据批量插入是支持的，不过Oracle需要使用Orace.DataAccess驱动。IProvider里有一个用于实现批量插入的插件服务接口IBatcherProvider。批量插入的实现可以通过实现该接口来实现。 //...
分类：
数据库 时间：
2014-07-14 09:05:21
阅读次数：
387
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark on yarn的实现，1.0.0里面已经是一个stable的版本了，可是1.0.1也出来了，离1.0.0发布才一个月的时间，更新太快了，节奏跟不上啊，这里仍旧是讲1.0.0的代码，所以各位朋友也不要再问我讲的是哪...
分类：
其他好文 时间：
2014-07-13 21:43:15
阅读次数：
381
定制spark让sql更简单，上个版本的start.scala用的是HiveContext，这个是SQLContext的，不需编译。...
分类：
数据库 时间：
2014-07-13 20:44:21
阅读次数：
330
见过很多成长中的企业，随着业务的扩大，数据流的增加，自家的软件越来越受到成长性的颈瓶，于是乎高薪招来大牛，然后就急急忙忙的乱设计架构做试验，最后搞的头痛医头，脚痛医脚的局面。
这样的企业国内太多，多的我都不好意思说了。
无论什么软件受到成长性的颈瓶，除了历史架构原因，没有别的因素了。
目前解决数据流颈瓶的技术...
分类：
其他好文 时间：
2014-07-12 21:47:30
阅读次数：
287
从源代码的角度来看一下Spark SQL的核心执行流程吧...
分类：
数据库 时间：
2014-07-12 21:07:32
阅读次数：
299
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战
课程针对人群
1、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士
2、最好有Greenplum Hadoop、Hadoop2.0、YARN、Sqoop、FlumeAvro等大数据基础，学习过北风课程《Gree...
分类：
其他好文 时间：
2014-07-12 20:58:37
阅读次数：
220
Android底层框架解析与Java&C/C++软硬整合开发技术主讲人：高焕堂(台湾Android教父级专家)课程简介：在智能&大数据时代，系统开发不仅仅攸关软件设计与开发，还涉及深度软硬整合的智能硬件设计与开发。在当今产业的成功方程式：(((硬件+软件)+内容)+电信)潮流下，如何..
分类：
移动开发 时间：
2014-07-12 16:44:53
阅读次数：
465
