这一期内容超级长，放大招咯哈哈 华为弹性大数据（BigData） 弹性大数据服务（BigData）提供Hadoop、Spark、Spark SQL、HBase、实时流计算、在线分析和机器学习等能力，能灵活应对数据导入、数据分析和报表展示等各种诉求。其高性能、低成本、安全、易用、稳定、开放的特点能轻松 ...
分类：
其他好文 时间：
2016-05-20 00:55:37
阅读次数：
227
0、Spark的wc.note
package RddApiimport org.apache.spark.{SparkConf, SparkContext}/** * hadoop * spark * tachyon * hadoop * hbase * spark *//** * Created by Administrator on 2016/4/2...
分类：
其他好文 时间：
2016-05-18 19:20:18
阅读次数：
259
一：Spark Streaming Job生成深度思考
1. 做大数据例如Hadoop,Spark等，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就是做流处理的感觉，一切不是流处理，或者与流处理无关的数据都将是没有价值的数据，以前做批处理的时候其实也是隐形的在做流处理。
2. JobGenerator构造的时候有一个核心的参数是jobScheduler,...
分类：
其他好文 时间：
2016-05-18 18:59:03
阅读次数：
236
更多代码请见：https://github.com/xubo245/SparkLearning
1.环境
hadoop 2.6.0
spark 1.5.2
java 1.7
2.下载：
https://github.com/Alluxio/alluxio/archive/v0.7.1.tar.gz
3.编译：
mvn clean package -Djava....
分类：
其他好文 时间：
2016-05-06 13:00:38
阅读次数：
280
Dr.Elephant被定位成一个对Hadoop和Spark任务进行性能监控和调优的工具，它能够自动收集Hadoop平台所有的度量标准，并对收集的数据进行分析，最终以一种简单且易于理解的形式展示出来。Dr.Elephant的设计目的是通过指导Hadoop/Spark开发者对其任务进行便捷的优化，从而提高开发者的效率以及Hadoop集群的使用效率。在Dr.Elephant中定义了一系列的启发式算法(...
分类：
其他好文 时间：
2016-04-29 17:19:16
阅读次数：
184
前言 报表制作流程的第一步显然是从各个数据源导入数据，Power BI能从很多种数据源导入数据：如Excel，CSV，XML，以及各类数据库(SQL Server，Oracle，My SQL等)，两大主流开源平台(Hadoop，Spark)等等。本文篇幅所限，无法一一说明，仅就网页获取数据的方式进行 ...
分类：
Web程序 时间：
2016-04-16 16:37:29
阅读次数：
2804
欢迎大家加入大数据(HADOOP、SPARK、数据挖掘)学习交流群，以共享大数据资料、相互交流为主QQ:550174771方法的重载在一个类中可以有多个方法共享同一个名称，只要他们的参数不同就可以参数类型不同参数数量不同packagecom.java2006;publicclassComputer{／／这里ｓｔａｔｉｃ的..
分类：
其他好文 时间：
2016-03-26 20:31:57
阅读次数：
175
1、熟悉linux操作，包括常见的命令2、了解学习vmware的一些高级的使用场景3、做了一年的基于rdms数据仓库的开发、ETL工具的开发，彻底了解CUBE的计算过程，同时与分布式里面的hive、kylin原理的理解4、安装使用分布式计算引擎、包括hadoop、spark、storm、kakfa、...
分类：
其他好文 时间：
2016-01-26 08:06:42
阅读次数：
150
大数据入门至精通视频集，包含Scala、Hadoop、Spark、docker等王家林免费视频百度云地址：1 《大数据不眠夜：Spark内核天机解密（共140讲）》：51CTO在线观看（支持手机、平板、PC）: http://edu.51cto.com/course/course_id-4703.h...
分类：
其他好文 时间：
2015-12-30 17:13:21
阅读次数：
123
互联网的第三次革命，大数据！以Hadoop+Spark为框架，机器学习，数据挖掘，模式识别等算法为核心的大数据正在悄然改变着互联网世界，或许你已经体验到淘宝等电商网站的个性化推荐，百度等浏览器的个性化广告与标签，然而这些都只是大数据的应用雏形。加入新的浪潮，需要不断学习新的知识，完善自己的知识体系。...
分类：
其他好文 时间：
2015-12-29 09:55:32
阅读次数：
160
