scala spark Actor 多线程 大数据，DT_Spark
分类：
编程语言 时间：
2015-07-24 23:56:13
阅读次数：
242
ping localhost 没反应解决方案...
分类：
其他好文 时间：
2015-07-24 20:59:00
阅读次数：
109
原文链接调度相关的参数设置，大多数内容都很直白，其实无须过多的额外解释，不过基于这些参数的常用性（大概会是你针对自己的集群第一步就会配置的参数），这里多少就其内部机制做一些解释。spark.cores.max一个集群最重要的参数之一，当然就是CPU计算资源的数量。spark.cores.max 这个...
分类：
其他好文 时间：
2015-07-24 18:12:13
阅读次数：
130
你想了解大数据，你想成为年薪百万吗？那你还等着什么，快点来吧！跟着王家林老师学习spark大数据
分类：
其他好文 时间：
2015-07-24 15:51:31
阅读次数：
69
你想了解大数据，你想成为年薪百万吗？那你还等着什么，快点来吧！跟着王家林老师学习spark大数据
分类：
其他好文 时间：
2015-07-24 15:50:34
阅读次数：
103
你想了解大数据，你想成为年薪百万吗？那你还等着什么，快点来吧！跟着王家林老师学习spark大数据
分类：
其他好文 时间：
2015-07-24 15:38:07
阅读次数：
102
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是 说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程...
分类：
其他好文 时间：
2015-07-24 12:02:46
阅读次数：
118
Apache Flume是一个用来有效地收集，聚集和移动大量日志数据的分布式的，可获得的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据。这里有两个方法。
Python API：Flume现在还不支持PythonAPI
方法1：Flume风格的推方法
Flume被设计用来在Flume代理之间推送数据。在这种方法中，Spark Streami...
分类：
Web程序 时间：
2015-07-24 09:24:14
阅读次数：
163
学习了Scala并发编程实战初体验及其在Spark源码中的应用解析，具体来说Scala就是通过并发的Actor。实现发送和接收消息来并发访问的，这样就不存在共享数据的问题下面举例：objectFirst_ActorextendsActor{//第一个线程defact(){for(i<-1to10){...
分类：
其他好文 时间：
2015-07-24 08:01:50
阅读次数：
321
sparkEnv(D:\Spark\SourceCode\spark\core\src\main\scala\org\apache\spark\SparkEnv.scala)Holds all the runtime environment objects for a running Spark i...
分类：
其他好文 时间：
2015-07-23 21:41:30
阅读次数：
125
