川普就是领着一群工业革命时代的棺材瓤子，发动了一次资本主义复辟，面对互联网不过是一次新的砸机器运动。 美国的红脖子（泛指美国普通劳动者）既不学习，也不接受互联网，下班上酒馆喝一晚上，周末喝啤酒看球赛。在美国搞制造业，美元还猛升值，东西卖给谁？美国人自己都不愿意买。当初美国人愿意买美国货就没有我们了。 ...
分类：
其他好文 时间：
2017-01-30 10:35:33
阅读次数：
198
1.spark与Hive结合起来 前提:当你spark的版本是1.6.1的时候,你的Hive版本要1.2.1,用别的版本会有问题 我们在做的时候,Hive的版本很简单,我们只需要解压缩,告诉他Hive的源数据在哪里即可 1.首先我们进入/conf/hive-site.xml文件,进行修改jdbc的配 ...
分类：
其他好文 时间：
2017-01-13 22:41:16
阅读次数：
233
链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ ...
分类：
Web程序 时间：
2017-01-12 08:42:33
阅读次数：
359
电脑已经装了anaconda python，然后下载了spark2.1.0。因为版本太新，所以网上和书上的一些内容已经不再适用。比如关于如何使用IPython和Jupyter，教程给出的方法是用如下语句打开Spark即可进入IPython或者IPython Notebook： 然鹅运行以上语句后我得 ...
分类：
其他好文 时间：
2017-01-05 00:50:19
阅读次数：
826
1.临时修改主机名 显示主机名：spark@master:~$ hostnamemaster修改主机名：spark@master:~$ sudo hostname hadoopspark@master:~$ hostnamehadoop PS:以上的修改只是临时修改，重启后就恢复原样了。 2.永久修 ...
分类：
其他好文 时间：
2016-12-31 11:34:46
阅读次数：
191
#!/usr/bin/expect set proj_dir /home/jksong/NewsSpark/openid_for_commonid set tmp_data_dir $proj_dir/data_src/openid_dir set password yourpassword spa... ...
分类：
其他好文 时间：
2016-12-30 19:09:07
阅读次数：
173
今天，这个是spark的高级算子的讲解的最后一个章节，今天我们来介绍几个简单的算子， countByKey val rdd1 = sc.parallelize(List(("a", 1), ("b", 2), ("b", 2), ("c", 2), ("c", 1)))rdd1.countByKey ...
分类：
其他好文 时间：
2016-12-29 22:56:32
阅读次数：
161
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 大家都知道用mapreduce或者spark写入已知的hbase中的表时，直接在mapreduce或者spark的driver class中声明如下代码 job.getConfiguration( ...
分类：
其他好文 时间：
2016-12-27 20:11:40
阅读次数：
402
恢复内容开始 JVM线程状态 NEW, RUNNABLE, BLOCKED, WAITING, TIMED_WAITING, TERMINATED BLOCKED是等待获得对象锁 WAITING是调用了wait, sleep, park 操作系统线程状态 sleep， 进入TIMED_WAITING ...
分类：
编程语言 时间：
2016-12-23 14:23:33
阅读次数：
368
他可以在线程任意位置让线程阻塞, LockSupport的静态方法park()可以阻塞当前线程,类似的还有parkNanos() ParkUntil()等,他们实现了一个限时等待 public class LockSupportDemo { public static Object u = new ...
分类：
编程语言 时间：
2016-12-22 20:15:48
阅读次数：
207
