一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
RDD持久化级别 | 持久化级别 | 含义解释 | | | | | MEMORY_ONLY | 使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时，那些没有被持久化的数据，需要从源头处重新计算一遍。这是默认的 ...
分类：
系统相关 时间：
2021-04-06 14:53:55
阅读次数：
0
class MyPromise { constructor(executor) { this.state = 'pending'; this.value = null; try { executor(this.resolve.bind(this),this.reject.bind(this)); } ...
分类：
其他好文 时间：
2021-04-06 14:22:04
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
最近实验做完了，于是使用GPU在空闲时间体验了一下ETH挖矿，持续下去的话收益似乎还不错，记录一下过程吧 1. 个人设备以及环境 设备1： GPU：NVIDIA TITAN V 操作系统： Ubuntu 16.04LTS 挖矿软件： NBMiner 设备2： GPU：NVIDIA GTX 1070 ...
package com..zookeeper.GWdemo; import org.apache.curator.framework.CuratorFramework; import org.apache.curator.framework.CuratorFrameworkFactory; impo ...
分类：
其他好文 时间：
2021-04-02 13:11:19
阅读次数：
0
1、概述 在阅读内核源码时，可以看到kthread_worker、kthread_work两个数据结构配合内核线程创建函数一起使用的场景。刚开始看到这块时，比较困惑，紧接着仔细分析源码后，终于弄清楚了其中的机制，也不由的感叹内核的设计者内功之深厚以及生活处处皆学问。其实，这块使用机制就是抽象了现实生 ...
分类：
其他好文 时间：
2021-03-31 12:26:35
阅读次数：
0
准备文本文件从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类：
其他好文 时间：
2021-03-30 13:26:11
阅读次数：
0
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类：
其他好文 时间：
2021-03-30 13:18:46
阅读次数：
0
