我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。 ...
分类：
编程语言 时间：
2021-01-19 11:58:35
阅读次数：
0
前言 Kafka 是一款分布式消息发布和订阅系统，具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 LinkedIn 公司开发，使用 Scala 语言编写，之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特性，但是在设计和实现上是完全不同的，而且他也不是 ...
分类：
编程语言 时间：
2021-01-19 11:48:43
阅读次数：
0
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类：
其他好文 时间：
2021-01-18 11:29:36
阅读次数：
0
最近有需求了解了下前端， 发现前端开发真累 包管理： npm，yarn。 这些功能上很接近，为何要开发维护多个？ 如果是性能上的差异那完全没必要开发多个呀 代码打包： webpack 这个软件真是非常有用。但是竟然是2012年才出来？ 感觉前端的起点太低了。代码组织和编译应该是js发明的那天就考虑好 ...
分类：
其他好文 时间：
2021-01-18 11:22:24
阅读次数：
0
有序集合有两种编码方式：压缩列表 ziplist 和跳表 skiplist。 ...
分类：
其他好文 时间：
2021-01-16 12:09:10
阅读次数：
0
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR，那么调用Hadoop的maprecude来运行需要执行的job的程序； 如果设置执行引擎为spark，那么就会调用spark来执行任 ...
分类：
其他好文 时间：
2021-01-15 12:15:21
阅读次数：
0
解决Hadoop HA集群 NameNode 无法自动故障转移（切换active） 在学习 HA 自动化配置，按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类：
其他好文 时间：
2021-01-15 12:13:12
阅读次数：
0
yarn add mobile-detect -S import MobileDetect from 'mobile-detect' // alert("进来了") var userAgent = navigator.userAgent;//获取userAgent信息 console.log(use ...
分类：
移动开发 时间：
2021-01-15 11:40:37
阅读次数：
0
热身30题 1.描述一下HDFS的写流程 2.描述一下HDFS的读流程 3.详细讲解一下HDFS的体系结构 4.如果一个datanode出现宕机，恢复流程是什么样的？ 5.通常你是如何解决Haddop的NameNode宕机的，流程是什么？ 6.描述一下NameNode对元数据的管理 7.NameNo ...
分类：
其他好文 时间：
2021-01-14 10:47:06
阅读次数：
0
1. npm官网注册个账号，起一个洋气的英文名。https://www.npmjs.com/signup 2.邮箱一定要先验证激活账号 3.发布一个自己的包，进入自己的项目，执行以下命令 4.这个时候在自己的npm账号上就能看到了 5.下架一个包，需要在本地执行 npm --force unpubl ...
分类：
其他好文 时间：
2021-01-13 11:19:35
阅读次数：
0
