在搭建Hadoop集群的时候，遇到了这样的一个报错。 就在启动HDFS调用命令： 的时候，报错： 然后输密码就一直很奇怪，反正一直运行不成功。 百度了半天，确定是core-site.xml的问题。 这段代码决定了什么namenode 的rpcaddress： 可是我左看右看都看不出哪里错，这个hos ...
分类：
其他好文 时间：
2018-10-27 00:00:26
阅读次数：
309
介绍 Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商用硬件上运行。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异很大。HDFS具有高度容错能力，旨在部署在低成本硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。HDF ...
分类：
其他好文 时间：
2018-10-26 14:22:19
阅读次数：
89
standalone 模式的高可用 部署 flink 使用zookeeper协调多个运行的jobmanager,所以要启用flink HA 你需要把高可用模式设置成 ，配置zookeeper相关参数，并且在masters配置文件中配置所有的jobmanager主机地址和web UI 端口 在一下例子 ...
分类：
其他好文 时间：
2018-10-08 23:20:34
阅读次数：
426
下面是经常使用到的，以此记录备忘 1.查看hadoop目录 2.创建目录 3.将文件上传hadoop中(也就是hdfs中)。下面是上传文件t1.txt到hadoop里 spark工作时有时会使用到 ...
分类：
其他好文 时间：
2018-10-03 00:16:10
阅读次数：
238
1 配置并启动 1.1 创建并配置hive-site.xml 在运行Spark SQL CLI中需要使用到Hive Metastore，故需要在Spark中添加其uris。具体方法是将HIVE_CONF/hive-site.xml复制到SPARK_CONF目录下，然后在该配置文件中，添加hive.m ...
分类：
数据库 时间：
2018-09-29 15:30:03
阅读次数：
513
按天划分表的模式 一天一张表如果用户登录日志 login_20180101,login_20180102 在hive中可以使用按天分区，这样查询效率高，而且比按天分表看起来更清新明了 hive> create table loginfo(userid int,logintime timestamp) ...
分类：
其他好文 时间：
2018-09-18 14:24:10
阅读次数：
171
1.对于高并发接口的问题如何的处理 2.lvs的十种轮询算法 轮叫调度（Round Robin） 加权轮询 最少连接 加权最少连接 目的地址散列 源地址散列 最短延迟 最少队列调度 3.sed 如何取匹配第二行中的字符串替换内容 cat passwd -n | sed '4a字符串' cat -n ... ...
分类：
其他好文 时间：
2018-09-15 20:53:04
阅读次数：
166
hdfs名词解释： Block: 在hdfs中文件都是采用分块的方式存储，每个block放在不同的DataNode上，block标识是一个三元组（block ID，numBytes，generationStamp），blockID是唯一的，具体分配由namenode节点设置，然后再由DataNode ...
分类：
其他好文 时间：
2018-08-30 18:28:02
阅读次数：
245
一、Hadoop组件 1、HDFS 1.1 HDFS高可用 2、Yarn 2.1 ResourceManager 重启 ...
分类：
其他好文 时间：
2018-08-30 12:23:04
阅读次数：
179
hive的数据是放到hdfs中，当我们的分区字段类型为string时，如果使用动态分区向表中插入数据，而动态分区的那个字段恰好为null或者空字符串，这样hive会为其选一个默认的分区，我们查数据时分区字段的值也是这个默认分区的名，默认名为 __HIVE_DEFAULT_PARTITION__，这个 ...
分类：
其他好文 时间：
2018-08-25 13:56:48
阅读次数：
2379
