linkis： links/conf/conf.sh deployUser=hadoop ### The install home path of LinkisLINKIS_INSTALL_HOME=/home/hadoop/Install/Linkis #Must provided WORKSPA ...
分类：
Web程序 时间：
2020-05-16 17:13:40
阅读次数：
123
基础概念 Kafka最初是由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，可以实时的处理大量数据以满足各种需求场景：基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎、web/nginx日志、访问日志、消息服 ...
分类：
其他好文 时间：
2020-05-16 00:14:31
阅读次数：
73
配置本地hadoop开发环境
配置在Eclipse环境中管理hdfs目录 ...
分类：
其他好文 时间：
2020-05-15 14:07:05
阅读次数：
81
第一步，需要在CDH上安装Spark 2，由于我的CDH是5.15.x，只能通过CDS的方式安装。官方指导在https://docs.cloudera.com/documentation/spark2/latest/topics/spark2.html。 总结下，需要手动下载cds文件上传到CM服务 ...
分类：
其他好文 时间：
2020-05-15 13:51:05
阅读次数：
77
原因： 1.防火墙没关闭（对应端口没有打开） 2.hadoop集群没有启动成功 3.hadoop集群处于安全模式 4.网络问题 解决方案： 1.关闭防火墙 2.jps查看进程，出现下面几个进程则启动成功。 hdfs三个进程中，datanode和namenode只有一个启动成功，可能是namenode ...
分类：
编程语言 时间：
2020-05-15 13:11:20
阅读次数：
271
出现问题的原因是在执行python xxx.py 时系统找不到相关资源 Windows中： 由于我的Windows中没有装Spark，所以直接安装了Python的第三方包，pycharm中直接引用就行了 pip install pyspark Linux中： 我的是Ubuntu18.04，自己在里面 ...
分类：
其他好文 时间：
2020-05-15 09:58:55
阅读次数：
408
启动hive之后执行查询语句报错如下： 分析得知：hive的数据库MySQL在安装的时候没有初始化 解决办法：初始化数据库 schematool dbType mysql initSchema 出现下面这个界面则表示初始化成功 验证： 原文链接：https://blog.csdn.net/weixi ...
分类：
编程语言 时间：
2020-05-15 09:42:18
阅读次数：
74
问题发现： 经巡检，服务器中一台节点的hadoop磁盘占用过多，是其它节点的三倍，导致数据严重不均衡。 解决过程： 两种命令： hadoop的bin目录下，运行命令start-balancer.sh -threshold 5 hdfs balancer -threshold 5 两者的执行效果是一样 ...
分类：
其他好文 时间：
2020-05-15 00:40:42
阅读次数：
149
概述： IoTDB 是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点，完美对接 Hadoop 与 Spark 生态， 适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 安装环境： 1，安装前需要保证设备上配有JDK>=1.8的运行环境，并 ...
分类：
数据库 时间：
2020-05-14 19:32:44
阅读次数：
540
在Linux文件系统中，我们可以使用下面shell脚本判断某个文件是否存在： # 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then echo "文件不存在!" fi 但是我们想判断hdfs上某个文件是否存在咋办呢？Hadoop内置提供了判断某个文件是否存在的命 ...
分类：
系统相关 时间：
2020-05-14 11:33:50
阅读次数：
70
