执行报错如下： 20/07/15 14:02:34 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 20/07/ ...
分类：
数据库 时间：
2020-07-15 15:29:36
阅读次数：
88
hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面打开文件数达到上限，系统一般默认数量是1024，（用ulimit -a可以看到）vi /etc/security/limits.conf 添加 ：sof ...
分类：
其他好文 时间：
2020-07-15 12:46:25
阅读次数：
86
商业智能的应用在国外已广为普及，并且开始不断应用大数据和云技术。而国内，商业智能BI工具在这几年才开始慢慢被接受，企业开始有意识地建立一体化数据分析平台，为经营决策提供分析。近几年，商业智能的几大趋势：对于大数据更好的支持，对海量数据块的快速响应，各大商业智能软件基本都支持了hadoop作为数据库；可视化分析的重要性，也日益明显，比如国内的亿信华辰跟国外的Tableau，QLK，PowerBI都有
分类：
其他好文 时间：
2020-07-14 20:00:26
阅读次数：
165
一、系统相关 cat /etc/redhat-release 查看系统版本uname -a 查看系统位数su - hadoop 切换系统账户source /etc/profile 重装配置文件 二、防火墙 firewall-cmd --add-port=3306/tcp 开放3306端口 https ...
分类：
系统相关 时间：
2020-07-14 18:00:46
阅读次数：
79
这个事情的背景是公司的Hadoop生态集群都是原生的，不是基于CDH的，所以基本所有的东西都需要自己手动管理，比如集群修改一些属性，然后批量分发重启或者动态生效之类的。这次也算不上事故，因为没对生产环境造成什么影响，但是差一点就变成事故，写出来分享一下。 事情简单概括就是，60+台hadoop的集群 ...
分类：
其他好文 时间：
2020-07-14 13:10:45
阅读次数：
72
1.Hadoop （1）安装配置 基础只需要配置core-site.xml和hdfs-site.xml就行。 参考： https://www.jianshu.com/p/aa8cfaa26790【这个教程的core-site.xml和hdfs-site.xml的内容弄反了，交换一下就行】 http: ...
今天给大家分享第四范式在推荐系统大规模特征工程与Spark基于LLVM优化方面的实践，主要包括以下四个主题。大规模推荐系统特征工程介绍SparkSQL与FESQL架构设计基于LLVM的Spark性能优化推荐系统与Spark优化总结大规模推荐系统特征工程介绍推荐系统在新闻推荐、搜索引擎、广告投放以及最新很火的短视频App中都有非常广阔的应用，可以说绝大部分互联网企业和传统企业都可以通过推荐系统来提升
分类：
数据库 时间：
2020-07-14 09:27:20
阅读次数：
72
Spark on K8S 的几种模式 Standalone：在 K8S 启动一个长期运行的集群，所有 Job 都通过 spark-submit 向这个集群提交 Kubernetes Native：通过 spark-submit 直接向 K8S 的 API Server 提交，申请到资源后启动 Pod ...
分类：
Web程序 时间：
2020-07-14 09:25:00
阅读次数：
89
首先创建好项目工程，如下图：完善pom.xml文件，具体为：（依据自己的spark版本做修改）<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
分类：
其他好文 时间：
2020-07-14 09:21:08
阅读次数：
78
Spark 源码解读（一）SparkContext的初始化之TaskScheduler的启动 TaskScheduler创建完成之后，需要调用start()方法才可以生效，SparkContext的代码如下： _taskScheduler.start() TaskScheduler在启动的时候，实际 ...
分类：
其他好文 时间：
2020-07-14 00:25:58
阅读次数：
81
