标签：原来 过程 .property lock 信息 后台 man adc conf
在104上面执行，经常会发生卡到了如下一句话：
storage.BlockManagerInfo: Added broadcast_8_piece0
当再次卡顿的时候，我直接退出，然后通过yarn看后台的日志到底发生了什么，一看在这个地方频繁的爆出链接zookeeper失败；一看日志中的打出来的zookeeper的地址竟然只有127.0.0.1；
原来修改代码，直接copy官网的demo，HBase的config直接new，但是其实是应该通过
def getHBaseConfig() = {
val hbaseConfig = HBaseConfiguration.create()
hbaseConfig.set("hbase.zookeeper.property.clientPort", Config.HBase_ClientPort)
hbaseConfig.set("zookeeper.znode.parent", Config.HBase_Parent)
hbaseConfig.set("hbase.zookeeper.quorum", Config.HBase_Quorum)
hbaseConfig
}
来进行获取，来指定一些必要的信息，比如zookeeper的集群路径。
修改完毕后，问题消失。
对于可疑的过程，可以在发生的时候进行退出，然后查看聚合的日志，来分析原因。
一次spark卡顿分析
标签：原来 过程 .property lock 信息 后台 man adc conf
原文地址：http://www.cnblogs.com/xiashiwendao/p/7799368.html
