Zookeeper环境搭建 下载 参考文档 单机环境 创建配置文件 conf/zoo.cfg windows启动 zkServer.cmd Linux启动 zkServer.sh start Bugs ...
分类：
其他好文 时间：
2019-09-22 17:54:18
阅读次数：
125
最近接触了下组内常用的一些日志分析及报警工具，发现现在一些开源社区和商业公司的产品真的很好用，想要独立搭建一个完善的后端服务，真的已经很容易了； 1. 日志收集与分析：graylog2 + hive/presto 2. 服务监控：sentry 3. Rpc: thrift+consul 如今的开发环 ...
分类：
其他好文 时间：
2019-09-22 12:59:42
阅读次数：
93
最近为了调试hive试了很多hive参数，对于hive任务优化，减少使用内存有一些自己的见解，在此做一个记录。 一：Hive是什么 Hive是面向大数据的数据仓库，是一种将SQL转换为mapreduce的工具。 Hive是面向大数据的数据仓库，是一种将SQL转换为mapreduce的工具。 二：ma ...
分类：
其他好文 时间：
2019-09-21 23:44:00
阅读次数：
135
Hadoop生态圈 摘要：一：基本构成：HDFS（Hadoop分布式文件系统）；Mapreduce（分布式计算框架）；HBASE（分布式列存数据库）； Zookeeper（分布式协作服务）；HIVE（数据仓库）；Pig(ad-hoc脚本）等。 二：详细了解一下其特性： Hadoop是一个由Apach ...
分类：
其他好文 时间：
2019-09-21 23:05:58
阅读次数：
119
Hive调优-萌贝树母婴无骗子，多数的 Hadoop Job 是需要 Hadoop 提供的完整的可扩展性来处理大数据集的，不过，有时 Hive 的输入数据量是非常小的
分类：
其他好文 时间：
2019-09-21 19:30:36
阅读次数：
86
hadoop简介 hadoop是基于Java语言开发的，具有很好的跨平台性，并且可以部署在廉价的计算机群众，hadoop的核心是分布式文件系统HDFS（hadoop distributed file system）和mapreduce,HDFS具有较高的读写速度和和好的容错性和可伸缩性并且具有大规模 ...
分类：
其他好文 时间：
2019-09-21 18:47:50
阅读次数：
87
1.上传tar包2.解压 3.配置mysql metastore（切换到root用户） 配置HIVE_HOME环境变量 修改mysql的密码 （注意：删除匿名用户，允许用户远程连接） 登陆mysql mysql -u root -p 4.配置hive 修改hive-site.xml（删除所有内容，只 ...
分类：
其他好文 时间：
2019-09-20 21:04:05
阅读次数：
93
https://www.cnblogs.com/yeahgis/archive/2011/11/12/2246341.html ASP.NET与非托管DLL的那些事儿 环境VS2010 语言：ISO C++、C++\CLI和C# 多语言集成编程 最近在用ASP.NET（C#）开发一个WMS服务器的原 ...
分类：
Web程序 时间：
2019-09-20 11:43:53
阅读次数：
128
引言曾经认为Hive自带的函数应该可以cover住我的日常所需，心想那些需要使用自定义函数的场景是不是太奇葩，谁知命运弄人，自己还是碰上了。需求很简单，我需要模拟Oracle中的SYS_GUID()函数，生成一个32位的字母数字随机串。开发环境：Eclipse+Maven，引入Hive0.13.1的 ...
分类：
其他好文 时间：
2019-09-19 14:20:35
阅读次数：
96
