Presto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎，可对从数 G 到数 P 的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是 Hive 的 10 倍以上。Presto 可以查询包括 Hive、Cassandra 甚至是一些商业 ...
分类：
其他好文 时间：
2019-03-29 13:07:34
阅读次数：
143
sql加载 格式 或者下面这种直接json加载 或者下面这种spark的text加载 以及rdd的加载 上述记得配置文件加入.mastrt("local")或者spark://master:7077 dataset的生成 下面是dataframe 下面是dataset $ bin/spark-she ...
分类：
数据库 时间：
2019-03-29 01:12:06
阅读次数：
368
JS 很多方法可以用R查询数据。这篇文章展示了三种最常见的方法： 运用 DBI 使用dplyr语法 使用R note book 背景 最近的一些软件包改进可以更轻松地将数据库与R一起使用。下面的查询示例演示了这些R软件包的一些功能。 DBI。该DBI规范经历了许多最近的改进。使用数据库时，应始终使用 ...
分类：
数据库 时间：
2019-03-28 15:28:09
阅读次数：
163
1. 软件的版本选择 在大数据领域，我们使用的版本一般有2个选择，一个是官方发布的版本，大多数为Apache发布的版本（一般为免费的），另一个是由其他公司对官方版本进行集成的版本（一般是要收费的）；收费版本一般选择CDH的版本，它对软件做了一些兼容性处理。如果使用CDH版本，请保证CDH版本一致，才 ...
分类：
Web程序 时间：
2019-03-28 12:28:39
阅读次数：
207
准备工作：1）把所有的软件安装在/usr/local/，源码包放在/package/，数据:自定义，日志文件:自定义 创建www所属组及用户/usr/sbin/groupadd www/usr/sbin/useradd -g www www 设置系统资源限制ulimit -SHn 65535 下载各 ...
分类：
其他好文 时间：
2019-03-27 21:02:36
阅读次数：
181
上面是问题，下面是相应的解决方法，很明显是mysql访问出现问题： grant all privileges on *.* to 'root' @'centos35' identified by '123456' ...
分类：
其他好文 时间：
2019-03-25 16:05:11
阅读次数：
112
原文:VS2017内存占用高我的环境和硬件参数 说明：本篇所提到的方法在我的机器上经过设置是能明显改善卡顿的，但可能你的VS卡顿的原因不一定是本文所提到的，可以通过排除法找到问题所在。 我的环境和硬件参数： vs 2017 pro版本 win10 x64 pro版本 CPU：i5-6500 3.2G... ...
分类：
其他好文 时间：
2019-03-25 10:34:05
阅读次数：
196
摘要 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 应用场景 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建低延时的... ...
分类：
其他好文 时间：
2019-03-23 22:23:11
阅读次数：
167
1.首先创建表 create table user( id int, name string, address string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 2.创建索引 create index ...
分类：
其他好文 时间：
2019-03-23 16:18:23
阅读次数：
229
这里我们从BeeLine.execute讲起。 接下来来到BeeLine.dispatch,这里的入参就是sql语句。方法的最后调用了Commands.sql,然后调用到了Commands.execute。 如下图所示,这里是Commands.execute中的关键逻辑。 1.调用BeeLine.c ...
分类：
其他好文 时间：
2019-03-22 18:51:56
阅读次数：
282
