要说“远程对象”，必先说“远程调用”，也就是RPC。比较著名的RPC框架有，最近很火的gRPC，也就是Google开源的RPC。另外还有Facebook开源的Thrift等等……我厂内部也有很多RPC框架，琳琅满目不暇接。Java在JDK里面也支持RMI（Remote Method Invoke: ...
分类：
其他好文 时间：
2020-05-12 00:03:36
阅读次数：
104
1.前言 今天接触了使用 PRC【远程过程调用协议】的Thrift 框架 ，留下随笔心得，这是安装篇 2.下载 去apache官网下载Thrift脚本编译程序，window则下载一个exe文件，然后将文件的路径设置在系统环境变量path即可 Thrift 下载地址 ： http://archive. ...
分类：
其他好文 时间：
2020-05-11 22:08:39
阅读次数：
76
1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName("com.mysql.jdbc.Driver").newInstance() DriverManager.getConnection("jdbc:mysql://hado ...
分类：
数据库 时间：
2020-05-10 17:31:37
阅读次数：
97
在弄清楚这个问题之前，我们先了解一下什么是分布式的CAP定理。 根据百度百科的定义，CAP定理又称CAP原则，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），最多只能同时三个特性中的两个，三者不可 ...
分类：
其他好文 时间：
2020-05-10 12:35:44
阅读次数：
235
JDBC 以MySQL为例 读取 import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{SparkConf, SparkContext} /** * Author atgu ...
分类：
数据库 时间：
2020-05-09 23:21:09
阅读次数：
86
规划：nn1.hadoop nn2.hadoop s1.hadoop s2.hadoop ZK： nn1 nn2 s1journalnode: nn1 nn2 s1DataNode: nn1 nn2 s1 s2NodeManager: nn1 nn2 s1 s2NameNode: nn1 nn2Re ...
分类：
系统相关 时间：
2020-05-09 21:12:33
阅读次数：
83
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
1，Pinpoint的架构： Pinpoint的组件介绍： Pinpoint-Collector：收集各种性能数据 Pinpoint-Web：将收集到的数据显示成WEB网页形式 HBase Storage：收集到的数据存到HBase中 Pinpoint-Agent：和自己运行的应用关联起来的探针 P ...
分类：
其他好文 时间：
2020-05-09 00:26:14
阅读次数：
114
将jar包放置服务器运行 1.环境配置 + 在/etc/profile中配置 + 在hadoop env.sh配置,==在for循环后面添加== 直接在开发平台运行，连接到HBase服务端（以IDEA为例） 1.环境配置，添加hbase site.xml，将远程的hbase site.xml文件内容 ...
分类：
其他好文 时间：
2020-05-07 22:58:36
阅读次数：
83
Hbase API删除数据详解 一：代码实现如下： 二：分析和实践 ==javaAPI删除Hbase的数据有三种方式，hbase删除数据，并不是马上删掉，只是对数据打一个删除标记，真正删除数据是等到下一次major_compact（除非KEEP_DELETED_CELLS=true）。== 1) 删 ...
