一、HDFS-HA集群配置 1.环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 2.规划集群 hadoop102 hadoop103 hadoop104 NameNode NameNode JournalN ...
分类：
其他好文 时间：
2020-07-28 22:19:09
阅读次数：
77
sudo -i su 切换root用户 sudo -i su cdo 切换cdo用户 ps -ef | grep recommend 查看recommend进程pid netstat -nap | grep 查看进程监听端口号 jps 查看Java工程的进程pid pwd 查看当前工作目录 df - ...
分类：
系统相关 时间：
2020-07-28 17:02:30
阅读次数：
80
小爬最近的一个需求是：将windows系统下的打印任务批量有序给到网络打印机。 用户先从公司的OA(B/S模式)系统下 打印指定内容的表单以及表单中的附件内容。这个问题可以这样分解： 1、抓包，得到OA对应的任务接口，然后利用python requests模拟post请求，获取所有的表单的URL并进 ...
测试代码Github地址：https://github.com/zhouyanger/java_demo/tree/master/netty 五．自定义 RPC 5.1 概述 RPC（Remote Procedure Call)，即远程过程调用，它是一种通过网络从远程计算机程序 上请求服务，而不需要 ...
分类：
其他好文 时间：
2020-07-28 13:58:23
阅读次数：
69
客户端处理过程中调用Clientstub（就像调用本地方法一样），传递参数；Clientstub将参数编组为消息，然后通过系统调用向服务端发送消息；客户端本地操作系统将消息从客户端机器发送到服务端机器；服务端操作系统将接收到的数据包传递给Serverstub;Serverstub解组消息为参数；Serverstub在调用服务端的过程，过程执行结果以反方向的相同步骤响应给客户端。1.3RPC流程中需
分类：
其他好文 时间：
2020-07-28 10:22:10
阅读次数：
79
Apache Kafka 架构和相关概念 Apache Kafka 是一款开源的分布式消息引擎系统 消息引擎的同类 ActiveMQ RabbitMQ WebSphere MQ Rocket MQ JMS仅仅是一组 API 协议 消息引擎的作用 削峰填谷 缓冲上下游瞬时突发流量，使其更平滑.特别是对 ...
分类：
Web程序 时间：
2020-07-28 00:19:27
阅读次数：
86
一、简介 在每个节点（driver和executor）上运行的管理器，该接口提供用于在本地和远程将block放置和检索到各种存储（内存，磁盘和堆外）的接口。 二、源码 private[spark] class BlockManager( executorId: String, rpcEnv: Rpc ...
分类：
其他好文 时间：
2020-07-27 23:41:12
阅读次数：
73
Linux 环境下 NFS 服务安装及配置使用 3、NFS 服务安装通过上边简要的介绍，我们知道 NFS 服务需要依赖 RPC 服务，所以这里 NFS 服务端需要安装 rpcbind 和 nfs-utils，客户端只需要安装 nfs-utils 即可，由于我选用的为 CentOS 系统，所以可以使用 ...
分类：
其他好文 时间：
2020-07-27 15:59:04
阅读次数：
74
Spring提供了一致的事务管理抽象，该抽象能实现为不同的事务API提供一致的编程模型。无视我们使用jdbc、hibernate、mybatis哪种方式来操作数据，无视事务是jta事务还是jdbc事务。 事务 事务（transaction），一般是指要做的或所做的事情。在计算机术语中是指访问或者更新 ...
分类：
编程语言 时间：
2020-07-26 22:49:45
阅读次数：
80
步骤： 1、创建远程接口，定义可以被远程调用的方法； 2、实现远程接口；（extends UnicastRemoteObject） 3、服务端向RMI registry注册服务器 ；（Naming.rebind("ServiceName",service） 4、客户端找到服务端；（Naming.lo ...
分类：
其他好文 时间：
2020-07-26 00:26:04
阅读次数：
52
