码迷,mamicode.com
首页 > 其他好文 > 详细

内外网数据交互方案

时间:2020-06-02 11:30:33      阅读:246      评论:0      收藏:0      [点我收藏+]

标签:pass   inux   完成   部署   port   搭建   问题   前置   指定端口   

最近在做数据交互,涉及外网和内网的数据交互问题。因为数据的保密性,安全性,无法建立直达通道。提供了互联网前置机,内网前置机,开放指定端口用于数据互通,但数据库等默认,相似端口不允许开放。

数据的来源比较丰富,也有实时,离线数据等待互通。于是我们需要在前置机搭建数据抽取服务。考虑点如下:

1.数据源可能是myql,avro,接口,文本等等,分布在不同的服务器上,前置机只开放指定的端口用于数据抽取。

那么我们需要一台互联网服务器用于汇聚数据,与互联网前置机进行数据传输。考虑数据有实时和离线两种,我们可以部署flume+kafka用于实时数据抽取,部署datax用于离线数据抽取。

2.建立数据通道。

linux可以使用rinetd完成端口转发,window可以使用passport。实现端口的串联。

3.在编写flume的conf,datax的json,来完成数据抽取。

注:这种方法有较大的延时性,数据通道也不稳定。当然这种场景也很少出现。

 

内外网数据交互方案

标签:pass   inux   完成   部署   port   搭建   问题   前置   指定端口   

原文地址:https://www.cnblogs.com/xiaodong520/p/12487425.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!