码迷,mamicode.com
首页 > 其他好文 > 详细

交易系统开发(六)——HFT高频交易

时间:2020-09-23 23:16:29      阅读:18      评论:0      收藏:0      [点我收藏+]

标签:收费   供应商   特性   主机   access   机柜   fpga   port   很多   

交易系统开发(六)——HFT高频交易

一、高频交易简介

1、高频交易简介

高频交易(High Frequency Trading)是指从极为短暂的市场变化(市场的微观特性)中寻求获利的程序化交易,如某种证券买入价和卖出价差价的微小变化,或者某只股票在不同交易所之间的微小价差。

2、高频交易的特点

美国证券交易委员会SEC给出的高频交易的特点:
(1)使用超高速的复杂计算机系统下单。
(2)使用co-location和直连交易所的数据通道。
(3)平均每次持仓时间极短。
(4)大量发送和取消委托订单。
(5)收盘时基本保持平仓(不持仓过夜)。
HFT的速度优势是指当交易所完成一笔交易,在通知所有交易者的时候,HFT因为在通信线路的上游,所以会比别人先看到交易确认信息,可以根据自己对交易确认信息的理解以及业务需求,增加或者撤掉自己的委托订单,但都是完全正常的交易操作,不存在任何恶意,并且由于交易确认信息是发送给所有人的,任何人都会对交易确认做出解读和反应,但只有在同一个时间粒度上工作的交易者之间才可能存在竞争。

3、高频交易的发展历史

1602年,阿姆斯特丹证券交易所成为世界上首个证券交易所。
17世纪,罗斯柴尔德家族使用信鸽传递消息,成功跨越国界在同一类证券价格上进行套利。
1983年,彭博(Bloomberg)获得美林证券公司(Merrill Lynch)3000万美元投资,建立了首个计算机系统,以向华尔街金融公司提供实时市场数据、金融运算和分析。
1998年,美国证券交易委员会(SEC)给予电子交易所授权,为执行速度是人工速度1000倍以上的高频交易(HFT)服务铺平了道路。
2000年,HFT交易执行已经达到数秒执行时间。
2000年,HFT在美国股票交易订单中所占比例不到10%。
2005年,HFT在美国股票交易中占35%的比例。
2010年,HFT交易执行速度已经下降到毫秒和微妙级别。
2010年,HFT在美国股票交易中占56%的比例。
2010年3月6日,价值41亿美元的电子交易引发了金融市场的闪电崩盘,道琼斯指数在单个交易日内狂跌1,000点,市值蒸发近1万亿美元。在市场走上恢复道路前,市场依然能出现5分钟暴跌600点的情况。SEC和美国商品期货交易委员会(CFTC)认为HFT公司应负主要责任。
2011年,纳米交易技术推出:一家名为Fixnetix的公司研发出微芯片,使得交易执行速度达到纳秒。
2012年,HFT交易速度达到纳秒级别。
2012年9月,初创公司Dataminr获得3000万美元投资后推出了全新服务,将社交媒体流量转变为可操作的交易信号,其所报道的商业新闻比传统新闻报道平均提前54分钟。
2012年,HFT在美国股票交易中达到约70%的比例。
2012年,很多IT公司开始在HFT技术上投资数百万美元。一个特别为HFT开发的电脑芯片使执行速度提高到74纳秒;而一个价值3亿美元、横跨大西洋的电缆线项目正在建设中,目的仅是为了将纽约和伦敦之间的交易时间减少6毫秒。
2012年8月1日,美国最大的HFT公司骑士资本(Knight Capital)因程序错误疯狂买入4亿股股票,导致巨亏4.6亿美元,次年被SEC罚款1200万美元。
2012年11月,美国联邦调查局(FBI)宣布开始将社交媒体作为证券诈骗的形式之一进行调查。
2013年4月2日,SEC和CFTC公布对上市公司通过社交媒体发布公告的限制。
2013年4月4日,彭博终端将实时Tweets整合进其经济数据服务。彭博社交速度(Social Velocit)开始追踪社交媒体上有关特定公司话题的异常情况。
2013年4月23日,美联社(Associate Press)的Twitter账号被黑后,于下午1:05发布了一条美国总统奥巴马在白宫炸弹袭击中受伤的假消息,瞬间引起华尔街的剧烈恐慌,道琼斯指数在3分钟内跳水143点。
2013年,一个坐落在纽约的服务器中心可以通过超快速微波传输服务,将数据光速传递到新泽西纳斯达克交易所。
2013年9月18日,美联储下午2时宣布暂时不会缩减对经济的支撑水平,消息震惊了金融市场。在芝加哥的部分交易者获得消息前的数毫秒内,已经约有6亿美元资产进行了转手交易。
2013年9月,意大利成为首个向HFT征税的国家,对维持时间少于0.5秒的股票交易征收0.02%的税。
2014年1月,美国高频交易公司Virtu Financial提交IPO申请,其在招股书中表示,2009年至2013年的1238各交易日,公司只有一天出现亏损,通过从每笔交易获取的微薄利润,公司每天可以获得130万到150万美元的净利润。
2014年2月,巴菲特为消除近来媒体报道旗下商业资讯供应商Bussiness Wire向高频交易公司提供收费服务可能引起的误解等负面影响,决定不允许高频交易公司获取Bussiness Wire提供的特许直接投送服务。
2014年4月,SEC、CFTC、FBI对高频交易展开调查,FBI审查交易者是否涉嫌利用未公开信息抢在机构投资者前交易。
2014年4月15日,欧洲议会通过包含一系列限制高频交易措施的《金融工具市场指令Ⅱ》,内容包括限制报价货币单位过小、强制对交易算法进行测试、要求做市商每个交易日每小时上报交易额,以及当价格波动超过一定限制时的熔断机制。
2016年6月,SEC批准IEX成为全国性股票交易所。IEX是美国首家对股票交易订单施加350微秒延迟的交易所。
2017年4月20日,高频交易公司Virtu宣布14亿美元收购骑士资本。
2018年5月,瑞士证券交易所SIX宣布将联合微波解决方案供应商12H将在欧洲推出微波交易网络。12H负责提供支持微波集哦呵波交易的技术,SIX负责管理接入微波交易网络的所有客户。SIX是世界上第一家经营和拥有欧洲欧洲微波交易网络的交易所,交易所的系统将连接苏黎世、伦敦、法兰克福、米兰。
2018年9月20日,美国商品期货交易委员会(CFTC)宣布对Geneva Trading公司(位于芝加哥的自营交易公司)处罚150万美元罚款,因公司员工进行幌骗(Spoof)交易。
2018年11月,莫斯科证券交易所宣布将向基金、算法、高频交易者提供更多分析工具。
2018年11月,澳大利亚证券投资委员会宣布,高频交易占澳大利亚股票市场交易的四分之一。
2019年3月,高频交易商Virtu宣布10亿美元收购ITG(Investment Technology Group)。
2019年11月7日,美国司法部和商品期货交易委员会(CFTC)宣布高频交易公司Tower Research Capital同意支付6749万美元了结关于其三名前交易员从事挂单欺诈的指控,罚款包括3259万美元赔偿金,1050万美元非法所得以及2440万美元民事罚款。挂单欺诈即国内频繁报撤单,在国际上称为幌骗(spoofing)的交易行为。在实际交易操作中,投机者可能利用高频交易进行频繁报单、撤单,制造幽灵流动性以吸引其它投资者上钩。

二、高频交易监管

1、高频交易监管

1998年,美国证券交易委员会(SEC)给予电子交易所授权,为执行速度是人工速度1000倍以上的高频交易(HFT)服务铺平了道路。
2010年7月,美国总统奥巴马签署多德-弗兰克(Dodd Frank)金融改革法案,正式把虚假盘列为违规的操控市场行为。
2012年10月,美国证券交易委员会(SEC)提出了一系列针对高频交易的监管方法。
2012年11月,美国联邦调查局(FBI)宣布开始将社交媒体作为证券诈骗的形式之一进行调查。
2013年5月,德国高频交易法案开始实施,是全球首部针对高频交易(含算法交易)的法案。
2014年4月,美国证监会(SEC)、美国商品期货交易委员会(CFTC)、美国联邦调查局(FBI)对高频交易展开调查,FBI审查交易者是否涉嫌利用未公开信息抢在机构投资者前交易。
2014年4月15日,欧洲议会通过包含一系列限制高频交易措施的《金融工具市场指令Ⅱ》,内容包括限制报价货币单位过小、强制对交易算法进行测试、要求做市商每个交易日每小时上报交易额,以及当价格波动超过一定限制时的熔断机制。
2015年11月,美国商品期货交易委员会推出新规,加强对高频交易员的监管力度。
2016年6月,美国证监会(SEC)批准IEX成为全国性股票交易所。IEX是美国首家对股票交易订单施加350微秒延迟的交易所。

2、高频交易监管处罚

2013年10月,美国证监会宣布,高频交易公司骑士资本因没有准备足够的安全措施以避免大量错误订单出现而违反市场准入规则(market access rule),被处以罚款1200万美元。骑士资本(Knight Capital)于2012年8月1日因程序错误疯狂买入4亿股股票,导致巨亏4.6亿美元。
2014年10月,美国证监会宣布认定Athena存在操纵市场行为,并处罚款100万美元。
2014年11月,美国商品期货交易委员会(CFTC)发布公告称,芝加哥投资公司3 Red Trading LLC及其交易员伊格尔·奥斯塔赫,涉嫌利用幌骗手段及欺诈性设备操纵市场,CFTC决定对其提起诉讼。
2015年4月,美国司法部指控英国高频交易员萨劳涉嫌以幌骗交易进行获利,造成美股2010年5月6日发生闪电崩盘。
2015年10月,中国公安部宣布对伊世顿国际贸易有限公司涉嫌操纵中国期货市场进行立案侦查,中国监管部门认为高频交易是导致2015年中国股票及期货市场坍塌的原因。
2015年11月,美国联邦法院裁定Panther Energy Trading公司的负责人米歇尔·科斯夏(Michael Coscia)的商品交易欺诈以及幌骗(spoofing)罪名成立。
2016年8月,中国证监会宣布对荷兰高频交易公司IMC的期货交易行为的审查。
2018年9月20日,美国商品期货交易委员会(CFTC)宣布对Geneva Trading公司(位于芝加哥的自营交易公司)处罚150万美元罚款,因公司员工进行幌骗(Spoof)交易。
2019年11月,美国司法部和商品期货交易委员会(CFTC)宣布高频交易公司Tower Research Capital同意支付6749万美元了结关于其三名前交易员从事挂单欺诈的指控,罚款包括3259万美元赔偿金,1050万美元非法所得以及2440万美元民事罚款。挂单欺诈即国内频繁报撤单,在国际上称为幌骗(spoofing)的交易行为。在实际交易操作中,投机者可能利用高频交易进行频繁报单、撤单,制造幽灵流动性以吸引其它投资者上钩。

三、高频交易策略

1、高频交易策略简介

西蒙斯的大奖章基金是华尔街对冲基金的一个神话,连续20年,平均每年盈利35%,如果考虑基金5%的管理费和40%的提成,其每年的收益率超过60%。收益率远远超过巴菲特和索罗斯。
西蒙斯的策略主要是利用强大的数学模型和计算机软件,在全球市场的不同产品中,进行高频交易,赚取微小的波动差,从而获取一个稳健持续的收益,属于市场中性策略,不太受牛市熊市的影响,只要有波动就能赚钱。西蒙斯的大奖章基金能在2008年金融危机全球市场暴跌的情况下获得80%的收益率。
高频交易策略主要有:流动性回扣交易(Liquidity Rebate Trading)、猎物算法交易(Predatory Algorithmic Trading)和自动做市商策略(Automated MarketMakers Trading)。
主流的高频交易策略对计算机和网络的性能要求极高,高频交易机构通常会将将自己的交易服务器安置到了离交易所计算机很近的地方,以缩短交易指令通过光缆以光速旅行的距离。
高频交易涉嫌市场公平问题,高频交易需要的设备和计算能力对中小投资者是一种不可逾越的门槛,利用高频交易获取收益的机构,可能造成市场的不公平。
在国内市场,股票市场是T+1,股指期货市场的持仓、交易频率都有很大的限制,商品期货市场可以做一些日内的短线交易,但离高频交易尚且有很大的距离。

2、做市策略

做市是指在市场上充当流动性提供者。做市商是所有人的对手盘,在任何人想买一个标的(比如股票,期货等),做市商要保证买方投资者能买到,在任何人想卖出一个标的,做市商要保证卖方投资者能卖出。
做市商策略本质上是均值回归,认为市场价格在短期内具有波动性,涨上去的价格会落下来,跌下去的价格回涨回来。做市商可以选择承担一定的风险,暂时从卖方投资者手里把股票买过来,过一段时间价格变得有利时再卖掉。由于不能保证价格一定会向着做市商有利的方向变化,因此做市商存在亏损的风险,时间跨度越大,风险也越大。做市商买过来的东西需要持有一定时间作为库存,来赚取因为波动性而产生的一点点价差。
noncontractual market maker(非合约做市商),是一种主动型做市商,通过投入大量资金聘请一流IT专家、金融专家,购买最先进的IT设备,开发高频交易算法和策略,打造极至性能的低延迟高频交易系统,但极少能赚钱。
contractual market maker(合约做市商),是一种被动型做市商,没把握一直赚钱,但交易所需要向市场提供流动性,避免在市场对价格趋势判断一致时缺乏流动性,因此,交易所会引入做市商。合约做市商会和交易所签订一个合同,承诺提供多少流动性,交易所相应会给一些报酬和福利。因此,合约做市商即使赔点钱,但算上交易所的报酬,还是能盈利。合约做市商不是很需要预测市场走势的能力,只要能做到不赔钱就可以赚交易所的酬劳。要做到不赔钱,一是做好对冲,二是发现形势不利时要能及时撤单,因此对低延迟要求较高,速度慢就会发生来不及撤单而遭受损失的情况。
做市是比较主流的HFT业务,做市商是所有交易者的对手盘,使得大部分交易都是通过做市商的参与来完成的。
市价单(market order)是不保证成交价的,指令发给交易所,交易所根据当时的情况,算出是什么价就给什么价。如果想要确保价格,请使用限价单(limit order),保证成交价格,但不保证时间。

3、套利策略

套利是指找到两种强相关性的证券,如ETF和组成ETF的股票。可以根据股票的价格使用ETF计算方式计算一个ETF的期望价格。如果计算得到的ETF期望价格和市场上ETF价格不一样,显然是市场发生了一些混乱,ETF的市场价格会回归到ETF预期价格附近。此时,投资者可以买入(卖出)ETF,卖出(买入)股票,坐等价格回归,可以稳赚不赔。
套利策略竞争非常激烈,任何人都可以参与,参与人多了市场就会少犯错误,同时套利者的利润空间也会变小。当套利赚取的净利润不足以支撑HFT的研发维护成本的时候,HFT公司就会关门。
为了减小对市场价格的冲击影响,投资者的算法交易系统一般对大额买单进行两阶段处理:首先将其分解为几十个甚至几百个小买单(一个小买单通常在100~500股之间),然后将小买单按某种设定的顺序投放到市场。

4、流动性回扣交易

为了争取更多的交易订单,美国所有的证券交易所都会为创造流动性的券商提供一定的交易费用回扣,通常为0.25美分/股。不论买单还是卖单,只要交易成功,交易所即向该流动性的原始提供券商支付回扣,同时向利用流动性进行交易的券商征收更高的费用。随着交易回扣激励机制的日益普及,诞生了越来越多的以专门获取交易回扣为赢利目的的交易策略。
假设机构投资者的心理成交价格在30~30.05 美元之间。如果交易系统中的第一个买单(如100 股)配对成功,以30美元价格成交。交易系统中第二个买单(如500 股)便跳显出来。再假设该买单也配对成功,以30美元价格成交。根据上述交易信息,专门从事流动性回扣策略的高频交易者的计算机系统即可能察觉到机构投资者其它后续30美元买单的存在,于是,回扣交易商计算机采取行动,报出价格为30.01美元的买单100股。此时,曾以30美元出售股票的券商更愿意以30.01美元的价格出售给回扣交易商。
在交易成功之后,回扣交易商立刻调整交易方向,将刚刚以30.01 美元购得的100股股票以相同价格,即30.01美元挂单卖出。由于30美元股价已不复存在,故卖单很可能被机构投资者接受。尽管回扣交易商在整个交易过程中没有赢利,但由于第二个主动卖单给市场提供了流动性,从而获得了交易所提供的每股0.25美分的回扣佣金。回扣交易商所获得的每股0.25美分的盈利是以机构投资者多付出的1.0美分为代价的。

5、猎物算法交易

在美国,超过一半的机构投资者的算法报单遵循SEC国家最佳竞价原则(National Best Bid or Offer,NBBO)。所谓NBBO,即当客户买入证券时,券商必须保证给予市场现有的最佳卖价;同样当客户卖出证券时,券商必须保证给予市场现有的最佳买价。根据NBBO原则,当一个报单由于价格更为优先从而在排序上超过另一个报单时,为了能够成交第二个报单,常常调整股价并与前者保证一致。事实上,一只股票的算法报单价格常常以极快的速度相互攀比追逐,从而使股票价格呈现出由高到低、由低到高的阶段性变动趋势。在实际交易中经常看到数量有限的100股或500股小额交易常常将股价推高或拉低十美分至几十美分的原因。
猎物算法交易策略即在对上述股价变动历史规律进行研究基础上而设计的。一般而言,猎物算法策略通过制造人为的价格来诱使机构投资者提高买入价格或降低卖出价格,从而锁定交易利润。
假设机构投资者遵循NBBO并且心理成交价格在30~30.05美元之间。猎物算法交易商用程序和技术来寻找其他投资者潜在的连续算法订单。在计算机确认价格为30美元的算法报单的存在后,猎物算法交易程序即发起***:报出价格为30.01美元的买单,从而迫使机构投资者迅速将后续买单价格调高至30.01美元;然后猎物算法交易商进一步将价格推高至30.02美元,诱使机构投资者继续追逐。
以此类推,猎物算法交易商在瞬间将价格推至机构投资者所能接受的价格上限30.05美元,并在此价格将股票卖给机构投资者。猎物算法交易商知道30.05美元的人为价格一般难以维持,从而在价格降低时进行补仓赚取利润。

Pinging试单指的是以小额的(通常是一两百股)、不断提价的(例如每次增加一分钱)、不能立即成交便立即撤销的订单(Immediate-or-Cancel Order,简称IOC订单)的策略,以便窥探到暗池或交易所的大额隐藏订单。在HFT中,Pinging试单被用来寻找隐藏的猎物。
为了发现大订单的存在,高频交易公司对每只上市股票进行100股的出价和报价。
一旦高频交易者发现存在大单,就抢先交易,扫单后(即吃掉已有的流动性)再以稍差后的价格(更高或更低的价格)提供新的流动性,向机构投资者反向买卖,从中牟利。

6、自动做市商策略

做市商的主要功能是为交易所提供交易流动性。自动做市商高频交易者通过向市场提供买卖订单来提高流动性,通常与投资者进行反向操作。自动做市商高频交易者的高频交易系统具有通过发出超级快速订单来发现其它投资者投资意向的能力,如以极快速度发出一个买单或卖单后,如果没有被迅速成交,将订单马上取消;然而如果成交,系统即捕捉到大量潜在、隐藏订单存在的信息。
假设机构投资者向其算法交易系统发出价格在30.01~30.03美元之间的系列买单。为了发现潜在订单的存在,自动做市商高频交易者的高速计算机系统开始以30.05美元的价格发出一个100股的卖单。由于价格高于投资者价格上限,因此没能引起任何反应,于是该卖单被迅速撤销。计算机又以30.04美元的价格再次探试,结果还是没能引起任何反应,于是卖单也被迅速撤销。计算机再以30.03美元的价格继续探试,结果交易成功。因此,计算机系统立即意识到一定数量价格上限为30.03美元的隐藏买单的存在。于是,运算功能强大的计算机系统随即发出30.01美元的买单,并利用其技术优势赶在机构投资者前进行成交,然后再以30.03美元的价格反卖给机构投资者。

四、高频交易基础设施

1、高频交易基础设施简介

高频交易系统端到端时延主要由网络设备转发时延、网络连线的传输时延、网卡数据收发时延、操作系统处理时延、中间件处理时延及业务处理时延等构成。为了追求极致的低延迟,需要在各个环节降低时延损耗。

2、金融专网

(1)光纤通信
光纤通信中光信号在光纤线缆中并不是直线前进而是不断折角反射前进,并且受限于光缆内部的玻璃介质,光信号实际传输度大约只有20万千米/秒;光纤铺设受限于山川河流海洋等地形的限制,使得光纤传输距离大于两地实际距离。但光纤网络的带宽比较大,仍然是长距离高速网络连接的首选。
高频交易公司通常会选择暗光纤(已经铺设但是没有投入使用的光缆),对于优质的暗光纤服务(无需与其他客户共享的连接),全球最流行的芝加哥——纽约路线在传输容量充足的情况下,标准的往返延迟是16毫秒。
2010年,美国高速网络供应商Spread Networks曾经耗资3亿美元修建了一条纽约和芝加哥两地间最直的一条光缆,为了让光缆不用绕道,挖通了横穿阿巴拉契亚山脉的光缆隧道,网络连接往返速度只需13.33毫秒比其它网络少了3毫秒。
2013年,北极海底光缆开始利用破冰队伍和特制极地冰山电缆铺设船进行铺设,耗资15亿美元。北极海底光缆共三条,其中两条名为Artic Fibre和Arctic Link的光缆将跨过加拿大北极群岛的西北通道;第三条俄罗斯跨北极海底光缆(ROTACS)将会围绕北欧北部的纳维亚半岛和俄罗斯进行铺设。通过北极海底光缆,全球两大金融交易中心英国伦敦和日本东京将几乎得以直连,距离节省近8000公里,两地间的数据传输时间也从大约0.23秒减少至0.17秒。
2018年12月7日,中国联通宣布中国联通(欧洲)运营有限公司法国分公司在法国巴黎正式开业。法国公司是中国联通在境外设立的第32个分支机构。中国联通针对法国及欧洲金融客户推出了升级版的终端安全防护方案和低时延金融专网解决方案,将中国联通骨干网络巴黎到香港的信息传送时延缩短到近160毫秒。
(2)微波通信
微波通信的传输速度约为30万千米/秒,通过建微波信号塔、用中继的方式(通常建在山顶或者高建筑物的顶端),将传输距离尽可能缩短。微波通信比光纤的延迟要低一个数量级,低延迟敏感的应用一定要选择微波线路;但微波通信的传输速度易受糟糕天气影响,刮风下雨都会导致通信受损,甚至会直接故障,因此需要有备用光纤线路;微波通信的带宽较小,如果是跨交易所的业务,不可能通过微波通信转移市场数据,只能用来收发下单指令,因此网络服务商有一定空间做一点数据压缩和抽样,可以在微波线路上提供一个微缩版的市场数据。
光纤、海底光缆通信方式适合承载大量数据的交易,比如上市公司发布数兆大小的财报文件。
2014年,高频交易公司Jump Trading在全球最大期货交易所芝加哥商品交易所(CME)数据中心对面,买了一块12万平方米的空地架设微波通信基站,用于第一时间把交易请求传到CME。
2018年5月,瑞士证券交易所SIX宣布将联合微波解决方案供应商12H将在欧洲推出微波交易网络。12H负责提供支持微波集哦呵波交易的技术,SIX负责管理接入微波交易网络的所有客户。SIX是世界上第一家经营和拥有欧洲欧洲微波交易网络的交易所,交易所的系统将连接苏黎世、伦敦、法兰克福、米兰。
(3)激光通信
激光通信兼顾光纤通信和微波通信的优点,激光通信的传输速度约为30万千米/秒,能够提供2Gbps 带宽,是微波通信网络的数百倍并且红外激光基本不受天气影响,在雨天和大雾中能正常传输数据。但激光通信中激光只能够直线传输,容易发生传输偏差,因此需要将激光发射器装在高楼楼顶才能增加传输距离,但高层建筑会在风的影响下小幅度来回摆动,难度在于如何在信号传输过程中让激光射入锅盖大小的接收板,并且在整个传输过程中保持如此。
Anova公司在位于纽约曼哈顿(纽交所)和新泽西Carteret(纳斯达克交易所)之间的楼宇顶上安装有激光通信网络的基站,能将发丝粗细的红外激光射到10千米以外的地方,由于两大交易所数据中心之间的直线距离大约是55千米,Anova将在中途修建6 至7个激光基站,为交易数据建立一条最直接的通道,以取代光纤和微波无线网络。

3、交易所机房托管

为了追求更低延迟,高频交易公司通常会把服务器放到交易所撮合引擎服务器所在的数据中心里(co-location)。
交易所数据中心会确保使用Co-location的客户无论将机器托管在交易所内的任何位置,都是通过相同长度的电缆传输、相同的延迟时间。
国内交易所都有自己的服务器托管中心,如上交所外高桥上证通托管机房、深交所南方中心深圳通托管机房、上交所金桥托管机房。只有证券、期货公司可以向交易所租用托管机房机柜。证券、期货公司通过提供机柜、购买设备、购买或租用软件为其客户提供服务。高端程序化交易团队通常自购设备或指定硬件配置由证券、期货公司采购,经证券、期货公司同意,放到租用的机柜内进行交易。
HFT公司或自营交易团队可向证券公司或期货公司申请机柜和网络资源,将交易主机与交易所的交易主机在物理距离上尽可能近地放置在一起。
交易所提供的托管机房受制于场地及电力所限,一般资源容量有限,常常供不应求。

4、网络接入

交易所co-location服务一般提供的网络连接是1G、10G以太网和40G以太网连接。通常,更高的带宽对延迟会有直接的影响,特别是在交易环境中容易出现单个消息相对大、消息速率相对高、网络有拥塞和突发流量等情况下,高带宽能够保证系统的延迟低而且稳定。对于co-location用户,40G的网络连接相对于10G的网络连接,能使往返延迟(roundtrip latency)减少7微秒,对于高频交易是相当可观的。
高带宽不但能带来更低的延迟,而且还能保证延迟的稳定性。高带宽能够保证在有大量数据需要传输的时候,数据等待传输到网线的时间更短,因为单位时间能够被传输的比特数更多,保证了即使在网络有突发流量的情况下,也能获得尽量低的延迟。对于高频交易,数据最高的时候往往也是市场动荡最多的时候,也正是交易盈利机会最多的时候。

5、网络设备

网络设备的性能会对高频交易系统的整体延迟产生直接影响,网络设备主要包括路由器、交换机以及服务器上的I/O接口卡或网卡,而通常对高频交易系统延迟产生较直接影响的是交换机和网卡。
(1)交换机
目前比较常规的10G以太网交换机,比如Dell,Juniper, Cisco等公司的交换机产品,能提供的端口到端口延迟约为700纳秒;专注低延迟的交换机产品,如Arista 和Mellanox公司的交换机,可以提供低于500纳秒的延迟,其中Mellanox号称能提供250纳秒的延迟;对极端的应用场景,存在更低延迟的交换机产品,比如Zeptonics公司的交换机能支持到130纳秒的延迟性能,其一层交换机(Layer 1 switch)甚至做到5纳秒的延迟,但只能支持某些特定应用场景,如基于交易网络端口和端口之间的通讯不多。
高频交易系统不需要复杂的交换功能,主要以通过一个特定端口连到交易所的通讯为主,因此,支持低延迟交换机。
(2)网卡
服务器网卡对于系统的延迟性能也非常重要,目前一些比较高端的1G和10G以太网卡集成了TOE(TCP Offload Enigne)技术,由于在网络中的数据到达服务器后,服务器端的操作系统(OS)需要对数据进行TCP/IP协议解析,数据解析过程不仅耗时,而且会占用大量的主机CPU资源(处理1Gbps的TCP/IP协议数据需要占用大约1GHz的CPU),在网卡上支持协议解析后,一方面可以利用特定硬件的处理能力获得更低的延迟,另一方面可以节省CPU资源用于处理运行于主机上的高频交易程序。高端的网络接口卡通常能够支持RoCE,FCoE等技术,公司包括Solarflare, Mellanox, Chelsio等。
专用网卡除了自身硬件的设计外,需要切换掉系统自带的kernel space TCP/IP stack,避免昂贵的context switching。
FPGA(ield Programmable Gate Array,现场可编程门阵列)是一种硬件可重构的体系结构,FPGA同时拥有流水线并行和数据并行,具有比CPU和GPU更低的延迟和更高的吞吐量,因此可以使用FPGA做专用网络设备以及一些额外的逻辑处理,进一步解放CPU。
除了以太网,另外一种网络结构InfiniBand以其更高速,更低延迟的特性也在交易系统中越来越流行。更高速和更低延迟并不是绝对的,而是在某些特定的应用中才能体现出来,取决于InfiniBand架构本身,比如,InfiniBand的帧是基于16bit的本地地址,而以太网是用48bit的全球唯一的物理地址,InfiniBand本质是一个I/O技术,而不是网络技术。InfiniBand的另一个优势是在可扩展性上,对于某些需要多个节点之间频繁进行消息传递的应用,比如超级计算中经常用到的消息传递接口(MPI)技术,InfiniBand相对于以太网能够提高整体的吞吐量,减少延迟,并且保证随节点增加系统整体处理能力的有效扩展。但InfiniBan缺点在于价格相对昂贵,需要特殊的硬件,与以太网设备存在兼容性问题等,而且目前为止也少有交易所提供InfiniBand的连接,所以InfiniBand网卡通常用在高频交易公司的内部网络。
目前,以太网也在引入一些InfiniBand支持的功能,如RDMA(远程直接内存访问)技术能够使集群中的节点之间通过网络设备对对方机器的内存进行直接访问,既减少延迟,也节省了节点上的CPU资源,而RoCE(RDMA over Converged Ethernet)技术实现了基于以太网的RDMA(远程直接内存访问),将InfiniBand拥有的低延迟也赋予了以太网。
目前InfiniBand与以太网技术比,在延迟和吞吐量上,还是有优势的。由于兼容性和成本的原因,许多公司采取混合模式,把最需要速度的部分网络用40G的Infiniband 或以太网,而其它部分网络用一般的10G。

6、高频交易系统

高频交易系统的设计和开发是一个非常复杂的工程,而且对于准确性和稳定性要求极高,不够精密就上线后会出现各种问题,根本无法使用。
高频交易系统的精髓在于把单机的软硬件系统的性能发挥到极致,而不强调高负载和延展性。
高频交易系统的核心业务逻辑处理的核心是延时。在计算机内部分两个部分,一是core的使用率,比如irq balance,cpuisol,affinity等,主要是要尽可能的独占core;另一个是cache invalidation,从L1/L2/L3cache到TLB,内存布局都要仔细考虑。
交易策略程序作为操作系统的用户程序存在。行情数据主要通过UDP与TCP两种方式进行网络传输。行情数据到达网卡后,通过PCI Express 或HyperPort接口,再传到操作系统的内核(OS Kernel)进行TCP/IP 协议栈解析,再把解析后的数据内容通过socket 接口,推送到用户程序即策略中。然后用户程序再对数据按照规定的格式进行解析,然后应用在策略逻辑中,进行分析,下单等动作。
整个过程的处理时间数量级在两位数微秒左右。在整个行情数据内部传递与解析的过程中,能够优化的主要是TCP/IP协议栈的解析和业务数据的解析。由于策略逻辑的多样性,对策略逻辑的普遍加速的可能性不大。TCP/IP协议栈的解析(TOE,TCP/IP offload engine)和业务数据的解析主要由专用的网卡来做。目前有两种方法来实现,一种是在网卡附带的CPU上进行处理(IBM有一款网卡附带CELL芯片,功能很强大);另一种是网卡+FPGA的形式,用FPGA(现场可编辑门阵列)来做TCP/IP的解析和业务数据的解析。FPGA因为全部是硬件,速度会更快些。通过硬件加速的方法,可以达到个位数微秒(us)的延迟,并且能够做到无论在数据多少都达到固定的性能。

交易系统开发(六)——HFT高频交易

标签:收费   供应商   特性   主机   access   机柜   fpga   port   很多   

原文地址:https://blog.51cto.com/9291927/2536037

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!