前言：尋找寫作靈感？中文期刊網(wǎng)用心挑選的證券交易的交易延遲思考，希望能為您的閱讀和創(chuàng)作帶來靈感，歡迎大家閱讀并分享。

1概述   近年來，國際、國內(nèi)資本市場獲得高速發(fā)展，帶來資本流動性與交易量的急劇增大[1]，使得降低交易系統(tǒng)延遲的需求凸現(xiàn)出來。同時，程序化交易、算法交易、高頻交易的大量使用，也造成追求更細粒度交易時間的“競賽”不斷升級。事實上，消息傳輸帶寬、延遲方面的問題已成為證券交易行業(yè)近年來發(fā)展所面臨的最大技術(shù)挑戰(zhàn)之一。   面對挑戰(zhàn)，以紐交所、德交所、加拿大Chi-X交易所、美國Bats交易所為代表的全球主要交易所已經(jīng)展開了激烈的競爭，紛紛采取措施降低交易延遲，以毫秒甚至微秒來計算證券交易延遲的“低延遲證券交易系統(tǒng)”因此成為研究熱點。   本文給出證券交易延遲的分析框架和分類方法，并針對構(gòu)建低延遲證券交易系統(tǒng)時的軟件集成和開發(fā)，研究了操作系統(tǒng)、消息中間件、軟件開發(fā)、性能測試及優(yōu)化等相關(guān)軟件關(guān)鍵技術(shù)。   2證券交易系統(tǒng)延遲分析框架   與其他金融服務應用相比，證券交易具有時間集中、數(shù)據(jù)密集的特點，對交易速度具有很高的要求。以上海證券交易所為例，2009年日均成交股票達到了100多億股，股票每秒的成交量則達到了數(shù)萬筆之多，與此同時，每秒鐘有數(shù)以萬計的訂單、確認、回報、行情等消息被產(chǎn)生。   廣義上的證券交易延遲是指由訂單等交易指令從市場參與者系統(tǒng)發(fā)出，到交易系統(tǒng)接受、處理，并返回處理結(jié)果的時間開銷。而狹義上的交易延遲是指交易指令從進入交易系統(tǒng)接入點之后到處理結(jié)果返回接入點之間的時間開銷。對于證券交易所這種集中式的交易系統(tǒng)來說，客戶方系統(tǒng)和網(wǎng)路等外部延遲因素不可控，因此低延遲證券交易系統(tǒng)的構(gòu)建主要基于后者進行討論。對于證券交易系統(tǒng)，根據(jù)經(jīng)過的處理環(huán)節(jié)，交易延遲可細分為以下5類：   (1)消息處理延遲：應用消息傳輸過程中的消息格式轉(zhuǎn)換、消息可用性機制相關(guān)的時間開銷。   (2)通信處理延遲：主機的協(xié)議棧處理開銷。   (3)調(diào)度延遲：主機提出請求到請求開始被處理的時間開銷。   (4)發(fā)送/接收延遲：主機向網(wǎng)絡發(fā)送或接收協(xié)議包的開銷。   (5)傳播延遲：在傳播介質(zhì)上傳輸?shù)臅r間開銷，主要與傳輸距離和傳輸介質(zhì)相關(guān)。   相應地，交易延遲的影響因素涵蓋了網(wǎng)絡、CPU、存儲器、網(wǎng)絡接口性能等硬件相關(guān)的因素，以及操作系統(tǒng)、中間件(主要為消息中間件)、應用軟件等軟件相關(guān)的因素。這些因素在不同層次上對證券交易延遲造成影響。其中，根據(jù)文獻[2]，對于高性能、低延遲硬件環(huán)境的系統(tǒng)來說，大部分的開銷由軟件處理所引起。因此，在構(gòu)建低延遲證券交易系統(tǒng)的時候，尤其需要對這些軟件延遲影響因素進行分析，盡量避免或降低延遲影響因素造成的影響，降低交易的延遲。   3低延遲證券交易系統(tǒng)軟件關(guān)鍵技術(shù)   3.1操作系統(tǒng)   常見的通用操作系統(tǒng)存在以下不適于低延遲處理的地方：   (1)雖然理論上操作系統(tǒng)時鐘最小可以與硬件中斷處理的時間相等，但通用操作系統(tǒng)的時間管理一般采用粗粒度的周期性時鐘中斷。盡管對操作系統(tǒng)本身而言，這避免了頻繁進行進程上下文切換，但也使調(diào)度的時鐘延遲在最壞情況下可能等同于時鐘的間隔，從而成為延遲產(chǎn)生的最大來源[3]。   例如，Linux缺省時鐘間隔粒度為10ms，因此最壞情況下內(nèi)核和用戶空間應用程序需要使用一個時間間隔來進行調(diào)度。也就是說，對于一個休眠的進程，即便喚醒條件已經(jīng)觸發(fā)，也許需要10ms的時間才能被調(diào)度執(zhí)行，這顯然難以滿足低延遲應用的要求。   (2)通用操作系統(tǒng)中大量存在的非搶占式處理會對低延遲處理造成影響。這是因為，即便操作系統(tǒng)已經(jīng)使用了細粒度的時鐘，而且硬件也及時地產(chǎn)生了一個時鐘中斷，但如果中斷被屏蔽或者內(nèi)核運行在非搶占式代碼區(qū)，也會造成內(nèi)核不能及時中斷，應用程序依然得不到及時的調(diào)度執(zhí)行，這樣的延遲可能會長達50ms~100ms[4]。   (3)線程調(diào)度策略也可能造成較大的延遲。即便操作系統(tǒng)使用了細粒度的時鐘，并且使用了搶占式方式可以及時中斷，但如果優(yōu)先權(quán)不夠，還是無法被立刻被調(diào)度執(zhí)行。實時系統(tǒng)領(lǐng)域?qū)υ搯栴}進行了較多的研究。其中較好的一類辦法是使用按比例的實時調(diào)度器[5]，它能按照比例對不同類型的應用線程進行調(diào)度，前提是所有線程都是搶占式的，而且使用粒度更細的時鐘。   (4)通用操作系統(tǒng)一般都使用虛擬內(nèi)存，因為這使得并發(fā)執(zhí)行的程序可以在運行程序時，只將運行需要的部分載入內(nèi)存，從而允許程序空間的總和可以遠大于實際可用的RAM內(nèi)存。對于時分系統(tǒng)來說，虛擬內(nèi)存不會產(chǎn)生問題。但是對于實時系統(tǒng)，這種頁面調(diào)度與交換會造成無法容忍的不確定性延遲。   為支持實時、低延遲的應用，一些面向操作系統(tǒng)的實時技術(shù)被提出。文獻[6]實現(xiàn)的實時操作系統(tǒng)利用MINIX無任何頁面調(diào)度與交換的特點，使用基于優(yōu)先權(quán)的調(diào)度器替換了MINIX操作系統(tǒng)原本基于循環(huán)的調(diào)度器。該方法對時間粒度的要求不太高的應用比較適合。QNX[7]系統(tǒng)在Unix中使用POSIX.1b實時規(guī)范，采用的技術(shù)有基于優(yōu)先權(quán)的調(diào)度算法、用戶內(nèi)存頁面鎖定、實時信號、優(yōu)化IPC和時鐘等。Vxworks繼承了POSIX.1b中的許多方法，此外，Vxworks中內(nèi)核和事務進程使用了同一地址空間，這使得事務的切換十分迅速，也避免了系統(tǒng)調(diào)用中斷。REAL/IX系統(tǒng)[8]兼容POSX.1b，通過實現(xiàn)基于信號量的資源訪問替換了傳統(tǒng)的休眠/喚醒和中斷屏蔽，這有效地降低了中斷延遲，并使得向多處理器/多微處理器機器的遷移更加容易。REAL/IX實現(xiàn)的技術(shù)包括預分配內(nèi)存和文件空間、同步和異步I/O支持、用戶進程直接處理中斷等。Rtlinux[9]系統(tǒng)通過在Linux內(nèi)核和中斷控制器硬件之間加上一層輕量級的虛擬機層來虛擬中斷控制器和時鐘，從而可以將Linux按照搶占式的方式來運行。其中操作系統(tǒng)內(nèi)核不能直接控制中斷控制器，因為虛擬機層使用宏替換了所有開/關(guān)中斷和中斷返回指令，所有的硬件中斷均被虛擬機層捕獲，然后根據(jù)中斷狀態(tài)判斷是否需要處理該中斷。#p#分頁標題#e#   由于內(nèi)核比實時應用的運行優(yōu)先權(quán)低，就不會對不被虛擬機捕獲的實時中斷造成影響。為支持實時和低延遲的應用，Redhat公司也于2007年底推出了面向?qū)崟r和高性能消息交換的RedhatMRG[10]。MRG采用了更細粒度的時鐘，以信號量代替鎖，減少了壓縮非搶占式操作的代碼，用線程處理中斷、讀-拷貝修改等各種技術(shù)來支持低延遲處理。根據(jù)Redhat在2009年峰會上公布的數(shù)據(jù)，配置為24GB內(nèi)存、2.93GHzXeon四核處理器、Infiniband4XQDR接口的MRG單機上每秒消息通信量已突破百萬級。為滿足實時、低延遲需求，微軟公司也推出了支持實時的WindowsCE操作系統(tǒng)。其他的實時操作系統(tǒng)還包括Ecospro、RTEMS、EROS、Freertos、Ecos等。   在多核處理器成為主流之后，利用多核系統(tǒng)并行運行多線程以最大化計算機的處理效率成為研究的熱點。在這種系統(tǒng)中，線程被盡可能地分派到不同的核心上執(zhí)行。同時，對于不希望被別的線程打擾運行的線程，或一些訪問特定資源(如內(nèi)存、I/O)的線程、以及一些對無需上鎖的運行時資源進行管理的線程，可以利用操作系統(tǒng)線程關(guān)聯(lián)的機制，將線程綁定到特定的處理器，加快程序的運行速度。   3.2消息中間件   消息中間件(MOM)集運行系統(tǒng)、管理工具集和開發(fā)系統(tǒng)于一身，既為上層應用系統(tǒng)提供了可靠、高效、易擴展的數(shù)據(jù)通信方式，又為網(wǎng)絡系統(tǒng)提供了實時管理和監(jiān)控的工具，具有高效、可靠、功能強、跨平臺、跨網(wǎng)絡等優(yōu)點，可用于交易系統(tǒng)內(nèi)部組件、子系統(tǒng)、以及外部系統(tǒng)之間的消息通信。   MOM常被用來屏蔽掉各種平臺及協(xié)議之間的特性，實現(xiàn)分布式計算環(huán)境中的跨平臺數(shù)據(jù)傳輸。MOM的通信模式主要包括點對點模式、/訂閱模式和消息隊列模式。消息隊列模式通過消息隊列進行通信，是程序之間一種非直接的通信模式，并不要求與對方程序建立邏輯鏈接。在消息隊列模式中，消息隊列管理器負責消息隊列的可持續(xù)化存儲、負載均衡、消息確認、優(yōu)先級、條件觸發(fā)、多路復用等功能。   點對點模式是程序之間的一種同步通信方式。在雙方程序之間需要建立邏輯鏈接，應用請求通過消息的形式直接從一個程序發(fā)送到另一個程序。點對點模式并不適合松耦合、時間獨立的應用。/訂閱模式將應用程序分為進行信息的應用程序，以及接受某個特定主題信息的應用程序。消息的應用程序只需要簡單地將消息以主題方式發(fā)送出去，由消息來負責將消息傳遞給所有訂購該主題的訂閱消息的應用程序。因此，/訂閱模式是一種異步、松耦合的通信模式。其他的通信模式還包括：請求/應答模式，扇出模式等。   MOM能夠在客戶和服務器程序之間提供同步和異步的連接、訂閱與分發(fā)，并且可以對消息進行傳送或者存儲轉(zhuǎn)發(fā)，還可以跟蹤事務，并且通過將事務存儲到磁盤上實現(xiàn)網(wǎng)絡故障時系統(tǒng)的恢復。   大多數(shù)消息中間件都為為編程人員提供了編程接口，如AMQP的一些中間件則提供了基于公開的協(xié)議消息格式的調(diào)用方式。主要的中間件產(chǎn)品包括IBMMQseries、TibcoRendezvous、基于JMS的JMQ、微軟的MSMQ、29West、RMDS、BEA的Messageq，以及Tonglink/Q、開源的AMQP、A2E-MQ、Ezbridge等。在交易接入系統(tǒng)實際應用中，可以根據(jù)需要對的消息中間件技術(shù)進行靈活地借鑒、整合，以滿足低延遲應用的要求。   3.3應用軟件延遲   應用層延遲與具體的應用以及運行時狀態(tài)緊密相關(guān)，降低這部分處理產(chǎn)生的延遲除了要靠提高硬件計算能力外，還需要提高軟件的處理效率，并根據(jù)應用的特性來調(diào)整系統(tǒng)的性能，這可包括：   (1)利用并行計算加快軟件處理速度。應用層處理的開銷主要是由消息處理所包含的錯誤檢測和恢復、數(shù)據(jù)格式轉(zhuǎn)換、消息路由、消息流控、消息的發(fā)送和接收所引起的。如前所述，多處理器/多核計算機目前已經(jīng)成為主流的技術(shù)，因此可以利用現(xiàn)有并行計算的相關(guān)技術(shù)，提高并行化程度來充分利用多處理器/多核的計算能力。Openmp是一個可用于并行系統(tǒng)和單系統(tǒng)的并行化編程模型，包括一套編譯指示語句和一個支持的函數(shù)庫。其中，編譯指示描述了程序應該以何種方式并行執(zhí)行，函數(shù)庫則是為并行化提供支持。Openmp移植方便，支持C、C++、Fortran等標準語言，可在不同硬件平臺和操作系統(tǒng)上執(zhí)行。MPI是消息傳遞函數(shù)庫的標準規(guī)范，具有上百個函數(shù)調(diào)用接口庫，可支持多系統(tǒng)環(huán)境下的并行進程之間的通信和同步，它獨立于編程語言，可直接在Fortran和C語言中可以直接對這些函數(shù)進行調(diào)用。此外，MPI也是一種跨硬件平臺和操作系統(tǒng)的標準，使用MPI進行消息傳遞的C或Fortran并行程序可不加改變地運行在IBMPC、MSWindows、Unix工作站、以及各種并行機上。Pthreads是IEEEStd1003.1c-1995定義的一個用于創(chuàng)建和操作線程的API標準。通過Pthreads的多線程技術(shù)可實現(xiàn)程序在多處理器上的并行化。與標準的Fork()多進程技術(shù)相比，線程帶來的開銷很小，內(nèi)核無需單獨復制進程的內(nèi)存空間或文件描述符等，這就節(jié)省了大量的處理器時間。線程共享相同的內(nèi)存空間，支持內(nèi)存共享無需使用繁瑣的IPC和其他復雜的通信機制。   Pthreads也是一種跨平臺易移植的并行化技術(shù)，可用于大部分的類Unix系統(tǒng)，如Freebsd、Netbsd、GNU/Linux、MacOSXandSolaris，也支持MicrosoftWindows。   (2)利用專用的軟件開發(fā)或運行平臺加快應用處理速度。   對于低延遲有要求的計算服務器或者通信服務器等應用，由于對運行速度的要求高、對計算機底層技術(shù)的操作性強，一般采用C及C++等中高級語言對軟件編制，而不使用Java、.NET等基于虛擬機的高級語言。為了支持實時及低延遲的應用。基于Java的實時性的RTSJ規(guī)范被提出來。RTSJ對Java虛擬機和Java庫進行了擴展，包括線程同步、優(yōu)先級擴展、用戶定義調(diào)度算法、異步事件處理、物理內(nèi)存直接訪問、內(nèi)存管理擴展、時鐘粒度控制等。在RTSJ中，為了處理垃圾回收導致無可預測的延遲，實時線程可以使用作用域內(nèi)存，不會被垃圾回收處理。基于RTSJ、JavaRTS、Jrate等Java實時平臺被開發(fā)出來。文獻[11]對JavaRTS和普通Java平臺進行了測試，結(jié)果顯示前者在平均響應時間、最大響應時間上都要優(yōu)于后者。基于微軟.Net框架的實時開發(fā)和應用也正為研究所關(guān)注[12]。#p#分頁標題#e#   (3)借鑒QOS的方法保證關(guān)鍵應用的處理速度。借鑒傳統(tǒng)QOS的方法，可根據(jù)對延遲要求的不同來區(qū)分處理業(yè)務數(shù)據(jù)，比如哪些可以不傳或者少傳、哪些是必須在線傳或離線傳、哪些處理邏輯是可以通過放到硬件處理來加速等。對于消息流的傳輸也可以通過業(yè)務流控制和擁塞控制措施，來增強對延遲的可控性，這不僅可保證對延遲具有較高要求的數(shù)據(jù)能夠根據(jù)特定的策略優(yōu)先使用計算和網(wǎng)絡資源，還可防止極端情況下海量突發(fā)消息流對接入系統(tǒng)和整個交易系統(tǒng)的沖擊。   (4)利用虛擬機技術(shù)可靈活利用計算設備處理能力。近年來，以Disco、Vmware、XEN[13]、KVM、Qemu、VirtualPC、UML等為代表的虛擬機技術(shù)成為學術(shù)界和工業(yè)界所共同關(guān)注的研究熱點。利用虛擬機技術(shù)不僅可以在同一硬件上虛擬出多個完整獨立、相互隔離的計算機運行環(huán)境，同時可以按需地對實際計算機資源進行動態(tài)調(diào)整。在構(gòu)建低延遲系統(tǒng)時，可以利用虛擬技術(shù)，根據(jù)不同應用層業(yè)務特點及需求的變動進行靈活的計算機軟、硬件資源調(diào)配，消除延遲瓶頸、加快處理速度。   3.4性能測試與優(yōu)化   3.4.1性能測試   性能測試一般是借助各種軟件或硬件工具對計算機的特定軟硬件組件進行速度或效率的測量，是以各種指標對系統(tǒng)性能進行評價的一個重要環(huán)節(jié)。對低延遲交易系統(tǒng)，除可以對滿足實際應用需求指標的情況進行測量，也需要結(jié)合利用多種標準或常用的測試工具來測量，以便在多個維度上進行評價和比較。   3.4.2動態(tài)調(diào)試及性能調(diào)整   傳統(tǒng)的性能測試基本上是一種靜態(tài)、粗粒度的方法，難以對相關(guān)資源在應用運行過程中的情況變化進行動態(tài)的揭示。動態(tài)跟蹤可以在應用運行時自動進行實時監(jiān)控、分析和調(diào)節(jié)，極大地方便了錯誤排查和性能瓶頸的檢測。動態(tài)跟蹤一般通過在程序代碼中嵌入觀測點，可以提供比傳統(tǒng)測試更小的監(jiān)控粒度。根據(jù)監(jiān)控對象層次可以將動態(tài)跟蹤的對象按照應用層、標準庫、操作系統(tǒng)、硬件幾大類進行劃分，具體則包括程序運行時的TCP/IP棧、對處理器、內(nèi)存、BIOS、文件系統(tǒng)、網(wǎng)絡、I/O、算法、負載均衡等。動態(tài)跟蹤是近年來是系統(tǒng)領(lǐng)域的研究熱點，具有代表性的動態(tài)跟蹤工具有類Unix平臺上面向并行計算和實時應用Dtrace，用于Linux平臺的Dprobes、Lttng，用于AIX平臺的Probevue，面向Openmp應用的Omptrace等。用于Windows平臺的動態(tài)調(diào)試方法Ntrace也在最近被提出。   此外，基于虛擬機的技術(shù)可全真地對運行過的應用進行重放，從而進行進一步的調(diào)試和性能調(diào)優(yōu)。虛擬機技術(shù)可以實現(xiàn)指令粒度的監(jiān)控和捕獲，從而實現(xiàn)與運行時完全一樣的情景的全過程重放，每次重放也完全一致。對于傳統(tǒng)測試以及動態(tài)追蹤技術(shù)難以捕獲、重現(xiàn)及描述的非確定性事件，可以通過虛擬機技術(shù)以完全相同的方式重現(xiàn)。基于虛擬機重放的動態(tài)調(diào)試方法有Retrace、Revirt、SMP-Revirt等。   3.4.3業(yè)務數(shù)據(jù)流分析及仿真   數(shù)據(jù)挖掘和機器學習技術(shù)可用于分析、識別業(yè)務數(shù)據(jù)流的模式，可作為不同種類業(yè)務數(shù)據(jù)流傳輸模式和服務質(zhì)量的基礎和依據(jù)，優(yōu)化整體處理延遲。此外，結(jié)合測試及調(diào)試技術(shù)，可挖掘時間相關(guān)的業(yè)務數(shù)據(jù)流與時間或處理開銷“熱點”之間的關(guān)系，使得延遲優(yōu)化更加動態(tài)、自適應。   利用仿真可進一步消除潛在的延遲瓶頸。如果只是對歷史數(shù)據(jù)進行分析，難以發(fā)現(xiàn)因為未來交易產(chǎn)生業(yè)務數(shù)據(jù)流影響下，會造成的性能“熱點”與延遲瓶頸。借助虛擬市場和市場仿真技術(shù)可以實現(xiàn)“機器人報單”，實現(xiàn)對未來市場行為的預測和仿真。傳統(tǒng)的基于數(shù)學方法的市場仿真技術(shù)主要通過學習歷史數(shù)據(jù)抽象出數(shù)學模型，并借此來推測未來的市場行為。但是，證券交易是個復雜系統(tǒng)，由異構(gòu)、交互、投資策略出不窮的投資者來決定。這造成市場不斷變化，單一規(guī)律或模型的可重現(xiàn)率不高。針對傳統(tǒng)數(shù)學方法進行市場仿真的不足，基于Agent、多Agent等的動態(tài)市場仿真技術(shù)[14-15]被提出。與基于數(shù)學模型的方法相比，這類方法更加強調(diào)投資者的動態(tài)和交互性，因此可以產(chǎn)生更加貼近真實市場行為的業(yè)務數(shù)據(jù)。各種市場仿真技術(shù)可作為現(xiàn)有的性能測試和優(yōu)化方法的有益補充，用于進一步發(fā)現(xiàn)和消除潛在的延遲瓶頸。   4結(jié)束語   數(shù)十年來，計算機硬件能力大致保持了每18個月就翻一番的規(guī)律，即著名的摩爾定律，然而軟件性能的提高卻遠滯后于這個速度。因此，在構(gòu)件低延遲證券交易系統(tǒng)的時候，除硬件系統(tǒng)的搭建需要滿足低延遲的需求外，軟件系統(tǒng)在設計、實現(xiàn)和集成的時候，更需要考慮避免或減少引入延遲影響因素。   本文重點討論了延遲原因、可能消除或減少延遲的現(xiàn)有技術(shù)、方法和發(fā)展方向。然而，交易接入系統(tǒng)是個多因素相互作用的復雜系統(tǒng)，各部分對交易接入延遲的影響基本上符合Amdahl定律——單獨對系統(tǒng)一個部分的改進并不一定能帶來整體性能的提升和延遲的下降。因此，打造低延遲交易系統(tǒng)要把握均衡和諧的原則，在抓住關(guān)鍵因素的同時、要從系統(tǒng)整體作考慮，細致分析各種因素的相互影響以及與周邊系統(tǒng)的相互聯(lián)系，結(jié)合實際不斷調(diào)整優(yōu)化。