前言：尋找寫作靈感？中文期刊網(wǎng)用心挑選的證券交易接口數(shù)據(jù)交換分析，希望能為您的閱讀和創(chuàng)作帶來靈感，歡迎大家閱讀并分享。

1證券交易接口數(shù)據(jù)是指行情、訂單、成交、參考數(shù)據(jù)、盤后數(shù)據(jù)等的證券交易相關(guān)信息，它具有產(chǎn)生量大、對實(shí)時性傳輸要求高的特點(diǎn)．為保證交易信息高可用、可審計，以及處理上的方便，諸如衛(wèi)星行情等的一些證券交易接口往往采用DBF、XML等格式的文件作為數(shù)據(jù)交換的格式．但這類文件的信息冗余度較高，影響了傳輸帶寬的有效利用率和傳輸速度．此外，根據(jù)不同的傳輸協(xié)議，接口文件往往需要分成分段來進(jìn)行傳輸，接收方必須收齊所有分段才能獲得所含的記錄信息，若有分段丟失則會引起整個文件的重傳，這不僅造成了帶寬的浪費(fèi)，也影響了信息交換的速度．盡管可以通過使用ZIP等通用的壓縮工具對接口文件進(jìn)行壓縮來解決信息冗余度高的缺陷，但文件分段拼接等待和丟失重傳影響傳輸速度的問題仍然無法解決．   FAST(FIXAdaptedforStreaming，適流FIX)［1］是一種面向消息數(shù)據(jù)流的二進(jìn)制編碼方法，它是2005年由全球主要交易所和金融企業(yè)聯(lián)盟組織FPL所提出的、針對證券交易業(yè)通行的金融信息消息協(xié)議FIX［2］的一套壓縮和傳輸方法．   FAST針對FIX消息的格式設(shè)計，在將FIX消息流序列化為字節(jié)流的過程中利用消息數(shù)據(jù)間的邏輯關(guān)系來對FIX消息所含的數(shù)據(jù)字段進(jìn)行編碼，可在FIX消息的基礎(chǔ)上獲得高達(dá)70-80%的壓縮率．FAST協(xié)議對消息的處理開銷很小，一般在數(shù)個微秒內(nèi)即可完成對一條消息的編、解碼．此外，F(xiàn)AST還具有簡單、易實(shí)現(xiàn)的優(yōu)點(diǎn)，其最新的擴(kuò)展版本［3］FAST1．2于2009年被提出．   為解決前述現(xiàn)有文件類證券交易接口的問題，本文提出基于擴(kuò)展FAST的文件類證券交易數(shù)據(jù)高速交換方法-Fast-File．文件類證券交易接口數(shù)據(jù)一般由相同格式的多行記錄構(gòu)成，F(xiàn)astFile將接口文件中的每行記錄映射為一條消息，使用FAST對每條記錄所含的字段逐一進(jìn)行編解碼，這樣可通過利用記錄之間數(shù)據(jù)的邏輯聯(lián)系來降低數(shù)據(jù)冗余度．由于Fast-File的編碼粒度是基于一條記錄的，因此即便只是收到編碼文件的分段，也可對其進(jìn)行FAST的解碼，從而恢復(fù)出所含部分的記錄，這可使已收到分段的記錄能被快速地傳輸．本文設(shè)計并實(shí)現(xiàn)了擴(kuò)展FAST和FastFile方法，通過實(shí)驗(yàn)與多種常用的接口文件格式進(jìn)行了測試比較，并與幾種通用的壓縮工具進(jìn)行了壓縮率比較．實(shí)驗(yàn)結(jié)果表明FastFile除按照每行記錄為單位進(jìn)行編解碼，可降低重傳外，可大大降低現(xiàn)有文件接口的數(shù)據(jù)大小:比DBF小約70%、比XML小95%．即使與通用的壓縮算法相比，F(xiàn)astFile在數(shù)據(jù)壓縮率上也相當(dāng)接近，如果FastFile疊加使用通用壓縮方法則可以達(dá)到更高的壓縮率．實(shí)驗(yàn)結(jié)果驗(yàn)證了FastFile方法的可行性與有效性．   2證券交易接口系統(tǒng)及接口數(shù)據(jù)   證券交易接口系統(tǒng)主要負(fù)責(zé)通過衛(wèi)星和地面網(wǎng)絡(luò)等各種通信介質(zhì)在電子交易主機(jī)，市場參與者、登記結(jié)算單位、外部交易所等外部系統(tǒng)，以及監(jiān)察、行情分發(fā)等周邊系統(tǒng)之間進(jìn)行證券交易服務(wù)過程中交易相關(guān)信息(也即接口數(shù)據(jù))的交換．   對于證券交易所這種集中化的交易方式，電子化交易的發(fā)生時間集中、數(shù)據(jù)密集，在每一交易日內(nèi)交易所往往能產(chǎn)生數(shù)十吉字節(jié)的大量接口數(shù)據(jù)．據(jù)估計，全球股票和期權(quán)市場日均產(chǎn)生的消息量將從2007年的七十多億條猛增至2010年的一千兩百多億條［4］．考慮到這些數(shù)據(jù)將被進(jìn)一步分發(fā)到成百上千的內(nèi)部和外部用戶，帶寬占用的總量十分地龐大．   眾所周知，證券交易接口數(shù)據(jù)的交換與一般信息通信系統(tǒng)的信息交換不同，對速度具有極高的要求．近年來，國際、國內(nèi)資本市場獲得高速發(fā)展，資本流動性急劇增大，隨之帶來與日俱增的交易量、高頻交易的大量使用，都使得降低交易延遲的需求凸現(xiàn)出來．事實(shí)上，交易指令延遲時間及運(yùn)行性能的問題已成為各證券交易所目前最大的技術(shù)挑戰(zhàn)［5］．為此，全球交易所紛紛采取措施降低交易延遲．其中，納斯達(dá)克OMX在2009年以250微秒的交易延遲成為世界上最快的交易所．   由于市場發(fā)展水平和技術(shù)應(yīng)用環(huán)境不同，各交易所采用了不同的接口實(shí)現(xiàn)方式，這包括:文件接口、數(shù)據(jù)庫接口、API程序接口、消息協(xié)議接口等．典型的證券交易接口包括開放協(xié)議FIX、Euronext的MMTP、Xetra的VALUES、納斯達(dá)克的CTCI、NWII、以及QIX等［6］．其中，為保證接口數(shù)據(jù)的高可用、和/或業(yè)務(wù)過程的可審計，某些證券交易接口數(shù)據(jù)往往需要以文件的形式"落地"到外存中進(jìn)行可持久性存儲后再進(jìn)行發(fā)送．同時，為處理上的方便，一般采用TXT、DBF、XML等標(biāo)準(zhǔn)格式的文件來進(jìn)行存儲．以我國的上海證券交易所和深圳證券交易所為例，各自公開的數(shù)十種市場參與者接口均使用了基于數(shù)據(jù)庫文件的DBF接口．   然而，DBF、XML、文本等文件格式本身沒有考慮對于存儲空間的節(jié)省，如果若按照這類格式來表示數(shù)據(jù)，信息的冗余度比較高，在傳輸時這會導(dǎo)致帶寬的有效利用率不高，從而造成浪費(fèi)，這對于我國帶寬資源受限且發(fā)展欠均衡的證券市場網(wǎng)絡(luò)技術(shù)條件來說尤為不佳．   其次，在證券交易接口數(shù)據(jù)傳輸?shù)倪^程中，由于傳輸協(xié)議的限制，接口文件往往會被分割成多個分段進(jìn)行傳輸．譬如在基于UDP傳輸協(xié)議的網(wǎng)絡(luò)條件下，往往采用64KB大小來分段文件，在因特網(wǎng)上可能按4k、8k等較小的粒度來進(jìn)行文件分段，而在局域網(wǎng)上則可能以更大的尺寸來進(jìn)行分段．但是，按照現(xiàn)有的接口文件的數(shù)據(jù)交換模式，接收方必須要等到收齊所有文件分段之后，才能進(jìn)行拼裝和驗(yàn)證，從而獲得所含的記錄信息，這首先會引起等待的時間開銷．其次，如果在傳輸中文件分段丟失，則依據(jù)具體實(shí)現(xiàn)，會引起對丟失分段甚至所有分段的重傳，由這種重傳所造成的延遲則可能更大，進(jìn)一步加重了文件分段帶來的延遲問題．   對現(xiàn)有方法冗余度高的一種可能的改進(jìn)方法如圖2．該方法借助ZIP、RAR、ARJ等無損的通用壓縮工具來進(jìn)行文件壓縮，降低文件接口數(shù)據(jù)冗余度，但這仍然無法解決由文件分段傳輸所帶來的延遲問題．   3基于擴(kuò)展FAST的文件接口數(shù)據(jù)交換方法   FAST是FPL在1995年提出的、針對FIX消息流的一種壓縮和傳輸方法．FIX消息流消息一般由消息頭、消息體和消息尾三部分組成，其中每部分由"tag=value"加分隔符的基本字段格式組成，其中消息尾為兩個字節(jié)的驗(yàn)證碼．FAST針對FIX消息，在將FIX消息流序列化為字節(jié)流的過程中，通過"字段編碼"和"傳輸編碼"的處理來利用消息數(shù)據(jù)間的邏輯關(guān)系，將字段數(shù)據(jù)編碼為二進(jìn)制字節(jié)流，通過這樣的處理可以大大降低字段所含數(shù)據(jù)的冗余度．譬如對于序號類別的字段來說，可以使用"遞增"的規(guī)律來總結(jié)字段數(shù)據(jù)的邏輯聯(lián)系，這樣就無需在傳輸每條消息時都對該字段數(shù)據(jù)內(nèi)容進(jìn)行發(fā)送．#p#分頁標(biāo)題#e#   又如，對于ASCII文本表示的整數(shù)類型字段，F(xiàn)AST會按照整數(shù)的二進(jìn)制表達(dá)形式來進(jìn)行傳輸?shù)木幋a，這樣可以提高單位數(shù)據(jù)的有效信息量．   文件類證券交易接口數(shù)據(jù)具有結(jié)構(gòu)化高、數(shù)據(jù)規(guī)律性強(qiáng)的特點(diǎn)，通常由幾十到數(shù)百字節(jié)的格式相同或相似的多行記錄構(gòu)成．譬如行情接口文件，其所包括的每條記錄包含了證券代碼、簡稱、今開盤價、昨收盤價、買/賣五檔價格、最新成交價格等幾十個字段．FastFile將接口數(shù)據(jù)文件中的每行記錄映射為一條消息，并為格式相同的記錄編制FAST模版，這樣可以按照處理FIX消息的方式來處理文件中的記錄．對證券交易等實(shí)時性要求較強(qiáng)的應(yīng)用，應(yīng)盡力而為地加快信息的傳輸速度，即使丟失分段的數(shù)據(jù)必須重傳才能獲得，對已收到的記錄也需盡快傳送．由于FastFile的編碼粒度是基于一條記錄的，而且類似于FIX，F(xiàn)astFile的發(fā)送方在編碼時在每條記錄的尾部都加上兩字節(jié)的檢驗(yàn)碼，因此即便接收方只是收到接口文件的分段，也可對其進(jìn)行FAST的解碼，從而恢復(fù)出該分段所含部分的記錄信息．此外，為進(jìn)一步降低分段的信息冗余度，可選地，F(xiàn)astFile引擎中還可以調(diào)用通用的壓縮方法來對分段進(jìn)行壓縮，也即FastFile-Z方法．FastFile-Z雖然可以獲得少許比FastFile高的壓縮率，但也帶來了時間處理上的開銷，具體應(yīng)用需要根據(jù)業(yè)務(wù)對時間的要求來考慮使用．   在發(fā)送一個接口文件時，F(xiàn)astFile引擎首先初始化一個分段緩沖區(qū)，其大小如前所述需要根據(jù)具體使用的傳輸協(xié)議預(yù)先設(shè)定，然后在重置FAST字典的狀態(tài)以后開始對分段的組段處理:FastFile按行從文件中讀入記錄、添加校驗(yàn)，再按照模版對記錄進(jìn)行編碼，編碼后的記錄追加到分段緩沖區(qū)，如果緩沖區(qū)已滿或超時，則該分段的組段過程結(jié)束，輸出組好的分段，如果還有未處理記錄則循環(huán)進(jìn)行上述組段過程，直到文件結(jié)束．接收方的處理與此對應(yīng)，不作贅述．   4FastFile基于擴(kuò)展FAST的文件分段編解碼為確保FAST編解碼的能夠正確進(jìn)行，F(xiàn)astFile的發(fā)送方和接收方必須使用相同的模版集合，而且在編解碼時必須保證發(fā)送方和接收方模版狀態(tài)的一致，也即，模版所含字典的字段狀態(tài)和字段前值的一致．模版狀態(tài)的一致性機(jī)制的實(shí)現(xiàn)依賴于具體使用的傳輸協(xié)議:如果傳輸層是可靠的，則可以使用標(biāo)準(zhǔn)的FAST會話協(xié)議［7］來實(shí)現(xiàn);如果傳輸層不可靠，則不論是發(fā)送方編碼器還是接收方的解碼器，在處理一個分段之前模版的狀態(tài)都需要被重置，以保證FAST連續(xù)編解碼的正確．   與FAST對FIX消息編解碼的情況類似，F(xiàn)astFile在FAST模版中為每個字段定義字段的數(shù)據(jù)類型、tag號以及字段的邏輯運(yùn)算符，從而可以利用FAST極佳的壓縮能力來降低數(shù)據(jù)冗余度．   如前所述，F(xiàn)AST的編解碼必須借助于一套FAST模版集來進(jìn)行．其中，一個模版包括了一系列指令(instruction)，指令的順序與流中數(shù)據(jù)的順序一致．如下頁圖6所示，F(xiàn)astFile的擴(kuò)展FAST編解碼引擎借助一個全靜態(tài)的模版集結(jié)構(gòu)來表示模版集并進(jìn)行編解碼:對該結(jié)構(gòu)的一次遍歷對應(yīng)FAST對一條消息的一次編碼處理或解碼處理．其中，使用靜態(tài)指針來串聯(lián)屬于模版中同一層次的指令的節(jié)點(diǎn)．   整數(shù)類型的字段用int類型來描述，分為帶符號整數(shù)類型和無符號類型兩種，可使用拷貝(copy)、差值(delta)、缺省(default)、常值(constant)等運(yùn)算符或無運(yùn)算符來描述字段數(shù)據(jù)流的邏輯特性，其中無符號整數(shù)還可以使用遞增(incre-ment)運(yùn)算符來描述序號類的字段．   字符串類型的字段用string類型來描述，分為ASCII碼字符串和Unicode字符串兩種，可使用拷貝、差值、缺省、常值、換尾(tail)等運(yùn)算符．其中差值運(yùn)算符適合具有相同子串的字段，換尾操作符適合長度固定，一般只有尾部子串發(fā)生變化的字段，比如各種格式的時間．值得注意的是，Unicode子串均為UTF-8類型，適合具有多國語言或不同符號集的字段，為便于與其他特殊字符作區(qū)別，Unicode字段的編碼需要加上一個無符號整數(shù)的長度前導(dǎo)．對無法用這兩種字符串表示的無格式數(shù)據(jù)可以使用byteVector類型來描述．   浮點(diǎn)類字段用decimal的字段類型來表示，編碼時分別用帶符號的兩個整數(shù)分別來表示浮點(diǎn)數(shù)的底數(shù)和指數(shù)，這樣可使得浮點(diǎn)數(shù)的表示范圍擴(kuò)展到ISA所支持的最大位數(shù)．浮點(diǎn)類型可使用拷貝、差值、缺省、常值等運(yùn)算符．   在FAST的最初版本中，除字節(jié)向量外的上述幾種基本數(shù)據(jù)類型用停止位實(shí)體(StopBitEntity)來編碼，其最小的編碼單位為字節(jié)．為達(dá)到更高的壓縮率，F(xiàn)PL在最新的FAST擴(kuò)展版本中增加了短整型、枚舉、集合、布爾、位元組等數(shù)據(jù)類型．其中，短整型用來描述那些表示范圍占用空間不超過1個字節(jié)的字段．枚舉和布爾類型都使用占最少比特的無符號整數(shù)來編碼．位元組用來將這些最大占用空間不超過1字節(jié)的數(shù)據(jù)類型字段填充到同一個SBE中．上述對字段數(shù)據(jù)類型的增強(qiáng)使得FAST擴(kuò)展版本可以達(dá)到比FAST1．1更優(yōu)的壓縮效果，多個異構(gòu)字段的數(shù)據(jù)甚至只需用1個字節(jié)就可以全部表示．   5實(shí)現(xiàn)及測試結(jié)果   基于標(biāo)準(zhǔn)C實(shí)現(xiàn)了FAST擴(kuò)展協(xié)議編解碼引擎FASTX和FastFile原型，通過實(shí)驗(yàn)對FastFile方法以及多種常用接口的數(shù)據(jù)尺寸做了比較，還比較了幾種編碼和壓縮方案的數(shù)據(jù)壓縮率．   實(shí)驗(yàn)1選取2010年6月10日的滬深股市股本信息數(shù)據(jù)，剔除少量空字段記錄后共1791行記錄，每行記錄對應(yīng)一種證券，一條記錄包含18個字段，具體為{‘代碼’，‘名稱’，‘今開’，‘最高’，‘最低’，‘最新’，‘漲跌’，‘漲跌幅’，‘成交量’，‘成交金額’，‘換手率’，‘年初至今漲跌幅’，‘5日漲跌幅’，‘每股收益(TTM)’，‘市盈率(TTM)’，‘市凈率(MRQ)’，‘所屬行業(yè)’，‘時間’}，加上檢驗(yàn)共19個字段．其中，應(yīng)用類型包括Ascii字符串、浮點(diǎn)數(shù)、64位長無符號整數(shù)，無符號整數(shù)、Unicode字符串，模版中使用了換尾等操作符，但主要使用差值操作符．#p#分頁標(biāo)題#e#   實(shí)驗(yàn)結(jié)果如圖7所示，其中，DBF文件占493K字節(jié)，Ex-cel與之基本相當(dāng)，Ascii文本文件為200K字節(jié)，相對較小，最大的XML超過了3M字節(jié)．相較之下，數(shù)據(jù)格式最小的是113K字節(jié)的FastFile，每條記錄平均僅占63字節(jié)．   實(shí)驗(yàn)2選取2010年6月11日的滬市A股上市公司概覽數(shù)據(jù)，剔除少量空字段記錄后共832行記錄，每行記錄對應(yīng)一種證券，記錄格式為{‘證券代碼’，‘證券簡稱’，‘總股本’，‘流通A股’，‘大股東持股數(shù)量’，‘大股東持股比例’，‘股東戶數(shù)’，‘機(jī)構(gòu)持股數(shù)量合計’，‘月成交量’，‘月成交額’，‘月收盤價’，‘市盈率(PE)’，‘總市值’，‘每股收益EPS’，‘資產(chǎn)總計’}，加上檢驗(yàn)共16個字段．實(shí)驗(yàn)以未壓縮的DBF文件為基準(zhǔn)，以相同數(shù)據(jù)按照不同編碼+壓縮方案處理后的文件大小來計算數(shù)據(jù)壓縮率，結(jié)果如上頁圖8所示．其中，F(xiàn)astFile處理后每條記錄平均為75字節(jié)．可以看到的是，F(xiàn)astFile除了具備按照每行的記錄進(jìn)行編解碼的特性之外，在數(shù)據(jù)壓縮率上也相當(dāng)接近于通用的無損壓縮算法，如果按照FastFile-Z方法對Fast-File編碼文件再行壓縮，則壓縮率上還可有小幅提高．   6結(jié)束語   本文提出一種基于擴(kuò)展FAST的證券交易接口文件的高速交換方法-FastFile．FastFile抽取接口文件中的每行記錄并映射為一條消息，再利用擴(kuò)展FAST對消息進(jìn)行編碼．由于FastFile是以記錄為處理粒度的，因此即使接收方只是收到原始數(shù)據(jù)文件的部分分段，也可從中解析出記錄，這有效地解決了原有方法中接收方必須收齊所有文件分段才能解析內(nèi)容而影響信息傳輸速度的問題．同時，利用擴(kuò)展FAST高效的壓縮算法，可大大降低接口數(shù)據(jù)大小．對于集中式的證券交易來說，F(xiàn)astFile不僅可加快信息的交換速度，而且可以大大節(jié)省整個分發(fā)網(wǎng)絡(luò)的帶寬資源．   我們設(shè)計并實(shí)現(xiàn)了擴(kuò)展FAST協(xié)議和FastFile方法，通過實(shí)驗(yàn)與多種常用接口格式進(jìn)行了測試比較，并比較了幾種編碼和壓縮方案．實(shí)驗(yàn)結(jié)果表明FastFile在按記錄編解碼的特性外，可大大降低接口數(shù)據(jù)的信息冗余度，在數(shù)據(jù)壓縮率上也相當(dāng)接近于通用的壓縮算法，如果與通用壓縮算法疊加使用，則壓縮效果更佳．   由于FastFile需要根據(jù)數(shù)據(jù)的規(guī)律抽象出FAST模版，因此適于應(yīng)用于業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)化程度高、規(guī)律性強(qiáng)、數(shù)字類數(shù)據(jù)多，以及對傳輸速度有較高要求、帶寬資源較稀缺的應(yīng)用場合，也可適當(dāng)修改后用于數(shù)據(jù)的備份和保存．