前言：尋找寫作靈感？中文期刊網用心挑選的大數據技術的網絡安全防御架構設計，希望能為您的閱讀和創作帶來靈感，歡迎大家閱讀并分享。

摘要：網絡安全防御的發展以數據為牽引，以架構為支撐，以形成體系化防御能力為目標。將大數據應用于網絡安全防御是防御體系、技術研究的重要方向和趨勢。文章分析了大數據技術在網絡安全防御方面的應用優勢，設計了基于大數據分析的網絡安全防御架構，選取DoS攻擊防御、計算機病毒監測防御等兩類典型應用場景闡述了網絡安全數據流轉和防御效能發揮過程。

關鍵詞：大數據；數據分析；網絡安全防御

隨著國家信息化建設的推進，基于網絡的信息系統被廣泛應用，網絡安全也越來越受到重視。傳統的網絡安全防御系統布設防火墻、入侵檢測系統、防病毒系統等多種安全產品，網絡規模大、安全設備多，資源碎片化。且各類系統數據生成速度快、來源豐富、結構各異，真正的威脅信息隱藏在海量告警和日志數據中。如何采集存儲和分析挖掘海量安全數據，識別各類攻擊行為和安全事件，具有重要的研究和應用價值。

1大數據技術在網絡安全防御方面的應用優勢

大數據具有Volume（大量）、Variety（多樣）、Velocity（高速）、Value（低價值密度）的“4V”特性[1]，具有超大規模計算能力、海量存儲能力、及時快速的分析速度等技術優勢。大數據技術是個龐大而復雜的技術體系，集合了數據采集與傳輸、數據存儲、數據處理與分析、數據挖掘、數據可視化等多種技術。針對不同類型的網絡安全數據信息，采用多種技術實現多源異構數據的采集、處理、分析。針對安全設備告警信息、日志等非結構化數據采集，可采用Flume、Scribe等系統[2]，針對互聯網威脅情報數據，常用的網絡爬蟲系統有ApacheNutchCrawler4j等框架。數據存儲方面，根據不同數據類型采用分布式文件系統HDFS和Hbase等存儲結構進行數據存儲和管理。采用Kafka實現數據訂閱、發布、數據交互等功能[3]。針對流處理的實時分析可采用Spark、Storm等技術，針對批處理可采用MapReduce框架[3]。構建多種檢測分析模型，在安全數據采集、關聯分析、威脅監測能方面實現大幅性能提升。

2基于大數據分析的網絡安全防御架構設計

基于大數據技術的網絡安全防御架構如圖1所示，包括基礎資源模塊、大數據采集分析模塊、威脅情報模塊、安全態勢模塊、檢測和防御模塊、運維管理平臺。

2.1基礎資源模塊

采用通用服務器組建分布式集群，將服務器CPU、內存、存儲等進行虛擬化[4]，提供存儲和計算資源。部分安全防護產品功能進行虛擬化，使安全防護能力整合，功能與硬件解耦[5-6]，具備統一管理、按需配置、靈活擴展、資源共享等優勢，同時降低用戶部署難度和維護成本。基礎資源模塊在運行過程中實時產生大量網絡流量、日志、告警等安全信息。

2.2大數據采集分析模塊

該模塊實時接收、分類存儲各類數據信息，通過已構建模型，形成區域內資產、風險、威脅、安全事件等關鍵指標。結合威脅情報進行關聯分析，形成網絡安全態勢，及時發現安全威脅。大數據采集分析模塊包括數據采集存儲、數據分析和態勢呈現3層。數據采集存儲層：安全、快速地采集、傳輸、存儲各類設備產生的網絡流量、日志信息、告警信息等多維異構安全信息，經過數據抽取、清洗、轉換、加載、消重與合并、數據關聯、條件比對等處理，使得數據格式相對統一，分類分級明確、標識清晰。構建基礎資源庫、業務資源庫等多類數據庫，根據不同數據類型進行分類集中存儲，基礎資源庫包括資產庫、域名庫、設備指紋庫、規則庫、樣本庫等，業務資源庫包括事件庫、監測信息庫、文件樣本庫等。數據分析層：構建基于大數據技術的規則監測引擎、關聯分析引擎和機器學習、概率統計、知識計算、聚類關聯等基礎分析引擎，實現安全數據池內各類數據的深度挖掘和融合關聯，有效降低需人工分析的告警數量。過濾一定時間內相同攻擊類型、攻擊源IP的日志信息，關聯歷史告警次數、頻率及威脅情報，將告警分為3級進行推送。構建資產類、威脅類、風險類、事件類等態勢評估指標，形成整體安全態勢。構建威脅監測模型，針對異常流量、異常行為、異常IP、敏感數據實時監測，結合外部威脅情報，進行網絡安全事件關聯分析，及時發現潛在的安全威脅和隱蔽性攻擊。態勢呈現層：基于可視化分析引擎，將平臺整體資產情況、脆弱性、安全威脅、安全事件進展等各類態勢指標，以分析圖表（折線圖、柱狀圖、表格）、網絡拓撲、地理位置等形式呈現整體安全態勢和各指標專項態勢。

2.3威脅情報模塊

通過定向采集、網絡爬蟲、搜索引擎、在線訂閱等方式，獲取攻擊者使用的域名、IP、URL、MD5等一系列網絡基礎設施或攻擊武器信息、攻擊利用漏洞、最新發布漏洞、APT攻擊、安全事件分析報告、高價值線索分析數據等威脅情報數據，分類存儲于數據采集存儲模塊的漏洞庫、攻擊特征庫、安全事件庫等，具備檢索查詢功能，并與數據分析處理、威脅監測等模塊聯動提高攻擊監測和安全事件處置效率。

2.4監測和防御模塊

包括防火墻、入侵檢測系統、流量清洗、訪問控制、漏洞掃描采集等云平臺安全防護和終端防護系統、防病毒系統等終端側安全防護。網絡出口處流量和各類安全設備的日志、告警信息分類存儲至數據采集存儲層，在數據分析層進行實時檢測和關聯分析，包括網絡異常流量和異常行為實時監測、入侵攻擊實時監測、病毒木馬實時監測等。檢測到異常的網絡流量，可進行一定時間窗口的回溯分析。2.5運維管理平臺基于管理平臺，運維人員可對安全策略統一管理、安全能力統一編排，實時監控云內運維情況和云平臺自身安全情況，實現日志管理、身份管理、數據備份與恢復管理等功能。接收大數據采集分析模塊融合分析形成的告警信息，按照事先定義好的規則執行規則中定義的動作，并以工單的方式通知運維人員處理。構建云監測、云防護、云審計等全生命周期的云安全服務清單[7]，或按照安全防護等級設計安全能力包，對安全能力進行統一管理、策略配置。

3典型實施場景

本文設計的基于大數據分析的網絡安全防御架構可應用于云平臺內部虛擬機防御，也可通過流量牽引和數據導入的方式向云平臺外部信息系統、終端提供安全防御。運維人員在運維管理平臺構建云監測、云防護等云安全服務清單，按照安全防護等級設計安全能力包。用戶可通過云管理平臺或外部接入等方式按需申請安全服務或安全大數據分析服務，提高網絡防護效能。選取網絡環境中較為常見的兩種威脅，DoS攻擊和計算機病毒，闡述網絡安全防御架構下的監測和防御過程。

3.1DoS攻擊防御

針對檢測到的網絡異常狀態，采集并分析云端的DNS請求數據、網絡連接數、Netflow數據、UDP數據、Botnet活動數據。通過數據分析引擎已建立的行為特征模型、流量特征模型進行融合分析，區分正常流量和異常流量。通過流量牽引的方式將異常流量牽引至監測和防御模塊進行流量清洗、過濾[8]，將用戶系統流量根據威脅情報關聯分析，第一時間獲取攻擊手段、方式，整理研究應對方案，對攻擊進行追蹤溯源，防御DoS攻擊。

3.2計算機病毒監測防御

針對客戶端檢測出現的異常狀態，利用自動反饋機制，將日志信息、異常流量等信息上傳至大數據采集分析模塊。對流量數據進行處理，識別IP地址、端口等信息，并對異常數據進行分析檢測。與惡意代碼庫、攻擊特征庫進行對比分析，找出病毒的入侵特性，通過沙箱對反病毒功能無法確認的病毒代碼進行二次檢測，提取威脅特征碼，記錄病毒的信息數據規律、擴散規律，更新病毒庫、規則庫等數據庫信息。分析挖掘日志和流量信息，分析傳播軌跡確定病毒傳播源頭，及時預警提示，將威脅特征碼、解決方案下發至該終端，同時其他客戶端也會具備防御此類威脅的能力，提高了病毒的識別和查殺效率。

4結束語

將大數據應用于網絡安全防御是防御體系、技術研究的重要方向和趨勢。本文結合了大數據、云計算技術的應用優勢，設計了基于大數據分析的網絡安全防御架構，發揮資源集成、關聯分析、綜合防護等作用。下一步工作是繼續優化大數據分析模型，加強虛擬機隔離、虛擬網絡隔離等云環境內部安全問題研究。

作者：張璐 王曉海 單位：61660部隊