分布式數據中心網絡系統雙活解決方案
伴隨著數據大集中、業務應用不斷增多、以及用戶對業務連續性要求的不斷提高，分布式雙活數據中心日益越來越受到用戶的關注。
傳統主-備模式的數據中心只是簡單的軟硬件資源的堆砌。正常情況下，主用數據中心對外提供業務，備用數據中心處于閑置狀態。只有在發生災難宕機的情況下，業務系統才從主用中心遷移到備用中心來。然而，災難往往只是小概率事件，企業投入大量人力和物力建設的備用中心大多時候都是處于閑置狀態，資源使用率極低。更為重要的是，主-備模式的數據中心的RTO和RPO無法保證業務的連續性。無論采用怎樣的優化方式，主-備模式的建設思路對高可用性的提高、業務連續性的保證只能實現量變，卻一直沒有實質性的跨越。
分布式雙活數據中心的出現，讓我們找到了優化投資利用率、保證業務連續性的新思路。然而，建設分布式雙活數據中心需要網絡系統、存儲系統、計算資源甚至包括應用系統等多個IT系統之間緊密合作，是一個龐大的系統工程。本文將詳細介紹分布式雙活數據中心的第一塊敲門磚——網絡系統雙活的部署方案。
簡單來講，網絡系統雙活主要由以下兩大部分技術構成。
- 數據中心間大二層網絡技術——EVI。通過大二層網絡，可以實現跨數據中心的集群、資源共享和故障探測，它是保證故障發生后到故障切換中間過程不丟包的重要手段。在數據中心之間建設一張虛擬的大二層網絡是實現網絡雙活的基礎
- 負載均衡技術。通過負載均衡技術，可以實現流量在不同數據中心間的調度以及在單數據中心內多服務器的負載分擔；同時，負載均衡設備也是探測業務故障實現自動切換的關鍵實現點。
一、 數據中心間大二層技術——EVI
實際生產環境中，企業往往已經建設了同城雙中心甚至是兩地三中心，但是還沒有實現二層擴展，因此需要使用EVI實現大二層擴展。EVI是一種先進的“MAC in IP”技術，用于實現基于IP核心網絡的L2VPN技術。多數據中心間通過EVI技術在站點的邊緣設備上維護路由和轉發信息，而無需改變站點內部和核心網絡。
EVI整體網絡由核心網絡、站點網絡和虛擬網絡組成（如圖1所示）：
圖1 EVI網絡模型
- 核心網絡是主要由IP路由設備承載的提供站點網絡之間互聯的網絡；
- 站點網絡是通過一臺或者多臺邊緣設備連接到核心網絡、具有獨立業務功能的二層網絡，通常由單個組織管理控制，主要由主機和交換設備組成，邊緣設備提供站點之間的二層交換功能；
- 虛擬網絡是站點邊緣設備之間建立的虛擬二層網絡，提供站點網絡之間的二層互聯，相互通告連接到邊緣設備所有主機和路由器的MAC地址，將多個站點互聯形成更大的二層轉發域；虛擬網絡實現VLAN在不同站點之間的擴展，主要由虛擬接口和虛擬連接組成，在數據平面承載站點間擴展的VLAN的二層流量，在控制平面通過IGP協議在站點之間通告主機和路由器的MAC地址可達性信息，管理平面通過鄰居發現協議來實現站點的自動發現功能，簡化網絡配置管理工作。另外，虛擬網絡還實現了ARP、未知單播、組播流量優化功能來減少廣播流量對帶寬的占用以及對服務器資源的消耗。
通常，數據中心內部不同的VLAN承載不同的業務功能，而需要擴展的數據中心站點也不完全相同。EVI通過虛擬網絡支持多實例功能，不同實例的控制平面協議交互以及數據平面流量轉發完全隔離。每個實例表示一個VPN，使用Network ID來唯一標識。如圖2所示定義了三個VPN實例。
圖2虛擬網絡多實例示意
（如圖3所示）在需要二層擴展的數據中心邊緣加入支持EVI的互連設備，不需要對原有數據中心架構做大的改動，只要EVI邊緣設備之間IP可達，就可以在核心網上構建一張虛擬的二層網絡。這樣簡單靈活的擴展方式大大簡化了用戶實際部署的復雜度，并且對現網生產業務的影響減少到最小。
圖3 EVI典型組網圖
通過EVI技術，可以在多個物理形態的數據中心之間建設一張虛擬的大二層網絡，將多個物理數據中心里的資源虛擬為一個虛擬數據中心對外提供服務。
二、 負載均衡技術
實現靈活業務流量調試，有兩個主要的設備：GTM和LTM。GTM（Global Traffic Manager，全局負載均衡設備）主要完成用戶解析DNS功能；LTM（Local Traffic Manager，本地負載均衡設備）主要負責對內部服務器健康狀態檢查、將訪問流量分擔到不同服務器以及出口流量的鏈路負載分擔。GTM可以和LTM聯動，當LTM檢測到本設備管轄的服務器資源故障，不能對外提供服務時，GTM可以對DNS解析做替換。同時LTM會實時保持與GTM聯動，將檢測到的服務器健康狀況上報給GTM。
針對用戶不同的業務發布模式，我們細分了以下兩種建設場景。
1. 場景一：基于DNS發布業務的雙活
圖4基于DNS發布業務的雙活數據中心
（如圖4所示）基于DNS發布業務的數據中心網絡雙活主要由以下五部分完成：
①GTM通過就近性探測實現客戶端訪問路徑的優化；
②GTM根據就近性探測結果實現數據中心之間流量分擔；
③LTM對服務器進行健康檢查并上報給GTM；
④GTM根據LTM上報的服務器狀態實現業務的自動切換；
⑤LTM實現對多鏈路出口的選擇；
步驟①和②主要是DNS解析的過程。正常情況下，GTM上記錄了A和B兩個數據中心入口的IP地址。當有用戶解析業務的IP地址時，GTM會根據設置的策略向用戶返回不同IP地址。這樣，用戶訪問流量可以分擔到兩個數據中心中。這個策略可以是根據兩個數據中心當前的負載情況，也可以是根據用戶所在地域將用戶引導至不同的數據中心?？傊?，GTM提供了豐富的選擇策略用于調度兩個中心的訪問流量。
圖5 DNS解析流程
如圖5所示為用戶訪問網站www.h3c.com.cn DNS解析過程說明舉例?？梢?，當第一個用戶訪問業務時，GTM返回數據中心A的IP地址，流量進入數據中心A。當第二個用戶訪問業務時，GTM可以返回數據中心B的IP地址，這樣流量就進入了數據中心B。通過這種最簡單的輪詢機制，實現用戶流量在兩個數據中心間智能調度，同時可以在GTM上設置更為復雜的調度策略。
步驟③和⑤主要由LTM完成。LTM會實時的檢測本設備管轄范圍內服務器的健康狀況，這種檢測可以是基于ICMP、TCP、HTTP等。同時LTM會記錄各個服務器的負載情況，對于外界進來的訪問流量，LTM會選擇內部最優的服務器提供服務，做到內部服務器的負載均衡。當然，當內部服務器發生故障時，LTM會將故障結果通告給本地的GTM。對于從服務器返回的流量，LTM可以根據出口鏈路的負載情況做鏈路分擔。
步驟④由GTM來完成，主要針對數據中心內服務器全部宕機的情況。當LTM檢測到管轄的服務器全部宕機，即本中心不能在對外提供服務時，會通告給GTM。這樣，GTM會將業務域名下對應的該中心的IP地址置于非正常狀態。后續有訪問業務的DNS解析請求時，GTM不會再返回該中心的IP地址，所有解析都返回另一個數據中心的IP地址。這樣就完成了故障時自動智能的切換。
以上為流量在故障發生后切換的機制。在實際生產環境中，本地DNS服務器通常有較長時間的緩存。當GTM收到LTM的業務故障通知，將DNS解析地址切換后，本地DNS緩存的地址或許還是之前使用的地址，那么該DNS服務器下的客戶端仍舊會訪問到業務故障的數據中心。在傳統模式下，用戶將無法獲得服務；在分布式雙活數據中心方案中，可以通過數據中心間大二層網絡，將進入到業務故障的數據中心的流量引導到業務正常的數據中心來保證業務的連續性。因此，從用戶角度來看，業務可以做到零中斷，無論業務訪問的是數據中心A還是B，或是從A到B的跨中心路徑，虛擬的大二層網絡為訪問流量提供了一個始終可用的服務站點。
2. 場景二：基于IP地址發布業務的雙活
該場景主要是通過IP地址和IP路由實現對用戶流量的調度（如圖6所示）。
圖6 基于IP地址發布業務的雙活數據中心模型
正常情況下，數據中心A和B分別對外發布不同的IP地址和路由。此時，兩個IP地址均路由可達，都可以對外提供服務。（如圖7所示）LTM會實時監測本設備管轄的服務器，當服務器故障、本中心不能對外提供服務時，LTM會通過RHI（Route Health Injection，健康路由注入）功能撤銷對外發布的路由，同時數據中心B的LTM會對外重新發布被數據中心A撤銷的路由，這樣，同一個IP地址的業務由數據中心B來提供。數據中心A和B的LTM之間需要通過二層互連網絡（EVI）保持聯動。同理，當數據中心A的LTM故障時，同樣的切換也會發生。
圖7 基于IP地址發布業務的故障切換
由此不難看出，RHI是實現基于IP地址發布業務雙活的關鍵。該功能通常由SLB技術實現。SLB周期性的檢測服務器/虛擬機的存活狀態，當檢查結果正常時，SLB向骨干網中發布一條該主機地址的主機路由，用于用戶的正常訪問；當檢查結果異常時，撤銷該主機路由。LTM健康路由注入、撤銷過程實際上是LTM與網絡設備路由交互的過程。網絡設備必須能夠良好的與LTM進行路由的學習，同時可以將從LTM學習到的路由信息準確的發布到網絡系統中，從而準確的控制客戶端得到的路由信息。本方案中，通過數據中心A和B中兩臺LTM的配合實現用戶業務動態調整。
如同場景一，當一個數據中心業務故障后到業務成功切換到另一個數據中心的中間過程中，可以通過數據中心間的虛擬大二層網絡保障故障切換過程中業務的連續性，以保證業務始終可用。
三、 結束語
分布式雙活數據中心的建設是一個復雜的系統工程，它不僅僅要求網絡系統雙活，更是涉及到服務器系統、數據庫系統和存儲系統，甚至和客戶的具體應用也是息息相關。網絡系統是數據中心對外提供服務的通道，有了網絡的雙活，伴隨著數據庫系統和存儲系統雙活技術的不斷成熟，相信分布式雙活數據中心方案可以為用戶提供更加完美的數據中心雙活體驗。