聯(lián)通IP承載網(wǎng)VRR按需路由優(yōu)化研究

作者簡介：劉倩，廈門大學碩士，工程師，現(xiàn)工作于中國聯(lián)通河南分公司云網(wǎng)運營中心，主要從事IP城域網(wǎng)及承載網(wǎng)的維護與優(yōu)化工作。E-mail：liuq46@chinaunicom.cn。

0   引言

為進一步提升公司現(xiàn)有產(chǎn)業(yè)互聯(lián)網(wǎng)容量和綜合承載能力，降低網(wǎng)絡建設和運維成本，更好地支撐5G 和通信云化建設，中國聯(lián)通計劃對現(xiàn)存的2 張MPLS 骨干承載網(wǎng)絡（現(xiàn)有的CUII 和IP 承載B 網(wǎng)）進行融合，以統(tǒng)一界面的形式更好地為用戶服務。融合后的CUII 骨干網(wǎng)主要用于移動業(yè)務、大客戶MV 業(yè)務、云骨干網(wǎng)業(yè)務、云網(wǎng)協(xié)同業(yè)務、物聯(lián)網(wǎng)、聯(lián)通內(nèi)部管理系統(tǒng)以及固網(wǎng)NGN等多業(yè)務綜合承載，并具備差異化服務的能力。

省際或省內(nèi)移動業(yè)務均以MPLS VPN 方式接入移動業(yè)務IP 承載B 網(wǎng)，隨著業(yè)務的快速發(fā)展以及5G 和通信云化的建設，業(yè)務側開始采用IPv4/IPv6 雙棧地址接入，IPv6 地址空間巨大，同時B 網(wǎng)的VPN 數(shù)量及路由條目與日俱增，因此控制VPN 路由信息在全網(wǎng)VRR與AR，VRR 與VRR 之間按需路由反射尤為重要^[1]。為保證公司IP 承載網(wǎng)融合工作的順利開展，根據(jù)總部統(tǒng)一安排，河南鶴壁作為全國第一個試點開展了IP 承載B 網(wǎng)VPN RR（Route Reflector）按需路由特性優(yōu)化部署實施，效果明顯，基于此集團進一步完善實施操作方案并啟動了其他各省B 網(wǎng)按需路由反射優(yōu)化工作。

1   承載B網(wǎng)網(wǎng)絡發(fā)展現(xiàn)狀

1.1 網(wǎng)絡結構

中國聯(lián)通IP 承載B 網(wǎng)采用分層網(wǎng)絡結構設計，全網(wǎng)分為核心層、匯聚層和接入層，各網(wǎng)絡層次的路由器分別簡稱為CR、BR、AR/ER^[2]。核心層由北京、上海、沈陽、武漢、廣州、成都、西安7 個節(jié)點組成，整個核心層為全網(wǎng)狀結構^[3]。匯聚層由全國25 個節(jié)點城市組成，匯聚節(jié)點的兩臺BR 就近上聯(lián)至兩個不同核心節(jié)點的CR 設備上，以河南BR 節(jié)點為例，其上聯(lián)大區(qū)CR節(jié)點為北京/ 武漢。接入層由各省的地市節(jié)點組成，內(nèi)部系統(tǒng)接入路由器AR 和外部系統(tǒng)接入路由器ER 均成對設置，并基于口字形結構與BR 連接，實現(xiàn)業(yè)務流量的接入?yún)R聚。

1.2 自治域劃分及路由組織

B 網(wǎng)全網(wǎng)設置為一個統(tǒng)一的自治域，并分配公有的自治域號。全網(wǎng)域內(nèi)采用ISIS 協(xié)議處于Level-2 區(qū)域，CR、BR 路由器的所有接口以及AR/ER 路由器的上行、橫聯(lián)、Loopback 接口都參與ISIS L2 路由。

1.3 MPLS/BGP路由策略

B 網(wǎng)上所有業(yè)務路由的承載均通過MP-iBGP 實現(xiàn)，通過MPLS 三層VPN 方式實現(xiàn)業(yè)務連通和彼此隔離^[4]。MP-BGP 采用扁平化層次結構，AR/ER 均與RR 建立對等體關系，所有MP-iBGP 路由均由RR 反射。

核心/ 匯聚層CR/BR 路由器僅承載IGP 路由（所有設備Loopback 與端口互聯(lián)地址），不與RR 建立鄰接關系。接入層AR/ER 路由器承載全部IGP 路由，作為Client 從RR 得到MP-iBGP 路由。

同一節(jié)點的2 臺AR/ER 向RR 宣告相同路由時，采用不同的RD 值（雙RD 組網(wǎng)）以便使RR 能夠選出不同方向的VPN 路由加快路由收斂。

1.4 VPN RR部署及結構現(xiàn)狀

承載B 網(wǎng)不設置普通IPv4 RR 設備，只設置VPNRR 設備，采用“一級RR+ 備份RR ＋異地分簇”方案，系統(tǒng)一級VRR分別設置在北京、上海、廣州、西安、沈陽、武漢、成都七個節(jié)點，各部署2 臺RR 設備。全網(wǎng)一級RR 之間建立FULLMESH MP-iBGP 鄰居關系，RR 兩兩異地成對，構成7 個簇，每個簇屬于一個片區(qū)^[5]。各省每臺AR/ER 路由器作為Client 跟大區(qū)一級RR 路由器和本省省會AR1（備份RR）建立MP-iBGP 鄰居關系，備份RR 作為所屬兩臺一級RR 的Client 同時和省內(nèi)AR/ER 建立MP-iBGP 鄰居^[6]。河南所屬一級MPiBGP路由反射簇為武漢VRR1/ 上海VRR2。IP 承載B網(wǎng)VPN RR 結構如圖1 所示。

圖1 VPN RR結構示意圖

1.5 VPN路由現(xiàn)狀

隨著業(yè)務的不斷發(fā)展，IP 承載B 網(wǎng)內(nèi)VPN 用戶越來越多，目前現(xiàn)網(wǎng)中部署的業(yè)務系統(tǒng)VPN 多達70 多個，VPN 路由條目與日俱增，當前業(yè)務路由總數(shù)達到了60多萬。由于AR 向RR 宣告相同路由時采用雙RD 設計以及VRR 間FullMesh 全互聯(lián)結構，VRR 上接收到的VPN 路由總數(shù)達到了200 多萬^[4]。

在IP 網(wǎng)中由于RR 默認不會過濾任何路由，其在接收到AR 通告的VPN 路由信息后，經(jīng)過路由優(yōu)選再反射給其他AR 和RR，IP 承載B 網(wǎng)中VPN 路由通告如圖2 所示。

圖2 B網(wǎng)VPN路由通告示意圖

2   承載B網(wǎng)VPN路由反射存在問題及優(yōu)化方案

2.1 VPN路由反射處理機制問題

IP 網(wǎng)中由于RR 默認不會過濾任何路由，導致大量省內(nèi)VPN 路由信息在全網(wǎng)RR 間進行反射通告，RR 處理大量的路由信息需要足夠的系統(tǒng)資源，這就容易造成RR 的資源過載。

同時，RR 也會反射所有VPN 路由信息給AR，這使得大量無用路由信息在網(wǎng)絡中傳播，造成帶寬資源浪費。AR 為了只接收本地期望的VPN 路由信息，需要配置本地路由策略進行過濾也消耗了AR處理策略的資源?，F(xiàn)網(wǎng)VRR 路由反射處理如圖3 所示。

2.2 VPN路由反射優(yōu)化思路及建議

2.2.1 優(yōu)化思路

通過對B 網(wǎng)內(nèi)VPN 路由進行分析統(tǒng)計，發(fā)現(xiàn)省內(nèi)VPN 路由數(shù)約占總路由數(shù)的87%，省內(nèi)VPN 路由信息只需要在相應的RR 和AR 間進行反射通告即可，不需要在RR 集群間進行反射，外省省內(nèi)VPN 路由也無需在本片區(qū)的路由反射簇和AR/ER 間進行反射通告。因此決定對全網(wǎng)VRR 與AR、VRR 與VRR 之間的VPN路由信息進行按需路由反射優(yōu)化。

圖3 現(xiàn)網(wǎng)VRR路由反射示意圖

2.2.2 優(yōu)化建議

通過引入VPN ORF 特性，RR 在向?qū)Χ朔瓷渎酚蓵r，會根據(jù)該對端設備所捆綁的VPN 實例的VPN-Target 屬性對路由進行過濾^[7]。通過VPN ORF 使對端設備只接收本地期望的路由，減少接收壓力。

在全網(wǎng)RR 與AR，RR 與RR 之間部署VPN ORF特性，通過應用擴展的團體屬性值對路由信息進行區(qū)分，以決定路由是否傳遞，實現(xiàn)按需反射。據(jù)統(tǒng)計，目前省內(nèi)VPN 路由數(shù)約占全網(wǎng)總路由數(shù)的87%，在按需路由反射優(yōu)化完成后，將極大地減少RR 上的VPN 路由表，避免系統(tǒng)資源過載，加快路由收斂速度。優(yōu)化后的VRR 路由反射如圖4 所示。RR 集群間僅反射通告省際VPN 路由信息，某省AR/ER 路由器與所屬一級RR之間僅反射通告省際及本省省內(nèi)VPN 路由信息。

圖4 優(yōu)化后的VRR路由反射示意圖

2.2.3 VPN ORF特性

VPN ORF (VPN Outbound Route Filtering) 是在基于BGP 多業(yè)務統(tǒng)一承載框架的基礎上，實現(xiàn)VPN ORF 路由指導VPNv4/VPNv6 鄰居路由發(fā)布。ORF 是通過將本地的路由策略應用到鄰居的出口，使鄰居在發(fā)布路由時過濾掉無用路由。

VPN 中的PE 設備將本地需要的路由IRT(import target) 和原始AS 號以VPN ORF 路由的形式發(fā)送給BGP 鄰居，鄰居根據(jù)此路由構造出口策略，使PE 只能收到本地期望的路由，減少PE 接收壓力。如圖5 所示，在使能VPN ORF 能力之前，路由反射器將接收到PE1 的VPN 實例的VPN 路由全部發(fā)布給PE3，但是對于PE3，只有ERT（export target）1:1 是匹配的；同樣，路由反射器從PE3 接收到VPN 實例的路由全部發(fā)布給PE1，其中只有ERT1:1 才是匹配的。對于路由PE1 與PE3 上的VPN 實例，只有ERT1:1 是互相匹配的。在使能VPN ORF 能力之后，即在VPN-Target 地址族視圖下使能了BGP 鄰居關系。如圖5 中，使能了路由反射器與PE1、路由反射器與PE3 的BGP 鄰居關系之后，各鄰居之間進行VPN ORF 能力協(xié)商，PE1 和PE3 將本地需要的路由IRT，以VPN ORF路由的形式發(fā)送給鄰居，鄰居根據(jù)此路由構造出口策略。也就是說，在PE1 在向外發(fā)布BGP VPN 路由時，會根據(jù)PE1 收到對應鄰居對等體的IRT 路由進行過濾發(fā)布^[8]。

圖5 VPN ORF基本應用場景

2.3 VPN路由反射優(yōu)化方式

基于BGP/MPLS VPN 建立的VPNv4 連接在RR 和AR 之間創(chuàng)建BGP-VT 地址族，建立VPN ORF 路由鄰居關系，使能與指定對等體（組）之間交換VPN ORF路由信息。AR/ER 相對于RR 來說屬于pgAcessIn 對等體組，RR 相對于AR/ER 來說屬于pgVRR 對等體組。AR 將本地擴展團體屬性路由過濾列表以VPN ORF 路由的形式發(fā)送給RR，RR 根據(jù)此路由過濾列表構造出口策略作為本地出路由過濾。當RR 向AR 反射路由時，僅發(fā)送該AR 需要的VPN 路由。極大地減少了發(fā)送的路由數(shù)量，減少網(wǎng)絡帶寬占用并提高了路由收斂速度，具體的按需路由反射優(yōu)化配置分別在RR 和AR 上部署。

1）RR 上執(zhí)行如下配置優(yōu)化，進入BGP 視圖后執(zhí)行命令ipv4-family vpn-target 進入BGP-VT 地址族視圖，建立VPN ORF 路由鄰居關系，使能與pgAcessIn 對等組之間交換VPN ORF 路由信息，分別在BGP-VPNv4和BGP-VT 地址族視圖下執(zhí)行命令peer pgAcessInreflect-client，配置將本機作為路由反射器，并將對等組pgAcessIn 作為路由反射器的客戶，將AR 地址加入pgAcessIn 對等體組。

bgp 38XXX

ipv4-family vpn-target

peer pgAcessIn enable

peer pgAcessIn reflect-client

peer AR_address enable

peer AR_address group pgAcessIn

2）AR 上執(zhí)行如下配置優(yōu)化，進入BGP 視圖后執(zhí)行命令ipv4-family vpn-target 進入BGP-VT 地址族視圖，建立VPN ORF 路由鄰居關系，使能與pgVRR 對等組之間交換VPN ORF 路由信息，將VRR 地址加入pgVRR 對等體組。

bgp 38XXX

ipv4-family vpn-target

peer pgVRR enable

peer VRR_address enable

peer VRR_address group pgVRR

在RR 和AR 間完成VPN ORF 使能后，可以使用

display bgp vpn-target routing-table 命令，查看BGP VPNTarget

地址族的路由信息；還可以使用display bgp vpnv4/vpnv6 all routing-table peer x.x.x.x advertised-routes/received-routes 命令，查看相應鄰居BGP VPNv4/ VPNv6路由和BGP 私網(wǎng)路由的信息收發(fā)情況。

3   B網(wǎng)VRR按需路由反射優(yōu)化方案實施

3.1 實施步驟

IP 承載B 網(wǎng)全國14 臺RR 采用跨區(qū)覆蓋方式構成7 個一級MP-iBGP 路由反射簇（Route Reflector Cluster）。各省每臺AR 路由器作為Client 跟所屬兩臺一級RR 和本省省會備份RR 建立鄰居關系。為保證本次B 網(wǎng)VRR 按需路由反射優(yōu)化工作順利開展，及時為CUII 與IP 承載B 網(wǎng)融合工程提供有效的實施方案支撐，根據(jù)總部統(tǒng)一安排，先期在河南鶴壁開展VRR 按需路由反射特性測試和實施試點，效果明顯。集團根據(jù)試點情況進一步完善了實施操作方案，并分階段批量啟動其他各省B 網(wǎng)按需路由反射優(yōu)化部署工作。

首先，在全國7 個一級RR 集群中，先各選擇一臺RR，與其下聯(lián)的AR 逐步建立VPN ORF 鄰居關系，使能VPN ORF 功能。完成配置后，該RR 只向下聯(lián)AR通告其需要的VPN 路由信息，實現(xiàn)對AR 的按需路由反射。其次，在完成下聯(lián)配置的RR 之間，建立VPN ORF 路由鄰居關系，交換VPN ORF 路由信息。完成配置后，RR 只能接收到對方RR 反射的省際路由信息，實現(xiàn)相應RR 間的按需路由反射。之后對7 個RR 集群中的另外一臺進行部署，與其下聯(lián)的AR 逐步建立VPNORF 鄰居關系，使能VPN ORF 功能。最后，完成所有RR 之間的VPN ORF 路由鄰居關系建立，實現(xiàn)所有RR間的按需路由反射優(yōu)化部署[5]。

3.2 河南聯(lián)通B網(wǎng)VRR按需路由反射優(yōu)化完成情況

河南所屬一級MP-iBGP 路由反射簇為武漢VRR1/上海VRR2。河南鶴壁作為集團IP 承載B 網(wǎng)VPN ORF部署試點率先完成了至武漢VRR1 方向的按需路由反射優(yōu)化實施工作，路由優(yōu)化效果顯著，基于此集團完善實施方案進一步開展了全網(wǎng)批量優(yōu)化實施。批量實施以RR 為準，因為每臺AR 與同一集群的兩臺RR 互聯(lián)，需要分批部署。河南聯(lián)通IP 承載B 網(wǎng)AR/ER 設備至所屬VRR 按需路由反射優(yōu)化工作完成情況如表1 所示。

至此，河南聯(lián)通IP 承載B 網(wǎng)全網(wǎng)40 臺AR/ER 設備按照集團規(guī)劃已經(jīng)全部完成了至武漢/ 上海一級VRR按需路由反射優(yōu)化，并在優(yōu)化操作完成后嚴格進行了全業(yè)務驗證工作保證本次優(yōu)化方案順利實施。

3.3 優(yōu)化效果

VRR 按需路由優(yōu)化后，AR/ER 設備只從RR 接收到本地期望的路由，減少了路由接收壓力，同時RR 集群間僅反射通告省際VPN 路由信息減少了域內(nèi)路由容量的壓力，同時也節(jié)約了骨干帶寬資源，提高了設備處理能力。

以河南鶴壁AR 節(jié)點至武漢VRR 間按需路由反射優(yōu)化部署為例，優(yōu)化前后路由條目對比：

1）按需路由優(yōu)化前，在武漢VPN RR 設備上查看向鶴壁某臺AR 上發(fā)布的VPNv4 路由條目約136 萬條，VPNv6 路由條目約13 萬條：

<HBWH-GS-N40E-V1>dis bgp vpnv4 all routingtable peer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 1360574

<HBWH-GS-N40E-V1>dis bgp vpnv6 all routingtablepeer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 132676

2）按需路由優(yōu)化后，在武漢VPN RR 設備上查看向鶴壁某臺AR 上發(fā)布的VPNv4 路由條目約為11.5 萬條，減少了約124.5 萬條；VPNv6 路由條目為0 條（鶴壁目前未有IPv6 VPN業(yè)務地址接入），減少了約13萬條：

<HBWH-GS-N40E-V1>dis bgp vpnv4 all routingtable peer 116.XX.16.160 advertised-routes statistics 

Advertised routes total: 115116

<HBWH-GS-N40E-V1>dis bgp vpnv6 all routingtable peer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 0

河南聯(lián)通IP 承載B 網(wǎng)40 臺AR/ER 設備歸屬于武漢VPN_RR1和上海VPN_RR2構成的CLUSTER_6 地址簇。據(jù)統(tǒng)計，按需路由優(yōu)化前，對于作為clicent 的AR/ER 設備來說，每臺AR 需要從兩個方向的VRR 接收約272 萬條vpnv4 路由，全省40 臺AR/ER 設備從2 臺VRR 接收合計約10 880 萬條vpnv4 路由；按需路由優(yōu)化后，每臺AR 從兩方向的VRR 接收約24 萬條vpnv4 路由，全省40 臺AR/ER 設備從2 臺VRR 累計接收近960 萬條vpnv4 路由，優(yōu)化減少了超過90% 的路由信息，極大地節(jié)約了帶寬、設備資源，加快了路由收斂速度。

4   結束語

為保證公司產(chǎn)業(yè)互聯(lián)網(wǎng)CUII 與B 網(wǎng)融合工作的順利開展，滿足通信云、5GC、云聯(lián)網(wǎng)等業(yè)務的綜合承載需求，本文通過對IP 承載B 網(wǎng)VPN 路由反射處理機制問題的研究，提出了在B 網(wǎng)進行VRR 按需路由反射優(yōu)化的部署。通過在全網(wǎng)VRR 與AR、VRR 與VRR 之間部署ORF 特性實現(xiàn)了VPN 路由按需反射，避免了大量無用路由信息在網(wǎng)絡中傳播，大大節(jié)約了網(wǎng)絡資源，加快了路由收斂速度，為后期網(wǎng)絡融合降低了難度。

參考文獻：

[1] 朱智輝.福州電信城域網(wǎng)路由優(yōu)化改造方案研究[D].南京:南京郵電大學,2011.

[2] 胡媛.基于集群路由技術的IP網(wǎng)的設計與實現(xiàn)[D].西安:西安電子科技大學,2010.

[3] 張奎.電信級IP承載網(wǎng)的研究與設計[D].成都:電子科技大學,2009.

[4] 聶亞南.基于MPLS的多業(yè)務承載研究[D].北京:北京郵電大學,2008.

[5] 徐亦璐,石永革,許小紅.路由反射技術應用于MPLS VPN的研究[J].微計算機信息,2008(18):96-98.

[6] 鄧麗云.淺析MPLS BGP VPN技術及應用網(wǎng)絡[J].中國新通信,2019,21(8):112-114.

[7] 陳軍華,王忠民.BGP/MPLS VPN實現(xiàn)原理[J].計算機工程,2006(23):124-126.

[8] 王琳.基于BGP和OSPF的VPN業(yè)務網(wǎng)接入優(yōu)化[J].電信技術,2019(10):64-70,75.

（本文來源于《電子產(chǎn)品世界》雜志2021年10月期）