隨著京東業(yè)務(wù)的高速增長(zhǎng)，作為應(yīng)用入口的負(fù)載均衡，大流量大并發(fā)帶來(lái)的挑戰(zhàn)越來(lái)越嚴(yán)峻。本文主要介紹了京東商城設(shè)計(jì)和實(shí)踐的一套高可靠，高性能的負(fù)載均衡器，我們命名為SKYLB。是一個(gè)使用intel DPDK報(bào)文轉(zhuǎn)發(fā)庫(kù)，實(shí)現(xiàn)運(yùn)行在通用X86服務(wù)器上自研的分布式負(fù)載均衡服務(wù)。配合網(wǎng)絡(luò)路由器的OSPF或者BGP協(xié)議，組成承擔(dān)京東數(shù)據(jù)中心核心四層負(fù)載均衡的集群。最大限度的發(fā)揮普通X86服務(wù)器硬件資源的性能，實(shí)現(xiàn)一套適合于京東商城業(yè)務(wù)的低成本，分布式，高性能，可擴(kuò)展的智能負(fù)載均衡系統(tǒng)。

介紹

京東商城目前是國(guó)內(nèi)最大的電商企業(yè)。京東的機(jī)房?jī)?nèi)部的流量爆炸式快速的增長(zhǎng)。早在2016年初京東商城已經(jīng)將所有的業(yè)務(wù)系統(tǒng)全部遷移到容器平臺(tái)JDOS，線上百萬(wàn)+容器實(shí)例穩(wěn)定運(yùn)行。大流量的負(fù)載均衡的分配顯得至關(guān)重要，也是京東商城新一代軟件定義數(shù)據(jù)中心的關(guān)鍵基礎(chǔ)服務(wù)設(shè)施之一。

負(fù)載均衡器一般介于網(wǎng)絡(luò)上的路由器與后端服務(wù)器之間，負(fù)責(zé)將每個(gè)數(shù)據(jù)包通過(guò)一定的服務(wù)匹配，將其轉(zhuǎn)發(fā)到后端服務(wù)器節(jié)點(diǎn)。充分考慮到京東商城數(shù)據(jù)中心全容器及全三層BGP組網(wǎng)的模型。以及基于DPDK的幾乎達(dá)到網(wǎng)卡限速的性能，我們?cè)谠O(shè)計(jì)負(fù)載均衡時(shí)，僅考慮實(shí)現(xiàn)了FULLNAT模式，即出向和入向的流量均通過(guò)負(fù)載均衡器，基本數(shù)據(jù)流程圖如下圖1所示：

圖1負(fù)載均衡流程圖

一般根據(jù)業(yè)務(wù)及流量的規(guī)模的不同階段來(lái)選擇使用不同的負(fù)載均衡，通常我們?cè)谪?fù)載均衡的選擇上大致有以下兩個(gè)方向：1)硬件負(fù)載均衡，如F5。CitrixNetscaler等；2)軟件負(fù)載均衡，如基于LVS，Haproxy，Nginx等開(kāi)源軟件來(lái)實(shí)現(xiàn)的負(fù)載均衡。對(duì)于上述兩種負(fù)載均衡的選擇，各有優(yōu)缺點(diǎn)，如下：

1）硬件負(fù)載均衡

可擴(kuò)展性受限，無(wú)法跟上業(yè)務(wù)流量增長(zhǎng)的需求。以及如618、雙十一大促等瞬間流量高峰。

雖然可以成對(duì)部署避免單點(diǎn)故障，但是一般只能提供1+1冗余。

缺乏互聯(lián)網(wǎng)快速迭代的靈活性，升級(jí)成本昂貴。

一般只能根據(jù)網(wǎng)絡(luò)的情況來(lái)設(shè)定負(fù)載均衡，無(wú)關(guān)乎實(shí)際系統(tǒng)和硬件的情況。

成本較高。

2）基于開(kāi)源軟件的負(fù)載均衡

可以根據(jù)實(shí)際系統(tǒng)和應(yīng)用的狀態(tài)來(lái)合理的負(fù)載，迭代、擴(kuò)容和部署相對(duì)方便。

單臺(tái)負(fù)載均衡性能相對(duì)較差，需要用集群來(lái)支撐負(fù)載均衡的整體性能。

性?xún)r(jià)比較低。

我們的目標(biāo)：

1. 設(shè)計(jì)實(shí)現(xiàn)一套高可靠、高性能、易維護(hù)及性?xún)r(jià)比高的L4負(fù)載均衡系統(tǒng),。
2. 基于通用X86_64服務(wù)器框架，以及支持DPDK網(wǎng)卡硬件，易開(kāi)發(fā)和移植。
3. 方便部署、刪除和維護(hù)，集成到京東軟件定義數(shù)據(jù)中心（JDOS2.0）系統(tǒng)，作為京東下一代軟件定義數(shù)據(jù)中心的基礎(chǔ)組件。
4. 負(fù)載均衡下的服務(wù)器基于系統(tǒng)應(yīng)用負(fù)載流量均攤，負(fù)載均衡器提供N+1 冗余，借助OSPF/BGP控制負(fù)載均衡器的流量負(fù)載。
5. 基于系統(tǒng)應(yīng)用級(jí)別的探活，自動(dòng)故障檢測(cè)及流量快速恢復(fù)。

本文主要介紹了SKYLB一種基于DPDK平臺(tái)實(shí)現(xiàn)的快速可靠的軟件網(wǎng)絡(luò)負(fù)載均衡系統(tǒng)。不僅可以快速的橫向擴(kuò)展，還可以最大限度的提升負(fù)載均衡單個(gè)NIC的處理轉(zhuǎn)發(fā)速度，來(lái)實(shí)現(xiàn)L4的負(fù)載均衡。借助DPDK的優(yōu)勢(shì)，如便利的多核編程框架、巨頁(yè)內(nèi)存管理、無(wú)鎖隊(duì)列、無(wú)中斷poll-mode 網(wǎng)卡驅(qū)動(dòng)、CPU親和性等等來(lái)實(shí)現(xiàn)快速的網(wǎng)卡收發(fā)及處理報(bào)文，后續(xù)考慮TCP/IP 用戶態(tài)協(xié)議實(shí)現(xiàn)和優(yōu)化，進(jìn)而實(shí)現(xiàn)L7負(fù)載均衡。

系統(tǒng)概覽

工作場(chǎng)景

SKYLB部署在京東容器集群JDOS的前端，對(duì)于一個(gè)應(yīng)用集群，發(fā)布一個(gè)或多個(gè)VIP到SKYLB服務(wù)上，當(dāng)客戶端需要訪問(wèn)應(yīng)用節(jié)資源URL，首先通過(guò)域名訪問(wèn)JD智能分布式DNS服務(wù)（SKYDNS詳見(jiàn)https://github.com/ipdcode/skydns）, SkyDns會(huì)智能返回當(dāng)前最近且狀態(tài)正常且負(fù)載正常的VIP服務(wù)的IP,客戶端就會(huì)向VIP去請(qǐng)求連接。

SKYLB節(jié)點(diǎn)上運(yùn)行了一個(gè)路由發(fā)布服務(wù)agent，我們使用該agent與開(kāi)啟OSPF/BGP的路由器做路由交互，當(dāng)SKYLB的上層路由器接收到請(qǐng)求VIP的數(shù)據(jù)包時(shí)，路由器通過(guò)（OSPF/BGP）的等價(jià)多路徑轉(zhuǎn)發(fā)協(xié)議選擇一個(gè)可以使用的發(fā)布該VIP的SKYLB節(jié)點(diǎn)，將報(bào)文轉(zhuǎn)發(fā)給一個(gè)SKYLB節(jié)點(diǎn)。通過(guò)這種策略來(lái)實(shí)現(xiàn)VIP的發(fā)布和橫向容量負(fù)載能力擴(kuò)展。

當(dāng)報(bào)文通過(guò)上述步驟到達(dá)SKYLB負(fù)載均衡后，通過(guò)常用的負(fù)載均衡策略(round robin，一致性hash ，最小連接數(shù))，將數(shù)據(jù)包送到相應(yīng)的后端容器服務(wù)。

系統(tǒng)架構(gòu)

JingdongDatacenter Operating System(JDOS) 是基于JDOS提供物理機(jī)/虛擬機(jī)/容器的統(tǒng)一管理系統(tǒng)、配備靈活的網(wǎng)絡(luò)互連、可靠的分布式共享存儲(chǔ)，實(shí)現(xiàn)軟件定義數(shù)據(jù)中心的計(jì)算資源統(tǒng)一管理和集群管理。通過(guò)使用JDOS，可以直接迅速得到任意需要的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全等方面的資源和能力。SKYLB作為整個(gè)JDOS系統(tǒng)的一個(gè)重要組成部分，負(fù)責(zé)提供集群的L4負(fù)載均衡能力，通過(guò)restful API等接口與JDOS系統(tǒng)交互。用戶可以通過(guò)統(tǒng)一調(diào)度管理平臺(tái)便捷的創(chuàng)建、刪除、遷移負(fù)載均衡系統(tǒng)。同時(shí)多個(gè)應(yīng)用服務(wù)進(jìn)行流量分發(fā)的負(fù)載均衡服務(wù)，從而擴(kuò)展應(yīng)用系統(tǒng)對(duì)外的服務(wù)能力，并且通過(guò)消除單點(diǎn)故障提高應(yīng)用系統(tǒng)的可用性。

系統(tǒng)的基本架構(gòu)如下圖2所示，每一個(gè)集群配備一組可容災(zāi)的負(fù)載均衡控制中心,主要通過(guò)restful api接口負(fù)責(zé)與JDOS調(diào)度中心交互，接收vip的配置請(qǐng)求。同時(shí)我們?cè)诿恳粋€(gè)SKYLB的節(jié)點(diǎn)上運(yùn)行一個(gè)代理進(jìn)程，該代理進(jìn)程通過(guò)gRPC與控制中心連接。接收控制中心下達(dá)的創(chuàng)建及刪除vip,后端server endpoint服務(wù)等一系列指令，通過(guò)load balancer 提供的命令行執(zhí)行相應(yīng)的指令。接收l(shuí)oad balancer 關(guān)于流量及報(bào)文的監(jiān)控信息，對(duì)于流量及監(jiān)控進(jìn)行告警，并且通知控制中心和調(diào)度中心進(jìn)行擴(kuò)容等操作。

代理進(jìn)程同時(shí)還負(fù)責(zé)后端服務(wù) server endpoint基于服務(wù)可用性的健康檢查，及時(shí)根據(jù)后端服務(wù)的狀態(tài)通過(guò)命令行進(jìn)行添加和刪除的操作。

圖2系統(tǒng)架構(gòu)圖

優(yōu)勢(shì)

1）擴(kuò)展性

支持動(dòng)態(tài)添加和刪除后端服務(wù)的容器，實(shí)現(xiàn)無(wú)縫的伸縮；在伸，縮過(guò)程中，對(duì)相關(guān)調(diào)用和訪問(wèn)者無(wú)影響。

2）高可用性

提供多活負(fù)載均衡，有多個(gè)VIP，它們對(duì)應(yīng)一個(gè)域名，自研DNS服務(wù)SKYDNS會(huì)根據(jù)請(qǐng)求的客戶端IP智能解析可用的VIP，返回給用戶，從而實(shí)現(xiàn)更高的可用性；即使一個(gè)VIP不可用，也不會(huì)影響業(yè)務(wù)系統(tǒng)對(duì)外提供服務(wù)。同時(shí)借助OSPF/BGP等協(xié)議實(shí)現(xiàn)負(fù)載均衡的橫向擴(kuò)充

3）服務(wù)能力自動(dòng)可調(diào)

SKYLB根據(jù)VIP實(shí)際接收流量的負(fù)載需要調(diào)整負(fù)載均衡的服務(wù)能力，比如流量、連接數(shù)的控制等指標(biāo)。

功能特點(diǎn)

1）協(xié)議支持

負(fù)載均衡支持包含TCP、UDP協(xié)議的四層負(fù)載均衡，配備健全的鏈路跟蹤機(jī)制，以及多種調(diào)度策略，用戶可以根據(jù)服務(wù)的需要?jiǎng)?chuàng)建合適自己的負(fù)載均衡。

2）高可用性

支持容器的健康檢查，除傳統(tǒng)的IP+Port，并加入對(duì)URL檢查，保證應(yīng)用可用性： 健康檢查頻率可自定義；一旦探測(cè)到異常，則不會(huì)將流量再分配到這些異常實(shí)例，保證應(yīng)用可用性。

3）集群部署，多層次容錯(cuò)機(jī)制： 負(fù)載均衡采用集群部署，支持熱升級(jí)，機(jī)器故障和集群維護(hù)對(duì)用戶完全透明，結(jié)合DNS使用還可支持全局負(fù)載均衡。

4）靈活性

支持多種流量調(diào)度算法，使得流量分配更均勻： 負(fù)載均衡支持加權(quán)輪詢(xún)和最小連接數(shù)這兩種調(diào)度算法，可根據(jù)自身需求選擇相應(yīng)的算法來(lái)分配用戶訪問(wèn)流量，并支持設(shè)置后端容器權(quán)重，使得流量調(diào)度更均勻，提升負(fù)載均衡能力。

支持會(huì)話保持，滿足用戶個(gè)性化需求： 負(fù)載均衡通過(guò)IP地址實(shí)現(xiàn)會(huì)話保持，可將一定時(shí)間內(nèi)來(lái)自同一用戶的訪問(wèn)請(qǐng)求，轉(zhuǎn)發(fā)到同一個(gè)后端容器上進(jìn)行處理，從而實(shí)現(xiàn)用戶訪問(wèn)的連續(xù)性。

5）易用性

提供多種管理途徑，輕松操縱負(fù)載均衡： 用戶可通過(guò)控制臺(tái)輕松實(shí)現(xiàn)負(fù)載均衡器的配置、釋放等功能。后續(xù)會(huì)開(kāi)放標(biāo)準(zhǔn)的API或SDK提供給用戶，從而自己開(kāi)發(fā)對(duì)負(fù)載均衡的控制管理。

系統(tǒng)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)

負(fù)載均衡模式選擇

常用的負(fù)載均衡模式有DR，NAT，TUNNEL，F(xiàn)ULLNAT。每種模式都有自己的優(yōu)勢(shì)和使用場(chǎng)景，業(yè)內(nèi)對(duì)每種模式的分析比較文檔很多，不再介紹。由于JDOS容器網(wǎng)絡(luò)需要VLAN隔離，而FULLNAT剛好支持LB和RS跨VLAN通信，結(jié)合我們自身容器集群的需求，我們?cè)趯?shí)現(xiàn)SKYLB時(shí)主要考慮支持FULLNAT模式。圖3是SKYLB的FULLNAT負(fù)載均衡模式中數(shù)據(jù)包的流向圖。SKYLB位于客戶端和后端服務(wù)之間，對(duì)于客戶端的請(qǐng)求報(bào)文，將目的地址替換成后端服務(wù)的地址，源地址替換成SKYLB的本地地址，對(duì)于后端服務(wù)的響應(yīng)報(bào)文，將目的地址替換成客戶端地址，源地址替換成SKYLB的VIP地址。

圖3 FULLNAT模式下SKYLB的數(shù)據(jù)包流向圖

借助DPDK實(shí)現(xiàn)高速轉(zhuǎn)發(fā)

Data Plane DevelopmentKit（DPDK）：是運(yùn)行在Linux 用戶態(tài)，實(shí)現(xiàn)X86通用平臺(tái)網(wǎng)絡(luò)報(bào)文快速處理的庫(kù)和驅(qū)動(dòng)的集合，如下圖4所示，其主要特點(diǎn)：

多核編程框架及CPU親和性

每個(gè)NUMA節(jié)點(diǎn)有單獨(dú)的CPU和本地內(nèi)存

CPU訪問(wèn)本地內(nèi)存速度比訪問(wèn)遠(yuǎn)端內(nèi)存快，避免CPU訪問(wèn)遠(yuǎn)端內(nèi)存

注意網(wǎng)卡掛載的NUMA節(jié)點(diǎn)巨頁(yè)內(nèi)存管理

巨頁(yè)(HugePage)

普通內(nèi)存頁(yè)面大小4KB，巨頁(yè)內(nèi)存頁(yè)面大小2MB/1GB

減少頁(yè)表項(xiàng)數(shù)目，降低TLB miss

使用大頁(yè)面比使用4K的頁(yè)面性能提高10%~15%

零拷貝，報(bào)文數(shù)據(jù)及轉(zhuǎn)發(fā)內(nèi)存零拷貝。

無(wú)鎖隊(duì)列

使用無(wú)鎖隊(duì)列，入隊(duì)出隊(duì)無(wú)需阻塞等待鎖資源

poll-mode網(wǎng)卡驅(qū)動(dòng)

DPDK網(wǎng)卡驅(qū)動(dòng)完全拋棄中斷模式，基于輪詢(xún)方式收包

圖4 DPDK相關(guān)模塊

包處理架構(gòu)實(shí)現(xiàn)

圖5是SKYLB基于RTC數(shù)據(jù)包處理模型實(shí)現(xiàn)的架構(gòu)。SKYLB選擇一個(gè)核作為控制核，執(zhí)行命令配置，與內(nèi)核交換，ARP表維護(hù)等任務(wù)。其他的核作為工作核，每個(gè)工作核輪詢(xún)網(wǎng)卡的一個(gè)RX隊(duì)列，執(zhí)行數(shù)據(jù)包處理任務(wù)。SKYLB利用網(wǎng)卡的RSS功能實(shí)現(xiàn)客戶端請(qǐng)求報(bào)文的分流，利用網(wǎng)卡FDIR功能實(shí)現(xiàn)后端服務(wù)響應(yīng)報(bào)文的分流。SKYLB對(duì)報(bào)文分流目的是要保證客戶端的請(qǐng)求報(bào)文和其對(duì)應(yīng)的服務(wù)端響應(yīng)報(bào)文到達(dá)同一個(gè)工作核上。在這個(gè)目的達(dá)成的前提下，SKYLB的業(yè)務(wù)實(shí)現(xiàn)會(huì)簡(jiǎn)單和高效很多。每個(gè)工作核維護(hù)一張session表，同于保存客戶端和后端服務(wù)的連接信息。SKYLB不需要考慮對(duì)session表加鎖，因?yàn)槊總€(gè)工作核的session表都是獨(dú)立的。

圖5 SKYLB的RTC包處理模型框架圖

我們?cè)O(shè)計(jì)SKYLB每個(gè)工作核獨(dú)占至少一個(gè)LIP，并將LIP信息寫(xiě)入網(wǎng)卡配置。圖6是網(wǎng)卡對(duì)IP報(bào)文分流的流程圖。圖中dst_ip即SKYLB為每個(gè)工作核分配的LIP。網(wǎng)卡對(duì)后端服務(wù)響應(yīng)報(bào)文的目的地址LIP匹配成功，將報(bào)文送到綁定的RX隊(duì)列，沒(méi)有匹配的報(bào)文則可以認(rèn)為是客戶端的請(qǐng)求報(bào)文，按RSS流程分配RX隊(duì)列。

圖6 網(wǎng)卡對(duì)IP報(bào)文分流過(guò)程圖

SKYLB在啟動(dòng)過(guò)程中還會(huì)為每個(gè)物理口創(chuàng)建一個(gè)KNI接口，控制核負(fù)責(zé)輪詢(xún)KNI接口。該接口主要用于外部程序quagga向路由器發(fā)布VIP信息，Agent檢查后端服務(wù)健康狀態(tài)。

SKYLB目前支持的負(fù)載均衡調(diào)度算法有一致性hash，round robin和最小連接數(shù)算法。

Session五元組，SKYLB采用五元組來(lái)實(shí)現(xiàn)會(huì)話的管理功能，如下圖7 所示：

圖7 SKYLB 五元組管理Session

負(fù)載均衡冗余設(shè)計(jì)

SKYLB使用BGP或者OSPF的模式組成集群，通過(guò)上述協(xié)議將數(shù)據(jù)包散列到集群中各個(gè)節(jié)點(diǎn)上，保證單臺(tái)SKYLB故障或者恢復(fù)后能動(dòng)態(tài)的將機(jī)器添加及刪除。其冗余實(shí)現(xiàn)設(shè)計(jì)如下圖6所示：

圖8 SKYLB的冗余設(shè)計(jì)

性能優(yōu)化實(shí)踐

良好的流程設(shè)計(jì)是性能提升的關(guān)鍵，這方面的流程涉及和業(yè)務(wù)相關(guān)，缺乏共性，因此不做詳細(xì)闡述。主要介紹SKYLB性能優(yōu)化過(guò)程中使用的其他優(yōu)化方法。

恰當(dāng)?shù)厥褂胷te_prefetch0()，可以減少cache-miss次數(shù)，避免當(dāng)前函數(shù)成為性能熱點(diǎn)。性能調(diào)優(yōu)工具perf可以幫助我們分析應(yīng)該在哪處代碼使用預(yù)取。例如我們使用perf發(fā)現(xiàn)報(bào)文處理函數(shù)中有一個(gè)處代碼是性能熱點(diǎn)，該代碼用于讀取新報(bào)文的類(lèi)型字段并判斷，分析認(rèn)為很可能是cache-misses造成的。在進(jìn)入報(bào)文處理函數(shù)前使用rte_prefetch0()，有效避免該函數(shù)成為熱點(diǎn)。

恰當(dāng)?shù)厥褂胠ikely()和unlikely()，可以減少分支預(yù)測(cè)失敗的次數(shù)。我們?cè)赟KYLB代碼的一處分支語(yǔ)句中使用unlikely()優(yōu)化，性能提升明顯。分支預(yù)測(cè)優(yōu)化點(diǎn)可以借助perf分析確定，也可以根據(jù)自己對(duì)代碼執(zhí)行流程的理解確定。

盡量減少鎖的使用。SKYLB中配置信息不經(jīng)常變化，我們沒(méi)有單獨(dú)為每個(gè)可能爭(zhēng)用的資源加鎖，而是只用一把DPDK提供的讀寫(xiě)鎖，每個(gè)讀線程在加讀鎖后，處理一批報(bào)文，然后釋放讀鎖。既簡(jiǎn)化流程，又減少了操作讀寫(xiě)鎖的開(kāi)銷(xiāo)(DPDK讀寫(xiě)鎖的開(kāi)銷(xiāo)并不是很大)。

性能數(shù)據(jù)

測(cè)試環(huán)境：

CPU：Intel(R) Xeon(R) CPU E5-2640 v3

NIC：intel 82599ES 10-GigabitSFI/SFP+ Network Connection

測(cè)試配置：

負(fù)載均衡模式：FULLNAT

調(diào)度算法：一致性hash

配置：CPU占用8核 內(nèi)存占用4G

性能測(cè)試數(shù)據(jù)：

1）UDP發(fā)包，測(cè)試轉(zhuǎn)發(fā)性能，我們使用了SKYDNS作為后端服務(wù)，客戶端采用UDP請(qǐng)求DNS

表1 SKYLB基于UDP的DNS性能測(cè)試數(shù)據(jù)

2）NGINX作為后端服務(wù)，壓測(cè)HTTP性能。

配置：CPU占用8核 內(nèi)存占用4G

表2 SKYLB HTTP性能測(cè)試數(shù)據(jù)

圖9 SKYLB HTTP 性能測(cè)試指標(biāo)圖

圖10 SKYLBhttp 性能測(cè)試指標(biāo)圖

總結(jié)

本文主要介紹了SKYLB，一種的基于intel DPDK平臺(tái)開(kāi)發(fā)的負(fù)載均衡器。其接近網(wǎng)卡線速處理及轉(zhuǎn)發(fā)能力，靈活的部署，多樣的監(jiān)控以及可靠的穩(wěn)定性?；旧细采w所有4層負(fù)載均衡的業(yè)務(wù)處理需求，配合集群管理以及調(diào)度，作為京東數(shù)據(jù)中心操作系統(tǒng)（JDOS）的一個(gè)重要的組成部分，在京東數(shù)據(jù)中心發(fā)揮至關(guān)重要的作用。