12月19日－20日，由騰訊主辦的2020 Techo Park開發(fā)者大會在京舉行，全球200余位頂級技術(shù)專家以及數(shù)千位參會者在大會現(xiàn)場就云計算、大數(shù)據(jù)和人工智能等前沿技術(shù)話題展開深度交流。

作業(yè)幫基礎架構(gòu)部架構(gòu)方向負責人呂亞霖受邀出席本次大會的“企業(yè)IT架構(gòu)云原生的必經(jīng)之路”容器分論壇，并在現(xiàn)場發(fā)表《作業(yè)幫容器化探索和落地實踐》主題演講，分享作業(yè)幫容器化背景、目標、落地、收益及未來規(guī)劃，深入剖析容器在教育行業(yè)落地所面臨的問題、挑戰(zhàn)以及相應的高效解決方案。

云原生技術(shù)架構(gòu)是有效手段，K8S及其生態(tài)是重要抓手

隨著云原生技術(shù)的成熟和普及，金融、教育、游戲等各個領(lǐng)域越來越多的企業(yè)IT架構(gòu)正在向云原生架構(gòu)轉(zhuǎn)型。在此背景下，作業(yè)幫在技術(shù)和實踐中所取得的一系列進展與成績，成為教育領(lǐng)域企業(yè)云原生上云轉(zhuǎn)型的一大代表，為行業(yè)提供了可供借鑒的成功案例。

呂亞霖在演講中首先分享了作業(yè)幫技術(shù)體系現(xiàn)狀，他表示，作業(yè)幫自2015年成立至今，一直保持高速增長，尤其是在今年更是實現(xiàn)了規(guī)模的成倍增長，發(fā)展到現(xiàn)在已擁有數(shù)千個業(yè)務應用、數(shù)萬個應用實例、數(shù)十萬計算核數(shù)，未來一段時間內(nèi)將會依然保持增長勢頭。

而在規(guī)�；�加速發(fā)展的同時，作業(yè)幫的復雜度也在急劇增加。呂亞霖表示，作業(yè)幫已從最開始的拍照搜題工具類型應用，演化成教研、工具一體并覆蓋整個教學領(lǐng)域，涵蓋了從低幼、K12到成人教育的全階段，技術(shù)棧則由PHP、C＋＋演化成涵蓋了現(xiàn)在所有主流語言的多語言棧，由此也面臨著高可用、極致性能、高并發(fā)的一系列問題，在可用性和性能的要求上比大部分互聯(lián)網(wǎng)業(yè)務要求更加苛刻。

在業(yè)務的極速擴張下，控制其架構(gòu)復雜度同時保證業(yè)務服務穩(wěn)定性、成本以及效率成為作業(yè)幫容器化的核心問題。對此，呂亞霖指出，用云原生技術(shù)架構(gòu)，基礎設施接管業(yè)務中大量非功能邏輯，實現(xiàn)彈性、可觀測、韌性、自動化、可持續(xù)等特性是有效手段，K8S以及其生態(tài)是重要抓手。

呂亞霖進一步闡述了作業(yè)幫容器化層級和其背后的技術(shù)思考，“在虛擬機時代，應用直接運行在資源上，所以底層資源的變更對上層應用是有感知的，應用通過服務治理手段來保證業(yè)務的高可用、性能和可擴展性，但是建立和運維這種體系的成本高昂。而在容器化體系下的云原生架構(gòu)，K8S通過對下游資源的抽象，來抹平資源差異和變更，由此資源對上層服務透明，上層服務不關(guān)系底層資源的細節(jié)和變化。同時，對上層應用做服務化，用應用框架落地規(guī)范和標準，降低接入成本。”

CPU高峰調(diào)度應根據(jù)未來使用量，日志檢索針對元數(shù)據(jù)

呂亞霖強調(diào)，在容器化落地進程中，首先明確業(yè)務服務構(gòu)建容器的原則是很重要的，一是避免陷入重大問題缺陷，二是有利于容器生態(tài)的快速接入。

“容器化落地的內(nèi)核主要是集中在IPVS和Cgroups，內(nèi)核上我們遇到了很經(jīng)典的ipvsreuse mode問題，也有在高并發(fā)下網(wǎng)絡毛刺的問題，我們通過騰訊tlinux內(nèi)核團隊協(xié)作解決了這些問題�！眳蝸喠卦诖髸�現(xiàn)場分享了容器化落地的內(nèi)核以及原生K8S優(yōu)化等內(nèi)容。

“K8S默認調(diào)度器有很多不足，比如高峰調(diào)度不均衡問題，我們先后做過均衡調(diào)度，真實調(diào)度，優(yōu)化后發(fā)現(xiàn)在業(yè)務deployment時，其實是均衡的，但是到了高峰時段，又變得不均衡，因為大部分業(yè)務場景下CPU高峰增量不是線性的，所以我們的建議是做高峰預測調(diào)度，不要根據(jù)現(xiàn)在的使用量來調(diào)度，而是要根據(jù)未來的使用量。”

接下來，呂亞霖進一步從容器化落地服務發(fā)現(xiàn)注冊的控制面和數(shù)據(jù)面進行了詳細說明，他表示，在容器化過渡期間，虛擬機和容器會并行很長一段時間，所以需要解決老的虛擬機和容器化互通的問題，從控制面上來看，通過一個控制組件，來監(jiān)聽虛擬機的名字服務，將服務注冊到K8S集群的service里，監(jiān)聽其變更，將變更同步到容器。而在數(shù)據(jù)面，容器通過service直接訪問虛擬機，service來做負載均衡，虛擬機訪問容器化，則通過一個東西向的ingress服務，訪問容器內(nèi)的服務單元。

此外，Service Mesh對于像作業(yè)幫等使用多語言的公司來說優(yōu)勢非常明顯。呂亞霖指出，其優(yōu)勢一是低入侵，業(yè)務幾乎無感，二是多語言支持，三是與服務感知的結(jié)合較好。

資源彈性調(diào)度＋在離線混合部署，部分業(yè)務成本下降43％

作為資源彈性調(diào)度的重要參考背景，作業(yè)幫容器化落地過程中的時間周期特性十分明顯，高峰時段是平峰時段的20倍，是低峰時段的上百倍，同時流量上升曲線較陡，凌晨到5點前流量較少。此外，遇到寒暑高峰或者期中、期末考試，也會有很大的資源使用量。

基于這一特性，呂亞霖和團隊主要通過兩種HPA來擴縮POD，一個是定時HPA，較為適合時間點明確的業(yè)務，另一個是autoHPA，用來應急擴縮，防止服務出現(xiàn)容量問題。同時，底層資源層面則有兩個池子，一個是固定池，里面是裸金屬服務，長時間使用，另一個是動態(tài)池，由一批按需的虛擬機構(gòu)成，平時處于關(guān)機狀態(tài)，當資源緊張時則會開機加入集群，用來應對非預期的峰值。

除此之外，在離線業(yè)務容器化混合部署則成為成本節(jié)約優(yōu)化的一大利器。據(jù)呂亞霖介紹，正常在線業(yè)務有大量的低負載時段，作業(yè)幫把大數(shù)據(jù)離線和視頻音頻轉(zhuǎn)解碼服務均容器化，統(tǒng)一在K8S調(diào)度，部署到在線K8S集群，由此帶來的收益是非常大的，而這里面主要的技術(shù)則是利用tlinux的cpu隔離策略。

而從異構(gòu)計算來看，在GPU服務的容器化方面，作業(yè)幫的主要策略是gpu－share方案，通過顯存和算力進行POD調(diào)度，從上游流量入口側(cè)對算力進行隔離，來保證GPU服務穩(wěn)定性，同時實現(xiàn)資源利用率的最大化�！霸谖覀兊膱鼍跋拢�大規(guī)模使用GPU幾千卡，比較常見的情況是卡故障，這時候就需要做故障轉(zhuǎn)移和資源下線操作�！眳蝸喠胤Q。

此外，作為可用性保證的重要環(huán)節(jié)之一，在多云K8S建設方面，作業(yè)幫在多個云廠商部署獨立的K8S集群，實現(xiàn)統(tǒng)一K8S的管理調(diào)度層，云內(nèi)流量閉環(huán)，數(shù)據(jù)存儲專線同步，源頭DNS／HTTPDNS切流。

在多重舉措的合力推動下，作業(yè)幫容器化的收益顯著，同樣業(yè)務遷移前后，使用了HPA和在離線混合部署后，成本下降43％，穩(wěn)定性提升到99．995％，接口響應提升10％。由此，有效支持了作業(yè)幫業(yè)務的快速迭代，秒級急速擴縮容，服務運行態(tài)規(guī)范落地和統(tǒng)一的運維環(huán)境，多云的環(huán)境統(tǒng)一，提升服務可用性。這也便于云間相互自由遷徙，實現(xiàn)單云故障的應急預案，通過優(yōu)化資源碎片，在離線混合部署，自動擴縮容，整體成本進一步下降。

在演講最后，談及對于容器化未來的規(guī)劃展望時，呂亞霖提出四大方向，包括更大規(guī)模和全時段的在離線混合部署，K8S與Serverless的結(jié)合是未來的趨勢，中間件容器化，以及大數(shù)據(jù)服務容器化。