云游戲超1億小時穩定運行的云游億小元境背后，元境保障體系的戲超行最佳實踐

發布時間：2022-02-22 13:32:04來源：逗游作者：逗游網

• 游戲類別：槍戰射擊
• 游戲大小：33.52M
• 游戲語言：簡體中文
• 游戲版本：v4.9.2.3970405

節假日一直是游戲行業的旺季,在“就地過年”的倡導下,春節期間的流量持續高漲,大多數游戲發行商非常重視這個時間窗口,眾多游戲更新了新春版本,期待著為玩家帶來一場節日盛宴。2022年的時穩春節,是中國云游戲產業走向規模化迎來的第一個春節。相比去年,定運的最云游戲整體流量上升了很大一個臺階,這對行業意義重大,對于阿里巴巴云游戲/元境的技術及運維團隊來講,也將經歷一個前所未有的考驗。

2021年云游戲從點對點云化全面進入到大規模云移植階段,背后保障技術的進一步成熟使得玩家體驗大幅提高,云游戲在跨端、精品化、體系內容創新等方面產生的佳實踐價值日益突顯,大批游戲廠商在云游戲上加大投入力度。元境基于全平臺、云游億小元境全終端、戲超行企業級服務保障的時穩特點,以及低延遲、云邊協同彈性調度、定運的最弱網對抗等技術優勢,背后保障達成了眾多中大型客戶的合作,其中不乏頭部、現象級的體系游戲廠商和平臺。截至2021年底,佳實踐元境累計服務的云游戲時長已突破1億小時。

數字增長的云游億小元境同時,也對云游戲的運行效率、運維保障提出更高的要求和更全面的挑戰

挑戰一:云化適配與部署的效率和吞吐能力

春節期間,為提升用戶的活躍度及付費率,與元境合作的多家游戲廠商對其云游戲版本進行了更新,增加全新的角色、場景、活動等內容,更新的包體較大;而游戲平臺類客戶則會批量上線和更新云游戲,上線數量多、時間集中。大包體更新、大批量云化、集中性部署,這些需求對于云游戲技術服務商而言挑戰很大。不僅需要具備彈性擴容的基礎設施,還要擁有更加智能化的技術方案。考驗著服務商的云化適配與部署效率和并發吞吐能力。

挑戰二:高流量、復雜場景的調度能力

春節期游戲流量高峰加之云游戲規模化上量,雙重因素影響下,元境面臨的核心課題是:如何在突發的流量高峰、復雜的使用場景下,在極短的時間內把云游戲實例有效的調度給玩家,從而降低玩家排隊時間、保障玩家流暢的游戲體驗和穩定的運行環境。

揭秘元境“從云基座到業務層”的一體化保障體系

面對春節期間游戲廠商、平臺、玩家等多角色的需要,元境技術和運維團隊基于大規模高并發的企業級服務經驗、專項7x24h實時監控、自動化系統等能力,實現從云基座到業務層的一體化保障,出色地完成了百余家客戶的云游戲穩定運行,保障了云游戲玩家流暢、穩定的體驗。以下為保障體系大圖。

自研云邊協同彈性調度,確保以最近的節點高效服務玩家

要把云游戲的基礎能力用好,需要投入一些新的研發工作,過去的云端計算,其運行環境與基礎條件相對標準化。而云游戲作為一個新的云端很重的計算任務,需要更低的延遲和更穩定的數據交互,這就需要將算力高效的使用起來,將基礎設施的優勢更好的發揮出來。

云游戲最容易被提出來的挑戰是延遲高,在整個鏈路中浮動最大的是網絡延遲,在這方面主要關注云主機離這個玩家多遠、邊緣部署多廣泛,能不能找到離玩家足夠近的節點。

元境基于阿里云在全國范圍內可覆蓋的數千個邊緣節點,實現31個省運營商全覆蓋,網絡延遲可低于5ms。與此同時,元境在去年非常重要的一個投入就是把邊緣云和公共云真正的協同調度起來,把邊緣節點的算力、存儲等資源和云計算資源統一管理起來,形成“邏輯集中,物理分散”的高效協同。

正因為元境在云邊協同上的投入,今年春節期間才得以在流量突增、運維工作量增加和環境復雜度變高的情況下,實現了更高的運行效率,保障了玩家的低延遲、流暢的云游戲體驗。

針對游戲行業的特性提供專屬的保障方案

春節期間,元境支持了多家客戶的大包體更新。通常情況下,云游戲版本更新會將其全量包體進行更新,但當更新包體較大且用戶數量較多時,受限于機房及帶寬的容量和彈性,常規方案很難支持。元境基于充足的機房、帶寬及自研的更新方案,幫助客戶以增量的方式完成大包體的快速更新,在線上高流量的情況下,版本更新時長降低了80%,保障了游戲更新的及時性和安全性。

對于平臺類客戶,保障平臺上數百款游戲的云化適配、平臺云游戲批量上線的時效性非常重要。元境通過自動適配能力加之春節期間值班保障,分鐘級響應客戶更新適配訴求,全力保障云化適配的產量,提升云化適配的效率。

建立云游戲場景下的AIOps智能運維大腦,保障客戶業務的穩定運行

元境基于阿里巴巴主流AIOps理念,建立云游戲場景下的智能運維大腦,從發現故障,到根因分析,再到具體的修復動作,實現云游戲的自動化運維流程。

傳統的運維工作大多在事中和事后進行處理,運維工作需要耗費大量的人力及物力,在傳統方式下無法滿足高質量的云游戲體驗和大規模服務的訴求。因此元境運維大腦引入AI算法,通過軟硬件故障預測、檢測的方式,來科學指導穩定性的工作,分別在游戲運行環境性能衰退前和觸發故障前進行提前處理。

診斷是一個根因分析的過程,非常強調領域知識,在元境服務的過程中,與阿里云IaaS團隊共同分析各類軟硬件故障及修復方案,結合歸因分析方法論,沉淀出一整套的根因分析方案。最后修復動作的選擇依賴充分的決策,即使在全自動化的方式下,由于各客戶的業務場景不同,游戲運行環境的不同,也需要針對不同的觸發源具備不同的修復策略,通過智能化決策能夠有效地提升故障修復的時效性和有效性。

春節期間智能運維大腦日決策數千次,自動化治愈率達到96%,極大的提升了云游戲基座的穩定性,在春節期間大規模擴量的情況下,為客戶帶來穩定的運行和玩家流暢的體驗。

保障團隊與運營方式:復用阿里雙11的保障體系與平臺

為保障客戶的云游戲在春節期間穩定運行,元境的技術及運維團隊早在兩個月前便開始制定作戰計劃。考慮到假期的各種影響因素,元境在智能化運維大腦的基礎上,結合了阿里雙11的保障經驗,復用阿里雙11的保障體系和系統平臺。前期從業務規劃、容量準備、風險盤點、應急預案、性能優化、封網管控、安全加固、值班協同等方面開展全方位的準備工作,把保障工作在事前扎實準備;保障期間開展多次故障場景與業務場景突襲演練,驗證技術平臺的運維穩定性,以及人員的應急響應速度和質量;結合移動化的平臺工具,做到了掌間運維,高效協同。

與傳統游戲的運維、運行都在廠商這一側不同,云游戲的運維和運行一般由服務商來完成,這就對云游戲的技術服務商提出了非常高的要求。

隨著游戲產業內容精品化、運行全端化的需求日漸強烈,將會有更多游戲企業布局云游戲,云游戲產業將會迎來新一輪的增長。元境作為面向云游戲時代的研運一體化服務平臺,將會持續地在技術上、運維能力上做更多投入,不斷提升自動化、智能化的運維水平,更好地支持廣闊的云游戲世界,為中國云游戲產業進入規模化時代提供有力的支撐。