|
4 月 8 日騰訊云出現大范圍故障，騰訊此次故障主要影響產品控制臺例如用戶無法通過 Web 界面對服務器或其他產品進行操作，云公原因當然由于是布月并產 API 問題實際上也無法通過 API 執行各類操作。 此次故障對于服務器等產品本身是日大容性沒有影響的，即服務器仍然是范圍正常運行的只不過用戶無法執行操作，其他產品例如 CDN 和域名解析等也是故障同理。
昨天騰訊云公眾號發布 4 月 8 日的升級生兼生循故障復盤及情況說明，簡單來說是問題發布新版 API 時出現了兼容性錯誤： 故障的直接原因是云 API 服務行版本向前兼容性考慮不夠和配置數據灰度機制不足的問題。本次 API 升級過程中，環依由于新版本的賴藍接口協議發生變化，在后臺發布新版本之后對于舊版本前端傳來的點網數據處理邏輯異常，導致生成了一條錯誤的騰訊配置數據。 由于灰度機制不足導致異常數據快速擴散到了全網地域，云公原因造成整體 API 使用異常。布月并產 然后還有循環依賴問題： 發生故障后按照標準回滾方案將服務后臺和配置數據同時回滾到舊版本并重啟 API 后臺服務，日大容性但此時因為承載 API 服務的容器平臺也依賴 API 服務才能提供調度能力，即發生了循環依賴 (需要安裝 WinRAR 時下載網站給你了個 WinRAR.rar) 發生循環依賴的后果就是服務無法自動拉起，最終運維通過手工啟動方式才讓 API 服務重啟，完成了整個故障的恢復。 針對此次問題騰訊云也汲取教訓制定了改進措施： 改進措施里就有針對循環依賴問題的解決方案，包括提供優化服務部署架構，通過分層架構、代碼審查和監控等手段，避免 API 服務中存在的循環依賴問題。 同時還要提供 API 服務逃生通道，當故障發生后可以提供調用方法快速切換。 針對 Status 頁面的透明度問題： 透明度問題目前是國內云計算提供商都存在的問題，即問題發生后狀態頁面還顯示一切正常，這讓很多用戶看了狀態頁后以為是自己問題。 騰訊云此次故障狀態頁同樣沒有及時更新，原因是狀態頁也依賴 API，但此時 API 已經寄了，所以騰訊云計劃將狀態頁解除對云 API 等云服務的依賴，確保云服務故障時狀態頁依然能準確及時傳遞 故障信息。 |
