12小時預警被忽視：CME全球宕機背后，一場本可避免的「人禍」

根據彭博社審閲的一份機密報告，為芝商所集團（CME Group Inc.）提供服務的數據中心運營商，在其冷卻系統故障導致全球市場中斷前約12小時就已開始遇到技術問題。

對此次故障根源的分析報告顯示，運營該芝加哥郊區數據中心的CyrusOne，於美國中部時間11月27日凌晨4點19分首次向包括交易所在內的客户通報了正在出現的問題。當天是美國市場因感恩節假期休市日。

該數據中心運營商（由私募股權公司KKR與全球基礎設施合夥公司持有）還在上午10點19分發送了一條短信，以確保其客户知曉該問題。儘管如此，市場參與者直到后來才獲悉此事，許多人對亞洲交易時段突如其來的交易暫停感到意外。

這份由CyrusOne撰寫的11頁分析報告，對全球最大的衍生品交易所之一如何處理上月末擾亂從東京到倫敦市場的此次故障提出了疑問。儘管芝商所的災難恢復計劃要求切換到紐約地區的備用數據中心，但交易所當時選擇不啟用備用設施，因為其當時掌握的信息指向的是一次短暫中斷。

CyrusOne的一位代表拒絕置評，僅引用了該公司於12月6日發送給彭博新聞的一份聲明，其中解釋稱問題是由人為失誤造成的。芝商所也提到了其12月6日的聲明，該聲明承認了CyrusOne對故障的分析，並補充説數據中心的「初步修復嘗試反而使問題惡化」。

根據報告，事件始於當地時間11月27日凌晨3點40分，此前一天，CyrusOne為應對寒冷天氣將數據中心的冷卻塔切換到了新的運行模式。該操作未能遵守標準程序，最終導致設施過熱。

報告顯示，初步的修復工作反而使問題變得更糟。到下午6點19分，所有冷卻器均報告為離線且處於故障狀態。

人為失誤

CyrusOne在12月6日表示，現場工作人員和承包商未能遵循冷卻塔排水的標準程序。

報告顯示，在故障期間，CyrusOne在芝加哥時間11月27日下午5點亞洲交易開盤前，交替降低和提高了事件的嚴重性評級。據一位熟悉內情的人士透露，芝商所與市場參與者的溝通部分受到影響，是因為事件影響範圍的擴大並非立即可見。

報告中包含的時間線顯示，隨着事態發展，問題出現約兩小時后，嚴重等級曾被下調。事件在下午12點13分被重新升級為更高級別，並在下午4點10分再次升級至更嚴重的1級。

在一次故障期間，從主數據中心緊急切換到備用設施相對罕見。公司往往傾向於等待其主站點恢復，除非絕對必要，以避免數據不一致和在常規演練中可能未發現的錯誤風險。

此外，做市商偏好附近的基礎設施以確保信息傳輸更快，從而獲得相對於競爭對手的微弱優勢。這些交易商對於為交易所提供流動性至關重要。

交易暫停

儘管如此，此次故障突顯了芝商所依賴該設施所關聯的風險，該設施每天處理全球股票、貨幣、債券和大宗商品市場數萬億美元的交易。該交易所於2016年將數據中心出售給CyrusOne，並以15年期協議回租。

此次故障導致從黃金、石油到利率等所有品種的交易暫停。它還迫使CyrusOne暫停了由高盛集團管理的一筆13億美元抵押貸款債券的發行。

交易最終在美國時間11月28日恢復，交易所佔芝商所交易量90%的Globex期貨與期權市場於芝加哥時間上午7點30分開市。自11月26日收盤以來，芝商所股價已下跌約3.7%。

為防止事件重演，CyrusOne表示已更新其應對寒冷天氣的程序，包括增加現場工程師。報告顯示，該設施現在將依賴一個專門的工程團隊，每周7天、每天24小時監控和管理冷卻操作。