2008年距離全球金融風暴爆發前3個月,也是那年父親節的次日。一大早回到公司,IT部門一片寧靜祥和,大家正悠閑地享用早餐,討論著近期房價的波動,昨天父親節促銷活動的銷售業績,以及哪些品類的銷量有所增長,等會兒開盤時應該買些什麼股票。
IT負責人黃嶸嶸經理:“9點了,大家都進來開本周的部門會議,同步一下團隊工作的內容、進度和新工作安排。2分鍾內到齊,不然按老規矩,每遲到1分鍾扣30元作為部門經費。會議開始前,我們再次強調關於晚上值班的紀律。每晚值班的人都需要到機房手動切換空調,檢查服務器和巡檢表,觀察機房內的溫度情況,而且晚上不能帶外人來15樓。IT負責人特別提醒有男女朋友的同事,辦公室裏亂搞事情如果被發現就會立刻被開除,切勿挑戰公司的底線。
汪小穎提了個建議:“領導,晚上能否重新執行原先的保安坐前台到10點的政策?晚上一個人值班,15、16樓異常安靜,為了節約電費,兩邊的長走廊隻亮著兩盞小燈。離開時得把全部燈都關掉再鎖門,氣氛有點恐怖。”
“你是不是做了虧心事,這麼膽小?雖然公司業績還不錯,但節省開支、降低費用一直都是我們的目標。公司已經作出了安排,晚上不要胡思亂想,沒事的。”黃嶸嶸應道。
“你晚上又不用值班,尤其是農曆七月十四那段時間,晚上的氣氛更是‘有感覺’,連空調都不敢開太低。”汪小穎小聲嘀咕。
“好了好了,別閑聊了,我們開始本周的會議,過一下各自的任務進度和新工作安排。”
開會沒多久,維護終端桌麵和收款機的同事湯偉忽然說道:“黃經理,夾層辦公室和一樓客服中心反饋說網絡不穩定,OA和郵箱打開都很慢。”
黃經理回應:“找人登錄收款係統看看情況,”說罷,他向網絡組的同事投去一個眼神。前網絡組組長南坤師傅對現任組長仇瀟媚說:“ping 一下二樓的樓層交換機,看看是否正常。不會是房亮俊昨天因為促銷時臨時加的收款機,沒有配置好網絡IP,導致了衝突吧?他不會又在下載日愛動作片,占用了全部的帶寬吧?大家都提醒過他多次,上班時間不要瀏覽相關網站,下電影種子。他的電腦屏幕還對著門口,那些電影封麵和圖片都顯示出來,真不怕別人看到?哪怕是我們自己部門的人看到了也不好。他怎麼就不知道我們一查防火牆就什麼都明白了呢?有幾次他下載的內容實在太過分了,我們用網絡法官臨時封了他的IP,他自己難道就沒察覺嗎?”
仇瀟媚回答:“應該不會,現在 ping 二樓樓層交換機,延遲確實有些高,不過我們訪問外部網頁,比如郵箱,速度還算正常。待會讓負責桌麵和收款機維護的房亮俊下去現場看看,重啟交換機應該就可以解決問題。”
“那就按照這個方案執行,我們繼續開會。”黃經理說。
果不其然,重啟交換機後故障消失了。完成了周例會,大家各自忙碌起來,上午就這樣過去了。下午2點半,又有人反饋BI係統打開和查詢變得很慢,網絡正常,但是服務器的IO異常高,懷疑是業務高峰導致的。大家沒有太在意,正當準備訂下午茶的時候,BI係統徹底無法訪問了,服務器也無法訪問。盡管BI係統不是一級核心係統,但也不能掉以輕心。黃經理和係統組組長去機房查看情況,發現BI的AIX服務器有兩塊硬盤出現黃燈故障,導致BI所在的係統分區無法工作。雖然數據可以通過各業務係統重新抽取,但平台的修複黃經理提出了一個可能的解決方案:“如果分區出了問題,我們或許可以嚐試用類似GHOST這樣的工具把數據複製到其他硬盤上進行重建。”
南坤師傅顯得有些懷疑:“啊!用GHOST複製AIX的數據?你確定這可行?”
黃經理自信地回答:“當然可以,為什麼不行?都是硬盤,都有分區。”
南坤師傅用帶有輕蔑的語氣說道:“如果真的可行,我願意劈頭給你當凳子坐。別胡說了,你自己先去弄清楚原理。我們先讓李天元(故事主角)去檢查備份係統,看看有沒有相關的備份任務和集合,如果有的話,先恢複以保證業務正常。不過上周李天元修複了備份服務器的硬盤故障,備份數據是否完整,還真不好說。”
黃經理立即撥通電話:“小李,快到辦公室來,出故障了,快點。昨晚通宵升級係統,今天下午又得靠你支持備份恢複了,真是辛苦你了。”
李天元回應:“沒事,我這麼年輕,熬個夜沒啥問題。不過上次M幣悠備份係統的賽鼻斯(可能想表達的是‘賽門鐵克’Symantec)數據庫因為服務器硬盤故障受損,修複後的數據完整性我不能完全保證。我先找一個可以用來恢複的AIX服務器,安裝好環境,再嚐試恢複,請稍等。”