華為技術****
關鍵詞：
應急預案聯通聚類業務
摘要：本指導書旨在指導聯通聚類業務產品工程師在裝置、業務重大故障時進行應急處理，以便快速有效的恢復業務，同時也作為辦事處工程師技能提公升的材料。
縮略語清單：
聯通聚類業務產品應急操作指導書，是針對華為公司聚類業務產品在聯通專案平台的執行過程中或者操作過程中可能出現的緊急問題，如使用者簡訊傳送失敗失敗而制定的操作指導，其目的是在裝置發生故障時，提供緊急維護的手段，使故障恢復得盡可能快，從而減少故障的影響。
為了在緊急情況下迅速定位解決問題，需要熟悉系統結構，平時詳細了解系統配置情況，這是提高故障恢復速度的基礎。
聯通聚類業務維護人員。
1、 用於日常學習，提高應急處理技能。
2、 作為應急預案的輸入，在編寫應急預案時，所涉及到的所有技術層面的內容都應該在該指導書中找到。
3、 裝置出現重大故障時，可以利用此指導書指導維護人員進行故障定位與恢復。
為保證系統穩定執行，盡最大可能減少突發事故，我們需要做到以下幾點：
1、 按照巡檢標準對系統進行定期檢查,並對發現的問題及時整改解決。
2、 及時實施公司發布的預警公告。
3、 編寫好局點的應急預案，對局點資訊和產品都心中有數，有條件的局點可以安排演練。
4、 請遵照《聯通聚類業務日常維護指導書》中日常例行維護部分對裝置進行日常維護和重要資料的定期備份，如配置檔案、log日誌、資料庫等。做好維護工具和遠端維護的準備。
接到使用者或者一線工程師的重大故障申告，工程師應該在簡短、有效的溝通中盡可能多的了解有價值的資訊（通過提問的方式），並對問題做初步的判斷，為後續快速的故障定位提供支撐。以下分為三個方面進行故障確認及前期資訊收集。
q1：故障**的申告人是否在現場，遠端維護環境是否可用？
q2：故障的申告是否可以通過再次確認，是否有誤或者終端使用者的反饋不清晰等？
q1：（從受影響使用者數量方面）使用者投訴簡訊傳送失敗，經過調查確認，是乙個使用者、部分使用者、集中在預付費使用者，集中在乙個地區的所有使用者，所有地區使用者？
q2：（從受影響業務方面）單個頻道業務受阻，所有頻道業務受阻等？
q1：最近是否有維護操作？
q2：伺服器、網路裝置（防火牆、交換機等）是否有指示燈狀態異常，程序日誌中是否有大量報錯等？
q3：使用的平台、資料庫和業務版本資訊？
(1) 針對業務故障檢查聚類業務的相關程序狀態是否正常，通過檢查系統資源使用率等方法可以獲得。
(2) 檢查是否外購件硬體問題，如伺服器或者磁碟陣列資料庫故障，針對不同的故障決定採用重啟或其他恢復操作。
(3) 檢查是否網路裝置問題。
1、盡量通過故障分析解決問題，盡快恢復業務。
2、 收集必要的日誌供定位問題和事後分析，在收集日誌和恢復業務發生衝突時，以盡快恢復業務為先。
3、 避免處理不當導致問題擴大。對於關鍵操作要謹慎，要及時記錄操作步驟，必要時進行恢復操作。
華為聯通聚類業務平台緊急狀況處理小組
1) 現場問題處理責任人：郭康：
2) 公司產品域保障介面：陶強
應急流程
應急流程應包括以下關鍵點：
1) 應急流程要體現快速組建應急小組、快速恢復、快速處理的思想；
2) 應急流程中應有明確的時間點要求和問題公升級制度；
重大事故處理及通報流程：
應急準備事項checklist
此check list用於指導平時的準備工作，緊急故障發生時也參照此表進行恢復前的準備工作檢查，詳細資訊請參見附錄。
故障場景描述：sp反映無法連線平台所提供的介面。
影響範圍、程度：所有業務無法正常使用，影響程度嚴重。
預期恢復時長：20分鐘
日誌收集要求：立即開始收集日誌，如果5分鐘不能收集全，則立即啟動恢復操作。
處理思路簡述：檢視serviceagent模組所部屬的tomcat服務是否正常啟動，若tomcat啟動正常，開啟ie，在ie位址列輸入sp提供的其要呼叫的webservice介面的url，回車，檢視該介面是否正常發布，若頁面無法正常顯示請聯絡開發工程師。
判斷及恢復過程：
1、 檢視桌面上是否存在正在執行的tomcat服務。
2、若無執行的tomcat服務則重啟tomcat。
1、若tomcat已啟動，檢視serviceagent日誌是否出現異常。
故障場景描述：sp呼叫簡訊傳送介面針對某個業務進行簡訊下發。
影響範圍、程度：sp無法使用業務，影響程度嚴重。
預期恢復時長： 30分鐘
日誌收集要求：立即開始收集日誌，如果5分鐘不能收集全，則立即啟動恢復操作。
處理思路簡述：首先檢視日誌，看簡訊介面呼叫是否成功，如果介面呼叫失敗則根據日誌定位問題。若簡訊介面呼叫成功則登陸到msp檢視簡訊的傳送狀態。
1、檢視日誌定位失敗原因。
2、若sp呼叫介面輸入的引數異常，聯絡該sp進行檢查。
3、若sp輸入引數無異常則檢視平台資料庫：
3.1、要傳送的簡訊的接收者是否在平台註冊
select * from t_iiss_member t where '接收者號碼'
3.2、簡訊接收者與業務是否存在訂購關係
select * from t_iiss_subscribe t where = '接收者號碼' and = (select gid from t_iiss_service t where servicecode = '業務編碼');
後勤類應急預案
燃氣鍋爐事故應急預案 鍋爐在執行中，如發生缺水 超壓 爆管等現象，經操作人員按操作規程及事故處置措施處理後，事態仍繼續擴大而無法控制時，第一發現人應向值班人員報告，說明事故情況，按應急預案處理。一 應急處置組織機構 組長 李震 組員 白文鵬孫亞傑馬元嶺 職責 在統一指揮下，按處置程式正確進行現場處置...
地面業務應急預案
測報業務應急預案 為了保證測報業務工作在可能發生的突發情況下能夠正常運作，提高對突發事件的快速反應能力，實現應急工作的及時 高效 有序開展，特制定本預案。突發事件發生時進入應急工作狀態，及時採取相應的應急工作措施，特別要注意多種突發事件同時發生時的綜合處理。在緊急情況下，值班員應當機立斷，靈活執行預...
應急預案業務宣傳
客戶定位 工業園區 集團 各大企業 電廠 國控重點源 百靈是一家以環保技術服務為主的公司，創立10年以來，服務過上千家企業，華能 中電投 華電 神華 大唐 神華等都是我們的客戶。百靈在全國有北京 華東 華南 內蒙 山西 設計研究院6個分子公司，業務遍布全國各個省市。百靈的技術力量非常雄厚，我公司有多...