案例背景

某中型企業(yè)（員工約500人）核心網(wǎng)絡(luò)架構(gòu)為典型的三層結(jié)構(gòu)：接入層、匯聚層和核心層。核心交換機采用雙機熱備（VRRP），通過萬兆光纖上聯(lián)至防火墻，再連接至互聯(lián)網(wǎng)。接入層交換機通過千兆電口連接用戶終端。企業(yè)主要業(yè)務(wù)包括OA系統(tǒng)、ERP系統(tǒng)、視頻會議及日常互聯(lián)網(wǎng)訪問。

故障現(xiàn)象

2021年10月26日上午9:15，企業(yè)員工普遍反映訪問內(nèi)部OA系統(tǒng)和ERP系統(tǒng)緩慢，視頻會議頻繁卡頓，但訪問外部互聯(lián)網(wǎng)網(wǎng)站（如新聞門戶）速度正常。網(wǎng)絡(luò)監(jiān)控系統(tǒng)顯示核心交換機CPU利用率在高峰時段達到85%，端口流量存在異常波動。

問題分析

1. 故障范圍界定：問題集中于內(nèi)部業(yè)務(wù)系統(tǒng)，外部訪問正常，初步排除互聯(lián)網(wǎng)出口帶寬或外部鏈路故障，焦點應(yīng)放在內(nèi)部網(wǎng)絡(luò)和數(shù)據(jù)中心區(qū)域。
2. 可能原因排查：

• 帶寬瓶頸：檢查核心與匯聚鏈路利用率，特別是連接服務(wù)器區(qū)域的端口。

• 設(shè)備性能：高CPU利用率可能由廣播風(fēng)暴、路由振蕩或硬件故障引起。

• 應(yīng)用層問題：OA/ERP服務(wù)器自身負載或數(shù)據(jù)庫查詢效率低下。

• 網(wǎng)絡(luò)環(huán)路：STP協(xié)議收斂問題或配置錯誤導(dǎo)致臨時環(huán)路。

• 安全事件：內(nèi)部網(wǎng)絡(luò)存在掃描或DoS攻擊消耗資源。

1. 數(shù)據(jù)收集：

• 通過SNMP或CLI檢查核心交換機端口流量、錯誤幀、廣播包計數(shù)。

• 分析NetFlow/sFlow數(shù)據(jù)，識別Top Talkers及異常流量模式。

• 檢查日志中是否有MAC地址漂移、STP狀態(tài)變更記錄。

解決方案與實施

1. 緊急處置：在業(yè)務(wù)低峰期（如午休），對核心交換機進行重啟以暫時緩解CPU壓力，并備份當(dāng)前配置及日志。
2. 根因定位：流量分析發(fā)現(xiàn)某接入交換機連接端口廣播包異常激增，進一步定位到該樓層一臺新接入的網(wǎng)絡(luò)打印機因驅(qū)動不兼容，持續(xù)發(fā)送畸形廣播包，導(dǎo)致局部廣播風(fēng)暴，經(jīng)匯聚層擴散至核心。
3. 故障排除：

• 隔離故障端口，斷開問題打印機網(wǎng)絡(luò)連接。

• 在接入交換機啟用端口級廣播風(fēng)暴抑制（如設(shè)置broadcast-limit）。

• 優(yōu)化STP參數(shù)，確保快速收斂，并檢查是否存在冗余鏈路誤接。

1. 優(yōu)化措施：

• 實施網(wǎng)絡(luò)準(zhǔn)入控制（如802.1X），防止未經(jīng)授權(quán)或異常設(shè)備接入。

• 部署更細粒度的流量監(jiān)控與告警機制，設(shè)定CPU利用率、廣播包速率閾值。

• 對核心交換機進行固件升級，并評估未來性能擴容需求。

與反思

本次案例體現(xiàn)了分層排查在故障處理中的重要性：由現(xiàn)象（應(yīng)用慢）到層面（網(wǎng)絡(luò)層），再聚焦于具體設(shè)備與端口。日常運維中，應(yīng)加強基線數(shù)據(jù)建立（如正常流量模式、設(shè)備CPU水平），以便快速識別異常。新設(shè)備入網(wǎng)需有嚴格的測試與審批流程，避免兼容性問題引發(fā)全網(wǎng)風(fēng)險。網(wǎng)絡(luò)工程師不僅需精通技術(shù)，更需具備系統(tǒng)化的問題分析與預(yù)防性優(yōu)化能力。