發現問題

今天看到有用戶反饋，我們網站上的演示內容訪問特別慢。經過測試果然是很慢，之前都是秒開的。頁面打開后再訪問很快，切換新頁面打開又慢下來，甚至好幾秒才能打開一個頁面。

我的演示內容全部是靜態HTML文件，通過騰訊云CDN加速。

測試直接訪問服務器上的內容，速度很快，一切正常。然后又訪問阿里云CDN上的內容，也正常。又試了一下七牛云，也正常。嗯，我們演示內容同時用了三個CDN，就是怕其中一個出問題，也是為了降低成本（哪家有便宜流量包就用哪家，嘿嘿）。經過測試，只有騰訊云CDN有問題。

于是果斷切換CDN到阿里云，保證用戶的正常訪問。

接下來就開始排查故障了。

首先排查網絡問題，北京電信寬帶不正常、手機移動網不正常、騰訊云北京區服務器遠程桌面也不正常。也讓外地朋友幫忙測試了一下，發現有的地區是正常的。但至少北京地區是異常的。然后排查CDN配置問題，最近沒有修改CDN配置，同樣配置另外一個CDN域名卻是正常的。然后排查源站，源站用的寶塔面板，最開始我想到的是防火墻，因為最近被攻擊的厲害，設置了一些防火墻配置。我先把對應站的防火墻關了，不行！然后把服務器全局防火墻關了，也不行。

到這里我也是沒轍了，只能在騰訊云發工單求助了。經過來來回回的溝通，工程師有一個關鍵回復：

這邊過濾了下日志，發現有一些回源到源站5秒超時的日志請求，您可以看下源站是否有負載異常問題

于是我又回來查源站。什么系統加固、防篡改這些關掉，也不行。我開始懷疑是騰訊云CDN不行了，在工單里威脅工程師，不行我就換阿里云了。工程師說再看看，但也沒法發現問題原因。陷入僵局。

再次排查發現端倪

打了一下午游戲，到晚上的時候，騰訊云工程師那邊也沒消息了。我又繼續排查。我ping了另一個正常的騰訊云CDN域名，發現和有故障的是同一臺分發服務器，那就排除騰訊云CDN區域故障。區別是兩個源站不在一個服務器上。那臺服務器十年不動一次，有問題這臺最近折騰的投點頻繁。于是進寶塔后臺看了下操作日志，發現了一個關鍵點，最近禁了很多IP。難道我是把騰訊云CDN的回源服務器IP給封了嗎？接著進入防火墻設置，IP黑名單里一看。果然，密密麻麻一堆。這里我也來不及仔細查看了，一鍵清空了IP黑名單。然后再測試，居然正常了。。。趕緊給工程師回復，把工單結了。

故障排除復盤

復盤一下整個過程，其實一早懷疑源站防火墻那里是對的。但是寶塔面板里關閉防火墻，并不會關閉IP黑名單，這是我沒想到的。所以錯失了解決問題的關鍵。另外就是日志真的很重要，出問題了要第一時間查日志。騰訊云工程師查日志發現了請求超時，我查面板日志發現了禁用IP。這樣很快就能對癥下藥了。