Acil serviste iç kanama veya ağır anemi (kansızlık) geçiren bir hasta sedyeye geldiğinde vücudun devreye soktuğu ilk savunma refleksi "kompansatuar taşikardi"dir. Dolaşımdaki kan hacmi azaldığı için dokulara yeterli oksijen gitmez. Beyin hemen otonom sinir sistemine emir verir: "Kalbi hızlandır!"

Normalde dakikada 70 atan kalp, dokulardaki oksijen açığını kapatabilmek için aniden dakikada 140-150 vuruya fırlar. Göğüs kafesi adeta bir yarış atı gibi inip kalkar. Bu harika bir biyolojik yedeklilik ve dengeleme mekanizmasıdır; hastaya birkaç saat kazandırır.

Fakat eğer hekim o hastaya derhal eksilen kanı takmaz ve o taşikardiye güvenip "Bakın nabzı yüksek ama tansiyonu idare ediyor, akşama bakarız" derse ne olur? Kalp kası o çılgınca devirde saatlerce çalışmaya dayanamaz; koroner damarlar kalbin kendi oksijen ihtiyacını karşılayamaz, kalp kası enfarktüs geçirir (dekompansasyon) ve hasta aniden arrest olarak masada kalır. Kompansasyon bir tedavi değil; sadece mezardan önce verilen kısa bir borç zamandır.

Sunucu donanımı, veri merkezi iklimlendirmesi ve kurumsal altyapı yönetiminde de tam olarak bu taşikardi dekompansasyonunu yaşayan ölümcül bir rehavet vardır: "N+1 Fan Yedekliliği Var, Acelesi Yok" Tuzağı.

"Bir Tanesi Durmuş, Kalan Beş Tane Yetiyor İşte"

Modern bir 1U veya 2U kurumsal sunucunun (Dell PowerEdge R750, HPE ProLiant DL380 vb.) içine baktığınızda, anakart ile disk yuvaları arasında yan yana dizilmiş 6 adet bağımsız çift rotorlu (dual-rotor) fan modülü görürsünüz.

Üreticiler bu mimariyi gururla pazarlar: N+1 Fan Redundancy.
Yani derler ki: "Bu sunucunun içindeki iki işlemciyi ve 32 RAM modülünü tam yükte soğutmak için aslında 5 fan yeterlidir. Biz kasanın içine 6 fan koyduk. Biri yansa bile sunucunuz kapanmaz, canlı yayında çalışmaya devam eder."

Ve bir Salı günü öğleden sonra sunucunun ön panelindeki minik LCD ekranda veya iDRAC izleme panelinde sarı renkli bir uyarı belirir:
WARNING: Fan 4 RPM below lower threshold. Fan Redundancy Degraded (N+1 Lost).

Dördüncü fanın mekanik bilyesi (bearing) aşınmış, motoru kilitlenmiş ve fan durmuştur.

Sistem yöneticisi bildirime bakar:
Sunucu açık mı? Açık.
Müşteriler hizmet alıyor mu? Alıyor.
İşlemci sıcaklığı normal mi? Normal.
O halde teşhis konulur: "Aman haftaya periyodik bakımda bakarız, nasıl olsa 5 fan daha çalışıyor, sunucuda yedeklilik var."

İşte bu karar, kalan 5 fanın idam fermanının imzalandığı andır.

Kasanın İçindeki Aerodinamik Delik

Bir sunucu kasasının içi rastgele bir kutu değildir; hava basıncının milimetrik olarak hesaplandığı kapalı bir rüzgar tünelidir. Fanlar öndeki soğuk havayı emer ve daracık plastik hava yönlendiricilerin (air shroud) içinden geçirerek yüksek statik basınçla arkadaki bakır soğutucu peteklere doğru fırlatır.

Peki o altı fandan biri durduğunda kasanın içinde ne olur?
Durmuş olan o fan, sadece dönmeyi bırakmaz; kasanın içinde açık bir kaçak deliğine dönüşür!

Kalan 5 fan havayı arkaya doğru yüksek basınçla iterken; o basınçlı havanın önemli bir kısmı arkaya gitmek yerine, duran o dördüncü fanın açık kanatçıklarının arasından ters yönde geriye, kasanın önüne doğru kaçmaya başlar! Buna aerodinamikte "geri akış" (backflow) denir.

Kasanın içindeki o kusursuz laminer hava akışı bir anda türbülanslı bir anafora dönüşür. İşlemcilerin üzerindeki hava debisi yarı yarıya düşer.

Anakartın Çaresiz Refleksi: 22.000 RPM Taşikardisi

Sunucunun anakartındaki BMC (Baseboard Management Controller) çipi kasanın içindeki sıcaklık sensörlerini saniyede yüzlerce kez okur.

İşlemci sıcaklığının tırmanmaya başladığını ve bir fanın öldüğünü algıladığı o mikrosaniyelik anda anakart hayatta kalma modunu (kompansasyon) devreye sokar:
Kalan tüm fanların PWM sinyalini anında %100'e çeker!

Normalde %40 devirle (yaklaşık 8.000 RPM) sakin ve homojen bir sesle dönen o kalan 5 fan; bir anda 20.000 - 22.000 RPM hızına fırlar!

Kabin odasını bir anda kulakları sağır eden bir savaş uçağı kalkış sesi kaplar. Fanlar o kadar hızlı dönmektedir ki, motor sargıları cayır cayır ısınır, küçük bilyeli yataklar sürtünmeden dolayı mikron düzeyinde aşınmaya başlar.

Fanlar artık bir yedeklilik konforunda çalışmıyordur; can havliyle depar atmaktadırlar.
Normalde beş yıl dayanması gereken o fanlar, sürekli %100 devirde çalıştıkları için termal ve mekanik yorgunluğun son sınırında titremektedir.

Domino Etkisi: İkinci Fanın Ölümü ve Termal Şok

Üç gün geçer... Dört gün geçer...
Yedek fan siparişi verilmemiştir, arıza ertelenmiştir.

Ve Cuma gecesi saat 02:30'da beklenen dekompansasyon gerçekleşir.
Zaten dört gündür 22.000 devirde aralıksız çığlık atan fanlardan biri daha —örneğin Fan 5— aşırı ısınan motor sargısının erimesiyle aniden "tık" diye kilitlenir.

İşte o an N+1 yedeklilik bitmiş, sistem doğrudan iflas etmiştir.
Kalan 4 fan artık kasanın içindeki o iki devasa geri kaçak deliğini kapatamaz. Kasanın içi fırına döner.

Sensörler gerçeği haykırır:
CPU 1 Temperature: 98°C - CRITICAL OVERHEAT.
CPU 2 Temperature: 101°C - CRITICAL OVERHEAT.

Ve sunucu, silikon transistörlerinin fiziksel olarak erimesini engellemek için son savunma refleksini çalıştırır:
Emergency Thermal Shutdown (Acil Termal Kapanma).

Sunucu kendini küt diye kapatır!
Canlı veritabanları ortada kalır, dosya sistemleri kilitlenir, müşterilerin tüm servisleri karanlığa gömülür.

Sabah veri merkezine koşan sistemcinin gördüğü manzara: İki fanı yanmış, aşırı ısıdan RAM soketleri sararmış, yüz binlerce liralık bir hurda yığını.

Yedeklilik Bir Konfor Değil, Bir Borç Zamandır

Mühendislikte "yedeklilik" kavramı, sistemlerin arızayı görmezden gelmesi için icat edilmemiştir.

Yedekliliğin tek bir varoluş amacı vardır: Siz yeni parçayı takana kadar sistemin ayakta kalmasını sağlayacak acil efor süresini (grace period) satın almak.

Bir sunucuda veya switch'te tek bir fan bile arızalandığında uygulanması gereken kural şudur:

  • Kritik Alarm Seviyesi: N+1 fan kaybı "Düşük/Bilgilendirme" seviyesinde bir log değildir; "Yüksek Öncelikli (P1/P2)" bir operasyonel alarmdır.
  • Raftaki Hazır Yedek Fan: Veri merkezinde çalışan her sunucu modeline ait en az 2 adet orijinal yedek fan modülü sistem odasındaki yedek parça dolabında hazır beklemelidir.
  • 24 Saat İçinde Değişim: Fan hot-plug'tır; sunucuyu kapatmanıza bile gerek yoktur. Kapağı açıp duran fanı çekip yenisini yerine oturtmak sadece 15 saniyedir! O 15 saniyeyi ertelemek, tüm kasanın ölüm fermanıdır.

Tıpta kalbi 150 atan hastaya bakıp "Nasıl olsa yaşıyor" diyen hekim cinayet işler.

Veri merkezinde de fanı durmuş sunucuya bakıp "Nasıl olsa N+1 var" diyen sistemci, tüm altyapıyı göz göre göre ateşe atıyordur. Kompansasyon sizi kurtarmaz; sadece müdahale etmeniz için size yalvarır. O çağrıyı duyun.