Hastanede elektrikler kesildiğinde yoğun bakım ünitesinde yaşanan sahneyi bir kere gören bir insanın bunu ömrü boyunca unutması mümkün değildir.

Şehir şebekesi küt diye gittiğinde, koridordaki florasanlar söner ve loş acil aydınlatmalar devreye girer. Yatakların başındaki mekanik ventilatörler (solunum cihazları) tiz bir ikaz sesiyle dahili bataryalarına geçer. O bataryaların üzerinde kırmızı bir sayaç geri saymaya başlar: Kalan Süre: 12 Dakika.

Normalde hastanenin dev dizel jeneratörünün sekiz saniye içinde marş basıp şebekeyi devralması gerekir. Ama ya o sekiz saniye geçer ve koridorlara o tanıdık jeneratör gümbürtüsü yerine mezar gibi bir sessizlik çökerse?

İşte o an teorik tıp biter; saf insan eforu başlar. Hekimler ve hemşireler koşarak hastaların başına üşüşür, ventilatörün hortumunu söküp ağızlarına "Ambu" dediğimiz manuel solunum balonunu takarlar ve elleriyle ritmik olarak sıkmaya başlarlar: Bir... İki... Üç... Sık. O balonlar elle sıkılırken, teknik servis ekibi merdivenleri üçer beşer atlayarak bodrumdaki jeneratör dairesine depar atar. Çünkü o akü bittiğinde ve jeneratör çalışmadığında, ambuyu sıkan el durursa hasta boğulacaktır.

Veri merkezi operasyonlarında ve kritik tesis yönetiminde de tam olarak bu ambu çaresizliğini yaşatan, mühendisin nabzını 180'e fırlatan korkunç bir kabus vardır: Otomatik Transfer Şalterinin (ATS) Takılı Kalması.

Sekiz Saniyelik Lüks ve Başlayan Geri Sayım

Büyük bir veri merkezinde şehir şebekesi (trafo) enerjisi kesildiği an, kabinlerdeki sunucular hiçbir şey hissetmez. Çünkü statik UPS (Kesintisiz Güç Kaynağı) sistemleri, devasa akü bankaları üzerinden mikro saniye düzeyinde yükü sırtlar.

Fakat UPS bir enerji üretim kaynağı değildir; o sadece bir "köprüdür". Akü odasındaki o tonlarca kurşun-asit veya lityum bataryanın kabinlerdeki binlerce sunucuyu besleme süresi genellikle tam yük altında 10 ila 15 dakikadır.

Tasarım gereği senaryo şudur:

  1. Şebeke gider (0. saniye).
  2. UPS aküden beslemeye başlar (0. saniye).
  3. Jeneratör kontrol paneli (DeepSea, ComAp vb.) şebekenin kesildiğini algılar, marş motoruna sinyal gönderir (3. saniye).
  4. Dizel motor homurdanarak çalışır, 1500 devir/dakika (RPM) hızına ve 50 Hz frekansa oturur (8. saniye).
  5. Ve en kritik adım: ATS (Automatic Transfer Switch - Otomatik Transfer Şalteri), motorlu mekanizmasıyla şebeke kontaktörünü açar ve jeneratör kontaktörünü kapatır (10. saniye).

Bina jeneratörden beslenmeye başlar, UPS aküleri şarj moduna geçer, herkes rahat bir nefes alır.

Peki ya o 10. saniyede ATS panosundan beklenen o tok "TARRKKK!" sesi gelmezse?

Mekanik Takılmanın Soğuk Dehşeti

Veri merkezinin izleme ekranlarında (BMS / DCIM) kırmızı bir alarm yanıp sönmeye başlar:
CRITICAL: Utility Power Lost.
WARNING: Generator Running, No Load Detected.
BATTERY RUNTIME REMAINING: 09:42... 09:41...

Jeneratör bahçede deliler gibi kükremektedir; motor çalışıyordur, egzozdan duman çıkıyordur ama ürettiği o megavatlarca elektrik binaya girememektedir! Çünkü enerjiyi binaya aktaracak olan motorlu enversör şalterin mekanik dişlisi sıkışmıştır, bobini yanmıştır ya da yardımcı kontak rölesi tozdan kaynaklı temassızlık yapmıştır.

Zaman acımasızca akmaktadır: Kalan akü süresi 7 dakika.

Kabin odasındaki yüz binlerce dolarlık işlemciler, veritabanları, bankacılık altyapıları akülerin son elektronlarını kana kana içmektedir. Akü bittiği an sunucular aniden kapanacak, storage'lar kütük gibi yere çakılacak, dosya sistemleri dağılacaktır.

Ve mühendis için tek bir kurtuluş yolu kalmıştır: Manuel Müdahale.

Bodrum Katında Fener Işığında Manivela Savaşı

Cebinizden telefonun fenerini açar, ana elektrik pano odasına doğru koşarsınız. Pano odasının ağır çelik kapısını açtığınızda yüzünüze çarpan o ozon ve sıcak trafo kokusu ciğerlerinizi yakar.

Karşınızda iki buçuk metre boyunda, devasa sacdan yapılmış gri ana dağıtım panosu (MDP) durur. Panonun üzerinde 1600 Amperlik, 3200 Amperlik devasa kompakt şalterler (ACB - Air Circuit Breaker) vardır.

ATS şalterinin göstergesine bakarsınız: Şebeke tarafı "OFF" (Açık), Jeneratör tarafı "OFF" (Açık). Mekanizma tam ortada, arafta takılı kalmıştır!

Süre: Kalan akü süresi 4 dakika.

Panonun yanındaki askıdan o uzun, ağır, çelik kolu —manivelayı (charging handle)— kaparsınız.

  1. Şalterin mekanik kurma yuvasına sokarsınız.
  2. Vücut ağırlığınızı vererek kolu aşağı yukarı pompalamaya başlarsınız: Çat... Çat... Çat... Mekanik yayı kurarsınız (Spring Charged). Gösterge sarıdan yeşile döner.
  3. Şimdi o korkutucu kararı verme anıdır: Jeneratör tarafının mekanik "MANUAL CLOSE" butonuna basmak.

Binlerce amperlik yükün aktığı bir şalteri elle kapatmak (trip/close) müthiş bir cesaret ister. Eğer içeride bir faz çakışması veya kısa devre varsa, gözünüzün önünde güneşi andıran bir ark patlaması (Arc Flash) meydana gelebilir. Yüzünüzü yana çevirir, gözlerinizi kısar ve o kırmızı butona olanca gücünüzle basarsınız:

"GÜMMMM!"

Odayı sarsan mekanik bir çekiç sesi. Şalter yerine oturur. Panodaki analog voltmetre ibreleri aniden 400 Volt'a fırlar. Bodrumdaki havalandırma fanları inleyerek dönmeye başlar.

Merdivenlerden yukarı koşup UPS odasına baktığınızda göstergeyi görürsünüz:
UPS Input: 400V (Generator) - AC Mode Active - Battery Charging.

Sistem kurtulmuştur; son 100 saniyede.

Otomasyonun Rehaveti ve Sahadaki Gerçekler

Bu kabus hikayesi, ucuz aksiyon filmlerinden bir sahne değildir. Türkiye'deki ve dünyadaki yüzlerce veri merkezinde, hastanede ve kritik tesiste bizzat yaşanmış ve yaşanmakta olan bir operasyonel gerçekliktir.

Otomasyon muazzam bir lükstür, ancak insanı tembelleştirir. Mühendisler "Nasıl olsa ATS var, elektrik gidince kendi geçer" diyerek aylarca o mekanik şalterlerin yüzüne bakmazlar.

Oysa gerçek bir altyapı disiplini şunları gerektirir:

  • Ayda Bir Yüklü Jeneratör / ATS Testi (Black Start): Jeneratörü sadece rölantide çalıştırmak test değildir! Şebekenin ana şalteri kasten indirilmeli, ATS'nin yük altında transfer yapıp yapmadığı her ay gözlemlenmelidir.
  • Mekanik Şalter Bakımı: Kompakt ve açık tip şalterlerin mekanik kurma yayları, enversör kilitleri (mechanical interlock) periyodik olarak temizlenmeli ve yağlanmalıdır.
  • Her Mühendise Manuel Kurma Eğitimi: Gece nöbetinde duran en genç personele dahi o manivelanın nerede durduğu, şalterin nasıl kurulduğu ve ark patlamasına karşı nasıl pozisyon alınacağı uygulamalı olarak öğretilmelidir.

Tıpta ventilatör durduğunda ambuyu sıkan el hayat kurtarır.

Veri merkezinde de ATS kilitlendiğinde o ağır manivelayı çekinmeden kavrayan ve soğukkanlılıkla şalteri kapatan mühendisin refleksi trilyonluk sistemleri küllerinden döndürür. Otomasyona güvenin, ama manivelayı her zaman elinizin altında tutun.