112 acil sağlık hizmetlerinde ve afet yönetiminde herkesin ezbere bildiği katı bir kural vardır: Afet anında cep telefonlarına güvenemezsiniz. Depremde baz istasyonları kilitlenir, kulelerin jeneratörleri susar, şebeke aşırı yükten nefessiz kalır. Bu yüzden acil servislerin ve ambulansların omurgası "telsiz" ağıdır (VHF/UHF röle sistemleri). Teoride mükemmel bir senaryodur bu; GSM ölür, telsiz yaşatır.

Fakat gerçek hayatta sahaya çıktığınızda acı bir manzarayla karşılaşırsınız: Yıllarca kimsenin dokunmadığı el telsizlerinin nikel-kadmiyum bataryaları kimyasal olarak ölmüştür, dağ başındaki telsiz rölesinin aküleri altı aydır kontrol edilmemiştir ve en kritik kriz anında mandalı sıktığınızda hoparlörden sadece hışırtı yükselir. Kurtarıcı olarak köşede beklettiğiniz o "yedek can damarı", günlük hayatta test edilip beslenmediği için tam da ona muhtaç olduğunuz saniyede kucağınızda can verir.

Sistem mühendisliğinde ve veri merkezi operasyonlarında bu durumun birebir kopyası olan bir kavram vardır: Out-of-Band (OOB) Yönetim Ağı.

Bir mühendis için dünyadaki en çaresiz an; prodüksiyon ağı yerle bir olduğunda, sunucuların iDRAC veya iLO konsollarına erişmek için açtığı OOB VPN tünelinin sonsuz bir "Connection Timed Out" hatasıyla yüzüne kapanmasıdır.

Cankurtaran Filikası Mimarisi

Normal şartlar altında bir sunucunun iki temel ağ dünyası vardır:

In-Band (Prodüksiyon Ağı): Müşteri trafiğinin aktığı, 10G/25G/100G fiber arayüzlerin çalıştığı, BGP anonslarının yapıldığı, Kubernetes pod'larının haberleştiği otoyol.
Out-of-Band (Yönetim Ağı): İşletim sisteminden tamamen bağımsız, anakart üzerindeki özel bir mikrodenetleyici (Dell iDRAC, HP iLO, Supermicro IPMI) ile çalışan; sunucu kapalıyken bile elektriği varsa çalışan, BIOS ayarlarını değiştirebilen, sanal medya takabilen ve cihazı uzaktan yeniden başlatabilen arka kapı.

Tasarım felsefesi çok basittir: Ön kapı alev alsa bile, arka yangın merdiveninden içeri sızabilmelisiniz. Bir switch üzerinde yanlış bir VLAN konfigürasyonu yaptığınızda, bir firewall kuralıyla SSH portunu kaza ile dış dünyaya kapattığınızda veya çekirdek (kernel) panikleyen bir sunucuyu hard-reset ile ayağa kaldırmak istediğinizde tek sığınağınız bu OOB ağıdır.

Fakat pratikte Türkiye'deki ve dünyadaki pek çok veri merkezinde OOB ağı, sistem odasının "üvey evladı" muamelesi görür.

OOB Ağını İntihara Sürükleyen Ölümcül Hatalar

Gemi su alırken filikanın neden suyun dibine battığını incelediğinizde, altından her zaman aynı ucuz ve tembel mimari kararlar çıkar:

1. "Eski Hurda Switch'i OOB'ye Takalım" Mantığı

Prodüksiyon omurgasında yüz binlerce dolarlık Arista, Cisco Nexus veya Juniper omurgalar kullanılırken; OOB ağına gelindiğinde ofis deposunda tozlanmış, on yıllık, portlarının yarısı arızalı, fanı öten 100 Mbit'lik eski bir switch takılır. "Aman canım alt tarafı bir web arayüzü açacak, ne gerek var masrafa?" denir.

Oysa kriz anında o hurda switch'in işlemcisi broadcast paketlerinin altında ezilir, bellek taşması (memory leak) yaşar ve prodüksiyon çöktüğü anda kendisi de kilitlenir.

2. DHCP Bağımlılığı Paradoksu

Gözlerimle şahit olduğum en trajik veri merkezi hikayelerinden biridir: Bir sistem ekibi, 150 adet sunucunun iDRAC arayüzüne statik IP vermekle uğraşmak istemez. "DHCP'den dağıtalım, MAC adreslerini rezerve ederiz" derler.

Her şey harikadır; ta ki şirketin prodüksiyon ortamındaki Active Directory ve DHCP sunucularını barındıran sanallaştırma kümesi (vSphere/KVM) çöken bir storage yüzünden kapanana kadar. Prodüksiyon göçtüğü için DHCP sunucusu ölür; DHCP öldüğü için OOB switch'e bağlı sunucuların yönetim kartları IP yenileyemez (lease time dolar) ve APIPA (169.254.x.x) adresine düşer. Sunuculara erişip sanallaştırmayı açamazsınız, çünkü yönetim kartları IP alamaz; yönetim kartları IP alamaz çünkü sanallaştırma kapalıdır!

Mükemmel bir sistem tavuk-yumurta kilitlenmesi (deadlock).

3. OOB Ağının Prodüksiyondan Beslenen VPN Ağ Geçidi

Bir diğer popüler akıl tutulması: Mühendis evindedir, gece saat üçte prodüksiyon ağı BGP fırtınası yüzünden kopar. Mühendis OOB ağına bağlanmak için şirketin ana Firewall'una (örneğin Fortigate / Palo Alto) SSL-VPN ile bağlanmaya çalışır.

Ama bir dakika; ana firewall'un internet bacağı da prodüksiyon omurgasından çıkmaktadır! Prodüksiyon omurgası öldüğü için VPN sonlandırıcıya ulaşılamaz. OOB ağı fiziksel olarak çalışıyor olsa bile, o ağa dışarıdan girecek bağımsız bir LTE/4G modem veya ayrı bir ADSL/Metro hattı konulmadığı için OOB ağı bir ada gibi kendi içinde izole kalır.

Gece Yarısı Veri Merkezine Doğru Panik Sürüşü

Uzaktan yönetim ağınız çöktüğünde teorik sistem yöneticiliği biter; saf fiziksel efor ve çaresizlik başlar.

Pijamalarınızla yatağınızdan fırlar, bagaja konsol kablolarınızı, USB-Serial dönüştürücülerinizi ve taşınabilir bir monitörü atıp gecenin köründe veri merkezine doğru gazlarsınız. Soğuk koridorda elleriniz titreyerek, kabin arkasındaki o tozlu OOB switch'in konsol portuna mavi rollover kabloyu taktığınızda gördüğünüz manzara genellikle şudur: Switch CPU utilization: 99% - Spanning Tree loop detected on port 24.

Biri aylar önce kablolama yaparken OOB switch'indeki iki port arasına kazara bir patch kablo takmış ve bir loop (döngü) yaratmıştır; ya da bir sunucunun çift portlu IPMI kartı yanlışlıkla köprülenmiştir. Sistem o güne kadar fark edilmeden idare etmiştir, ama ilk fırtınada tüm broadcast paketleri o eski switch'i boğmuştur.

Yaşatmak İçin İzole Et

Bir Out-of-Band ağı kuruyorsanız, kendinize şu acımasız soruyu sormak zorundasınız: Dünyadaki tüm ana sistemler, DNS'ler, DHCP'ler, firewall'lar ve omurga switch'ler yeryüzünden silinse bile ben bu yönetim portuna ulaşabilir miyim?

Cevabınız "Evet" değilse, bir OOB ağınız yoktur; sadece pahalı bir teselli mekanizmanız vardır.

Gerçek bir OOB mimarisi:

Tamamen Statik Olmalıdır: Her yönetim kartının IP'si, alt ağ maskesi ve geçidi cihazın NVRAM'ine kazınmalı; hiçbir harici sunucuya (DHCP) muhtaç olmamalıdır.
Fiziksel Olarak İzole Olmalıdır: Prodüksiyon VLAN'ları ile OOB VLAN'ları aynı trunk kablodan geçmemelidir. Ayrı bir patch panel, ayrı bir kablo tavası ve bağımsız bir switch omurgası bulunmalıdır.
Bağımsız Giriş Kapısı Olmalıdır: OOB switch'inin başında, binanın ana internetinden tamamen bağımsız çalışan bir 4G/5G endüstriyel modem veya bağımsız bir DSL hattı bulunmalı; mühendis doğrudan bu uç noktaya VPN yapabilmelidir.

Tıpta acil çantasının kuralı şudur: Hastanın yanına koştuğunuzda o çantadaki laringoskopun ışığı yanmıyorsa, dünyanın en iyi doktoru olmanızın hiçbir anlamı yoktur.

Veri merkezinde de cankurtaran filikanızın motorunu her ay çalıştırmıyorsanız, gemi batarken suyun üzerinde yüzmeyi değil, boğulurken ne kadar pişman olacağınızı düşünürsünüz.

Data Center

"Out-of-Band" (OOB) Yönetim Ağının Kendi İçinde Çökmesi: Cankurtaran Filikasının Batışı