Sunucu üreticilerinin (Dell, HPE, Lenovo, Supermicro) ürün broşürlerine veya kullanım kılavuzlarına baktığınızda, mühendislik dünyasının en büyük konfor vaatlerinden biri gözünüze çarpar:
"Hot-Swappable Components: Disks, Fans, and Redundant Power Supplies can be replaced without shutting down the system."
Yani üretici der ki: "Korkma delikanlı. Sunucunu kapatmana, sistemini kesintiye uğratmana gerek yok. Cihaz canlı yayındayken, saniyede yüz bin istek işlenirken; arızalanan diski, duran fanı veya yanan güç kaynağını mandalından tut, çek çıkar ve yenisini tak. Sistem kılını bile kıpırdatmadan çalışmaya devam edecektir."
Bu cümleyi ofiste otururken, kahvenizi yudumlarken okuduğunuzda son derece rasyonel, güven verici ve modern gelir.
Ancak gece saat 02:45'te, bir veri merkezinin o buz gibi soğuk koridorunda, üzerinde ülkenin en büyük bankasının veya e-ticaret devinin canlı veritabanını koşturan çift soketli devasa bir depolama sunucusunun önünde durduğunuzda; işler katalogdaki gibi yürümez.
Sunucunun ön panelinde onlarca yeşil ışık delicesine yanıp sönmektedir. SAS disklerin kafaları saniyede binlerce kez diske vurmakta, metal kasa titreşmektedir. Ve 7 numaralı disk yuvasının üzerinde o meşhur sarı/kehribar arıza ışığı sabit yanmaktadır.
Elinizi o diskin plastik mandalına uzatırsınız.
İşaret parmağınız mandalın mandal tetiğine değer. Ve tam o an, zaman yavaşlar. Kalp atışınız dakikada 140'a fırlar. Parmak uçlarınız buz keser.
Zihninizde o sinsi, dehşet verici sorular yankılanmaya başlar:
- "Ya bu disk aslında arızalı değilse ve ben yanlış diski çekiyorsam?"
- "Ya mandalı çektiğim an oluşan mikro voltaj dalgalanması SAS backplane kartını kısa devre yaptırırsa?"
- "Ya RAID kartı diskin çıktığını algılayamayıp tüm array'i offline'a çekerse?"
- "Ya ben bu diski çektiğim anda tüm sistem aniden karanlığa gömülürse ve şirket batarsa?!"
İşte "Hot-Swap" teknolojisi, kağıt üzerinde bir mühendislik standardı; sahadaki insan içinse saf bir soğukkanlılık, cesaret ve adrenalin testidir.
Çalışan Kalpte Bypass Cerrahisi (Off-Pump CABG)
Bu yüksek gerilimin tıp dünyasındaki karşılığı, kalp cerrahisinin en üst düzey ve en stresli ameliyatlarından biridir: Off-Pump (Atan Kalpte) Koroner Arter Bypass Cerrahisi.
Geleneksel açık kalp ameliyatlarında hasta kalp-akciğer pompasına bağlanır; kalbi potasyum solüsyonuyla tamamen durdurulur. Kalp hareketsiz, kan akışı durmuş bir et parçası haline gelir ve cerrah rahatça, sakin kafayla damarları diker.
Ancak bazı yüksek riskli hastalarda (örneğin aortu kireçlenmiş veya akciğeri zayıf yaşlı hastalarda) kalbi durdurmak hastanın bir daha asla uyanamaması demektir.
Bu durumda cerrah ne yapar?
Kalbi hiç durdurmaz!
Kalp dakikada 80 kez kasılmaya, göğüs boşluğunda zıplamaya ve etrafa kan pompalamaya devam ederken; cerrah o atan kalbin üzerine özel ahtapot vantuzlar koyarak damarın sadece 1 santimetrelik bölgesini stabilize eder. Ve o atan, kıpırdayan dokunun üzerine, saç teli inceliğindeki dikişlerle yeni bir koroner damar diker!
O cerrahın ameliyat esnasındaki tansiyonunu ve zihinsel yükünü hayal edin: Tek bir milimetrik titreme, iğnenin aortu yırtması ve hastanın ameliyathanenin tavanına fışkıran kanla 10 saniye içinde kaybedilmesi demektir.
Canlı prod sunucusundan disk çekmek de tam olarak dijital dünyanın "atan kalpte ameliyatıdır."
Sistemin şalterini indirip (down-time alıp) sakin kafayla parça değiştirmek herkesin yapabileceği bir iştir. Gerçek zanaat; sistem tüm hızıyla nefes alıp verirken, tek bir veri paketini yere düşürmeden o organ naklini canlı canlı yapabilmektir.
O 3 Saniyelik Fiziksel Tereddüt
O mandalı çekmeden hemen önceki 3 saniye; sahadaki mühendisin tüm mesleki kariyerinin, tecrübesinin ve dikkat düzeyinin gözlerinin önünden bir film şeridi gibi geçtiği andır.
Bir anlık dikkatsizlikle;
- Slot 0 yerine yanlışlıkla hemen yanındaki Slot 1'in mandalını açarsanız,
- Rebuild (yeniden yapılanma) sürecinde olan bir RAID dizisinin sağlam diskini çekerseniz,
- O an tüm array çöker ve dakikalar içinde terabaytlarca veritabanı uçup gider.
Bu yüzden saha mühendisliği literatüründe yazılı olmayan ama kanla yazılmış altın bir kural vardır: "Read Twice, Confirm Thrice, Pull Once" (İki kez oku, üç kez doğrula, bir kez çek!).
- iDRAC/iLO yönetim arayüzünü açın.
- Arızalı diskin fiziksel yuva numarasını (Slot ID) ve seri numarasının son 4 hanesini teyit edin.
- Yönetim panelinden "Blink / Identify" komutunu vererek arızalı diskin LED ışığını mavi renkte delice yanıp söndürün.
- Gözlerinizle o mavi yanan ledi bulun. Seri numarasını kasadaki etiketle karşılaştırın.
- Ve derin bir nefes alıp; mandalı tek bir kararlı, pürüzsüz ve tereddütsüz hareketle kendinize doğru çekin.
Çıt Sesi ve Gelen O Büyük Rahatlama
Mandal açılır. SAS konnektörünün dişleri yuvadan ayrılır. Diskin motorunun devri kademeli olarak düşer (spin down).
Ve arka planda sunucunun diğer diskleri delice çalışmaya devam eder. Terminale bakarsınız:
Disk 0:1:7 removed. RAID array degraded, operating normally.O an; omuzlarınızdaki tonlarca yükün bir anda kalktığını, ciğerlerinize tekrar oksijen dolduğunu hissedersiniz. O 3 saniyelik korku filmi bitmiş; yerini modern mühendisliğin o kusursuz mimarisine duyulan derin bir hayranlığa bırakmıştır.
Yeni diski kızağa yerleştirirsiniz, yuvaya itersiniz. Mandalı kilitlersiniz. Bir saniye sonra yeni diskin yeşil ışığı yanıp sönmeye başlar: Rebuilding %0...
Korku Değil, Saygı
Hot-swap parçalardan korkmak bir zayıflık değildir; aksine, çalışan bir sisteme ve taşınan veriye duyulan derin bir mühendislik saygısıdır.
Asıl tehlikeli olan; o mandalları hiçbir kontrol yapmadan, sanki evdeki oyun konsolunun kolunu çıkarıyormuş gibi fütursuzca çeken cahil cesaretidir. Çünkü o cesaret, er ya da geç bir şirketin tüm kurumsal hafızasını toprağa gömer.
Korkunuzu kaybetmeyin; o korku sizin en büyük güvenlik kalkanınızdır.
Ancak o korkunun sizi felç etmesine de izin vermeyin. Prosedürleri harfiyen uygulayın, seri numaralarını üç kez okuyun ve o mandalı çekerken zanaatınıza güvenin.
Çünkü atan bir kalbin üzerinde damar dikebilenler, ancak krizlerin ortasında dimdik ayakta kalabilir.