14 Aralık Cumartesi akşamı meydana gelen elektrik kesintisi ve devamında yaşadığımız teknik problem sebebiyle bir süre, sunucu erişimlerinde aksaklık yaşandı. Her şeyden önce Radore olarak yaşanan bu aksaklıktan ötürü özür dileriz. Yaşanan süreçte bize ulaşan soru ve yorumlarınızla ilgili detaylı açıklamalarımızı paylaşmak isteriz:

1- Radore enerji altyapısı yedekli değil mi?

Enerji sistemimiz 2 adet birbirinden bağımsız 1600 kVA dağıtım trafosudan beslenmektedir. Enerji yedeklemesi için de 2 adet Caterpillar tam yedekli 1100 kVA dizel jeneratörümüz bulunmaktadır. Her bir jeneratör için tam yükte minimum 8 saat süreli günlük yakıt tankı (2 ton x 2 adet) ve günlük tankları besleyen 60 tonluk merkezi yakıt deposu mevcuttur. Basit bir anlatımla herhangi bir kesinti durumunda minimum yedekli jeneratör yapımız bir hafta boyunca enerji üretebilecek kapasitededir. Ayrıca veri merkezimizde kritik enerji beslemesi için 3 adet 100 kVA Newave Standalone UPS ve 1 adet 80 kVA APC Silcon UPS bulunmaktadır. Bu UPS’ler 250 adet aküden beslenmektedir.

2- Ne oldu?

19:01 Metrocity Bina Yönetimi’nin de bilgisi dışında BEDAŞ Dağıtım Merkezi tarafından bakım amacıyla enerji kesildi.

19:01 Jeneratör otomatik olarak devreye girdi.

19:05 Jeneratörler devre dışı kaldı.

19:13 Jeneratörün devre dışı kaldığı fark edildi.

19:15 Jeneratörlerin devre dışı kalması sebebiyle devrede olan UPS ve Aküler kapasiteleri sonunda devre dışı kaldı.

19:25 Jeneratörler, manuel olarak teknik ekip tarafından çalıştırıldı ve enerji sağlandı.

19:45 Kapalı durumdaki sunucuların tamamı çalışır hale getirildi.

20:00 Vardiya dahilinde görev yapan ekip dışında, ihtiyaç görülen ekip arkadaşlarımız görevinin başında yerini aldı.

20:40: BEDAŞ’ın bakım sebebiyle gerçekleştirdiği enerji kesintisi sona erdi.

Radore Teknik Ekibi tarafından kesinti ile başlayan acil müdahale süreci, arıza tespiti ve giderilmesi çalışmaları ile 04:00’a kadar devam etti. 2.500’ün üzerindeki fiziksel sunucu içinde arızalanan 18 sunucunun güç kaynakları garanti kapsamında değiştirildi. Ulaşan destek talepleri doğrultusunda 177 kullanıcının işletim sistemi kaynaklı sorunları giderilerek sunucu erişimleri sağlandı.

3- Yaşanan teknik problemin sebebi neydi?

Acil müdahale esnasında fazlar arası gerilim dengesizliğinin yol açtığı düşünülen aksaklıkla ilgili olarak Borusan Bakım Ekibi ve Radore Altyapı ve Teknik Hizmetler Ekibi güvenlik süreçleri de dahil olmak üzere geçtiğimiz iki gün boyunca detaylı inceleme ve tespitlerini yaptı. Aksaklığın gerilim dengesizliği sebebiyle jeneratör sistemine ait otomasyon mekanizmasının zarar görmesinden kaynaklandığı netlik kazandı. Aksaklığın, olması gerekenden daha uzun sürmesinde ise insan hatası olduğu tespit edildi.

4- Radore’ye ulaşmakta neden zorluk çekildi?

Bu durumun 2 sebebi vardı; Birincisi telefon santralinin de aynı aksaklıktan etkilenmesi, ikincisi ise aksaklık sonrası yaşanan yoğunluk. Gelen çağrılarda önceliği aksaklıkla ilgili değerlendirmeler yerine acil teknik destek ihtiyaçlarına verdik. İletişimimizi resmi Facebook sayfamız ve Twitter hesabımızdan da devam ettirmeye çalıştık.

5- Hala “Uptime Experts” misiniz?

Son 5 senedir %100 olan enerji uptime oranımız, yaşanan 10 dakikalık elektrik kesintisi sebebiyle 2013 itibarıyla %99,998 oldu. (Uptime Institute’un Tier Klasifikasyonu detaylarına göre)

6- Bundan sonra ne olacak?

  • Otomasyon mekanizmasındaki arıza, gerekli önleyici tedbirler alınarak giderildi. Son aşamasında olan ve altyapısında en yeni teknolojinin kullanıldığı yeni veri merkezi yatırımımızda da çok düşük ihtimalli bu tip risklerin bir daha yaşanmaması adına ilgili iş prosedürlerimiz yeniden kontrol edilecek.
  • Bedaş’tan kaynaklanan kesinti ve arızaları anlık olarak takip etmek üzere hazırlanan iç prosedür için aksiyon alınacak.
  • Santral altyapısı olası acil durumlarda iletişimin sürekliliğini sağlamak üzere yeniden yapılandırılacak.
  •  Facebook.com/RadoreHosting’ in ve @radore’ nin daha aktif kullanılması konusunu detaylıca değerlendirdik. Özellikle iletişim yoğunluğunun meydana geldiği durumlarda destek ve iletişim taleplerinizi iletebilmeniz amacıyla @radoredestek ‘i aktif hale getirdik.
  • Bunlara ek olarak, yapılabilecekler ve konu hakkındaki her türlü geri bildiriminizi Radore Yönetim Ekibi tarafından takip edilen geribildirim@radore.com ‘a göndermenizi rica ederiz.

Son olarak;

Verdiğimiz hizmetlerin müşterilerimizin iş süreçlerindeki öneminin farkında olduğumuzu ve bu iş süreçlerinde her Radoreli’nin müşterilerimizle her an aynı stresi paylaştığını belirtmek isteriz. 10 yıla yaklaşan veri merkezi tecrübemiz dâhilinde sorumluluğumuzun her zaman bilincinde olduk ve risklerimizi/risklerinizi minimuma indirmek amacıyla hizmetlerimizi sürekli geliştirmek için çalışıyoruz. Bu çerçevede, yaşanan aksaklıktan ötürü bir kez daha derin üzüntülerimizi bildirir, gösterdiğiniz anlayışınız için teşekkür ederiz.