Operacija na otvorenom sviču

U našem najvećem data centru imamo sedam svičeva, povezanih u virtualnu šasiju. Takva konfiguracija omogućava da se svičevi ponašaju kao jedan, a lepa je osobina što se onda svima njima upravlja sa jednog mesta. Kako to već biva, svičevi su u produkciji već godinama, i bilo je krajnje vreme da se upgrade-uje softver na njima. Zvuči jednostavnije da se svičevi prosto zamene, ali oni nisu ni malo jeftini, a i nabavka je otežana zbog tekuće krize, čak i kada se nalazite u nekoj od razvijenih zemalja. Upgrade softvera na uređaju je potencijalno opasna operacija, koju ne želimo da radimo od kuće, te smo za tu priliku potegli put na drugi kontinent, da bismo u data centru na licu mesta uradili upgrade. Zar je to nešto teško, i šta tu može da pođe naopako, jel’ tako?

Pet od sedam lampica

Dođemo mi na lice mesta, najavimo radove na mreži i potencijalni prekid servisa i pokrenemo upgrade sa verzije X na preporučenu verziju X+2. Proces počne, pogase se lampice na svim svičevima, što i treba da se desi, a onda se upale na 5 od 7 od njih... a treba na 7 od 7. Naš sistem dozvoljava da jedan svič ne radi, a da i dalje sve funkcioniše, ali kad ne rade dva sviča u rekovima koji su jedan pored drugog, rezultat nije dobar.

Probamo reboot, ne pomaže. A uz to se ispostavlja da se ni onih pet svičeva na kojima gore lampice nije upgrade-ovalo, jer je tu princip sve ili ništa. I tako sada sistem pola radi, pola ne radi. Brzim pogledom u monitoring vidimo da 12 servera ne radi, pošto su povezani samo dva „neispravna“ sviča i da nemaju konektivnost ka svičevima koji funkcionišu. Što se rezerve tiče, imamo još jedan svič koji stoji montiran u drugom rack-u, ali dok se to razmontira pa montira, downtime se gomila, a to nikako ne želimo. Najbrže rešenje je bilo da prebodemo kablove sa tih 12 servera na svičeve koji rade. Odradimo to za petnaestak minuta, sistem proradi, ali svičevi su i dalje na staroj verziji firmvera. I šta sad? Probamo da reinstaliramo operativni sistem na ta dva sviča dok su još u rack-ovima, kad već imamo konzolni pristup i tu smo odmah pored. Ne prolazi. Sve greške ukazuju na problem sa internim SSD-om koji je ugrađen u sam switch.

Čudni šraf

Kao paralelnu radnju, kažemo kolegi u Beogradu da komunicira sa drugim ISP-om gde imamo još dva takva sviča, kako bi ih demontirao i poslao kod ovog ISP-a. Nakon kraće komunikacije, jasno je da ti svičevi ne bi stigli barem tri dana, a i to uz značajne troškove. Tražimo ipak da nam ih pošalju, u nadi da ćemo lokalno rešiti problem pre nego što stignu.

Naravno da smo pogledali na Internetu kako se takav problem rešava, ali su saveti uglavnom da pošaljete svič u ovlašćeni servis, pa nek se oni muče sa tim. Potražimo i da li ima nekih slika, čisto da znamo šta da očekujemo, no nismo našli ništa konkretno. Dakle, moramo sami. Skinemo sve kablove sa jednog od dva problematična sviča i probamo da mu skinemo poklopac dok je još u rack-u. Ubrzo smo shvatili da to neće ići, jer se poklopac proteže i sa strane, a tamo su zašrafljene šine na kojima je taj svič montiran u rek. Nema veze, odšrafimo šrafove koje vidimo, a ima ih desetak, i dođemo do dva čudna. Ni jedan od šrafcigera koje imamo ne radi na tim šrafovima.

Šrafovi su veoma mali, ali srećom tu je telefon: slikamo, pa uvećamo sliku na telefonu, da vidimo sa čim imamo posla. Posle malo istraživanja, ustanovimo da se ti šrafovi zovu torx security, pa nije ni čudo da šrafciger za to nemamo. Nemaju ni tehničari u data centru. Probamo da naručimo alat, ali avaj, sve isporuke su za 3 dana. Pitamo ove iz ISP-a gde oni kupuju alat, pomenu neku prodavnicu koja je 20 kilometara daleko. Šta se može, uzmemo Uber, odemo tamo, kupimo nekoliko setova alata, jer nemamo pojma koji će tačno da pasuje, pošto ima raznih veličina. Srećom, jedan od nastavaka odgovara našem problematičnom šrafu.

Čudni SSD

I tako, najzad izvadimo svič iz rack-a i podignemo njegov poklopac. Nismo se obradovali onome što vidimo: unutra su dva mala SSD-a sa SATA konektorima, ali su pričvršćeni plastičnim odstojnicima sa strane gde nije konektor. Probamo da izvadimo te odstojnike, ali se uz alat koji smo imali pri ruci to ne može uraditi. Sve je zapeklo, plastični odstojnici neće da popuste. Pri tome se još kolega povredi prilikom pokušaja da skine odstojnike korišćenjem nekih špicangli. Kako kaže izreka, nemoj silom, uzmi veći čekić – ugnjavimo kolege iz ISP-a da nađu ozbiljne papagajke, pa jedan vuče, cima i vrti te plastike, a drugi drži svič... Uspemo nekako da izlomimo plastiku i da izvadimo SSD.

Priključimo SSD-ove u naše Linux servere preko USB to SATA adaptera, i najpre napravimo image, zlu ne trebalo. Pri tom vidimo da se javlja gomila grešaka – u svakom od svičeva ne radi po jedan SSD. Dođemo na genijalnu ideju da ta dva SSD-a koji rade ubacimo u jedan od svičeva i probamo reinstall. Nakon nešto muke, jer jedan od install USB-ova nije radio kako smo očekivali, operacija uspe a svič se podigne. Stvari više ne deluju tako crno – znamo u čemu je problem. Ali kombinovanje postojećih SSD-ova i nije neka strategija – to su i dalje stari uređaji koji mogu da crknu svakog časa. Ne možemo tek tako da ih vratimo u produkciju.

Online pretraga ubrzo nađe odgovarajuće diskove, ali uz rok isporuke 3 dana. Onda naša ekipa u Beogradu (puno hvala na podršci!) nađe da postoje neki uređaji koji izgledaju kao normalni SSD-ovi, ali su u stvari unutra pola veličine, baš ono što nama treba. Naravno, samo neke od revizija tog modela imaju odgovarajuću osobinu, a mi ne znamo koja je revizija raspoloživa u radnji.

Operacija pred radnjom

Pre odlaska u radnju, pošto sad imamo još jedan svič koji radi kako-tako, odradimo najzad upgrade zbog koga smo i krenuli na daleki put i to srećom prođe bez problema (nakon što smo izbacili iz konfiguracije dva sporna sviča). Odemo opet u radnju, kupimo jedan primerak SSD-a, i onda ga odmah ispred radnje rasturimo u delove koristeći alatke koje smo kupili u prethodnoj poseti. Sreći nema kraja: unutra je upravo ono što nam treba, SSD veličine polovine standardnog. Vratimo se u radnju i kupimo još pet komada, pa nazad u data centar.

Probamo da montiramo u svič ali avaj: vrlo malo fali da može da se montira kako treba... ali fali. SSD-ovi iz sviča na SATA konektoru nemaju zaštitnu plastiku, a ovi naši imaju. Uz malu pomoć švajcarskog nožića, plastika je pretvorena u prašinu, a SSD-ovi su konačno „legli“ na mesto. Instaliramo operativni sistem, i to prođe primetno brže, jer su SSD-ovi mnogo noviji, a samim tim i brži.

Obradovani uspehom, ponovimo proceduru na sva tri sviča (dva koja su prestala da rade, plus jedan rezervni). Vratimo jedan u virtuelnu šasiju i on momentalno proradi. Vratimo jedan od servera da ide preko tog sviča, i to radi. Sreća. Vratimo i drugi svič u virtualnu šasiju, pa uz malo cimanje kablova i to proradi. Ispostavilo se da smo otkačili kabl i sa drugog kraja dok smo to sve nameštali, pa kad smo proverili, to smo samo gurnuli nazad i nakon toga je i taj drugi svič proradio (staro pravilo sa kablovima: ako kabl ima jedan kraj, ima i drugi).

I tako se operacija od pola sata protegla na tri dana užasnog smaranja. Ipak, veoma se isplatilo, pošto jedan nov svič ove klase košta desetak hiljada evra... pa vi sad to pomnožite sa sedam. A naravoučenije? Pa, još jednom se potvrdilo da u IT svetu ništa nije jednostavno, kao i da sve može poći naopako.