ambrosanio.com

Ieri ho dovuto recuperare una macchina che non voleva partire dopo un brusco black-out.

Prima lezione: non fidatevi degli elettricisti che vengono a rifare gli impianti e che dicono che tutto resterà in piedi. Sono stati in grado di far saltare il circuito di un intero armadio, compresi gruppi di continuità (!?!).

Quando, dopo la caduta della corrente, sono andato a vedere lo stato delle macchine ho trovato una macchina importante che offre il suo servizio a migliaia di utenti che non funzionava. Ho trovato la macchina in kernel panic poco dopo il boot: non riusciva a montare il filesystem di root.

Sulla macchina era stata installata la Fedora 5 e l'intero disk array (in RAID 5) di 220GB era stato assemblato in un volume logico (utilizzando LVM), anche la partizione di root!

Seconda lezione: attenzione a come si installa Fedora 5. Non mi ricordo chi ha installato quella macchina, ma probabilmente l'ha fatto in maniera "bovina", cliccando next, next, next, senza starci a pensare su. Il risultato è che tutto i disco (sia esso singolo o un array) era stato sì formattato con ext3, partizionato come /boot, swap e /root, ma il tutto assemblato in un volume logico.

Devo confessare che era la prima volta che affrontavo il discorso di LVM, avevo visto che era una opzione di Fedora quando l'ho provata una volta, ma non l'avevo mai utilizzata. Non sapevo cosa fare: rapida ricerca su Google e trovo un articolo Recovery of RAID e LVM2 Volumes che spiega come fare il recover di volumi LVM2 su RAID. Perfetto!

Ieri sera ci siamo buttati senza paracadute e siamo ancora vivi!

La mattina ci eravamo accorti che una macchina, anzie quella maledetta che mi ha fatto perdere una nottata due settimane fa, buttava un calore infernale dalla mascherina frontale.

La macchina era stata assemblata in casa in un case 2U, 4 dischi SCSI in RAID 5 sul frontale, 2 Xeon da 3.2Ghz, controller  SRCU42L (figo per Linux, vede un solo disco ma via driver gdth posso monitorare lo stato dei singoli dischi!), ma evidentemente la ventilazione interna non era appropriata perché i dischi si stavano fondendo mentre noi avremmo potuto fare le caldarroste.

Non era pensabile di rifare una nuova macchina e spostare il contenuto dei dischi e d'altra parte, dopo una rapida occhiata nel magazzino, era chiaro che non avevamo nemmeno l'hardware buono per farne una copia e magari spostare solo i dischi.

Così abbiamo deciso di cambiare il case: abbiamo trovato un case della Supermicro che faceva al caso nostro, sempre 2U ma con una bella batteria di ventolone tra i dischi e la scheda madre e alimentatore che promettevano un uragano quando fossero state in funzione. Ma nessuno si ricordava quale motherboard fosse stata installata e perciò chissà si adattava al nuovo case.