Durant la tarda d'ahir, i com a conseqüència de la fuita d'aigua que vam detectar a la sala de màquines del D6, l'aire condicionat de la nevera va estar fallant.

Malauradament no hi ha personal de manteniment per la tarda que pugui atendre aquests incidents (els operaris especialitzats en climatització només estan pel matí), i la temperatura a primera hora d'avui era de 29 graus.

Pel que sembla, el circuit de refrigeració d'aigua s'ha quedat buit degut a la fuita i la màquina d'aire s'ha aturat. Ara els operaris han tornat a engegar la màquina, però ja ens han advertit de que es tornarà a aturar en pic es torni a buidar, fins que no es resolgui definitivament la fuita.

Us mantindrem informats de l'evolució d'aquesta avaria, que probablement precisarà d'una aturada de tots els sistemes de la sala.

Actualització 4/9/2009 a les 10h: Els tècnics de manteniment activaran el bypass manual de la màquina d'aire condicionat de l'edifici per a que vagi també a la sala de màquines. Confiem que això eviti que la temperatura torni a pujar excessivament a la sala, però és probable que no la refredi i que calgui prendre altre tipus de mesures de cara al cap de setmana, com per exemple aturar els clusters.

Actualització 4/9/2009 a les 14h: L'aire condicionat està funcionant en bypass. La màquina d'aire de la sala està aturada. La temperatura es manté estable en uns 27 graus. Deixarem els clusters encesos, si tot es manté en aquestes condicions no hi hauria d'haver noves incidències.

Si recordeu, ara fa un temps vam obrir una entrada explicant com pensavem des del laboratori que no s'havia de fer una instal·lació de conductes. Doncs bé, sembla que el temps ens ha donat la raó, ja que avui hem descobert una fuita d'aigua al costal d'un dels endolls elèctrics tal com es pot veure a la següent imatge:

[img_assist|nid=142|title=Aigua a la nevera|desc=Els cables verds són els cables d'alimentació dels equips del BSC!|link=none|align=center|width=427|height=320]

Hem avisat a manteniment, que ens ha informat de que efectivament hi ha una fuita, però que ells no tenen eines per solucionar-la, pel que han de trucar a la empresa instal·ladora, per a que trobi el punt d'on surt l'aigua i ho solucioni. Durant aquesta operació, sembla que les màquines d'aire condicionat hauran d'estar aturades, i segons ens ha comentat, a vegades es pot trigar 2 ó 3 dies fins trobar la fuita, pel que s'haurien d'aturar diversos serveis al centre de càlcul.

En tot cas, no avancem esdeveniments, i quan tinguem dades en ferm us les farem saber.

Aquest matí quan he arribat sonava l'alarma d'incendis del centre de càlcul del D6, després de desactivar-la m'he adonat que un dels vesda estava totalment apagat, cosa que no és normal. Aleshores m'he posat a llegir el correu del dia i he vist que l'alarma ja va sonar ahir i que els clústers no funcionen. Tot seguit he rebut una trucada d'en Sergi Girona del BSC explicant-me que ahir saltava l'alarma i que els de seguretat la van desactivar un parell de cops i m'ha dit que venia cap aquí. Mentrestant he decidit fer un cop d'ull als clústers i és quan he vist que estan tots apagats.

He anat a mirar el SAI nou i quina sorpresa m'he endut... També està apagat! He mirat els quadres elèctrics i he vist que el magneto-tèrmic d'entrada estava en la posició central, que indica que ha saltat l'automàtic. Ha arribat en Sergi i hem mirat de posar en marxa el SAI, però encara no feia 1 minut que l'hem encès i ha fet un pet amb una espurna força important a l'interior del SAI.

Jo he trucat a Salicru per avisar de l'avaria i en Sergi ha trucat a l'empresa instal·ladora per avançar feina. Esperem que durant aquest matí vinguin a mirar-s'ho. Mentrestant, els clústers romandran aturats. Dispenseu les molèsties.

Actualització (20 agost): he tornat a trucar a Salicru i m'han dit que el tècnic ve de camí i que durant aquest matí arribarà al D6. Un cop avaluïn l'estat del SAI decidirem si posar en marxa els clústers en bypass o esperem a què reparin el SAI.

Actualització (21 agost): El SAI torna a funcionar des d'ahir a la tarda. Aquest matí, després de comprovar que tot estava bé, he posat en marxa de nou els clústers. El tècnic va canviar força peces, fins i tot algunes que en principi no calia però es volia assegurar que tot estava bé. A continuació podeu veure la foto de la primera explosió que va causar l'avaria, la resta les podeu veure al meu flickr.

/alexm

Valoració de danys després de l'explosió d'un condensador

• Renovar el servidor de correo con discos duros muy rápidos (dos discos SAS a 15000 rpm en RAID 1)
• Cambiar el formato de los buzones de correo a uno más eficiente (maildir o similar)
• Estudiar la opción de que todas las carpetas de correo residan en el disco local y eliminar los accesos NFS

Tal com estava programat, avui dimarts s'ha realitzat el canvi provisional del servidor de correu intern com a primera mesura per a resoldre el problema de rendiment del servidor que ha estat hostatjant aquest servei els darrers anys. El creixement de les bústies, juntament amb l'augment d'usuaris i els problemes de rendiment de la controladora de disc del servidor, han agreujat la situació de tal manera que s'han plantejat diversos canvis que s'executaran de forma progressiva i transformaran el servei en molts aspectes.

Quant als detalls del canvi que s'ha realitzat avui, s'han clonat les particions de disc del servidor de correu sobre un altre servidor, en el qual s'ha prescindit de la controladora RAID que provoca problemes de rendiment i s'ha configurat RAID via programari, amb el que s'ha eliminat una de les causes principals dels problemes. Tot i que les altres causes (bústies grans, molts usuaris i NFS) segueixen vigents, s'ha pogut comprovar que el nou servidor té un comportament força millor pel que fa a l'accés al disc local i confiem en què no es tornin a produir les sobrecàrregues que ens han obligat a reiniciar el servidor els algunes ocasions.

O això és el que ha d'haver pensat la majoria de gent que ha entrat a l'edifici D6 veient la cadena amb la que l'han lligat:

[img_assist|nid=45|title=|desc=|link=none|align=left|width=150|height=200]

Confiem que no sigui que el Houdini estigui encara dintre intentant sortir.

El programari encarregat de marcar el correu no desitjat ha estat actualitzat a les darreres versions disponibles. El servei el conformen ara SpamAssassin 3.2.4, Vipul's Razor 2.84 i dcc 1.3.90, juntament amb la darrera incorporació de Pyzor 0.4.0.

Igual els experts en manteniment opinen que la probabilitat de que hagi una fuita d'aigua i per tant un curtcircuit a la sala de màquines és petita, i segurament tenen raó, però com es doni aquesta opció, serà millor que si ens hagués tocat la rifa de Nadal.

[img_assist|nid=53|title=|desc=|link=none|align=left|width=200|height=150]Tot i que sembli mentida, la imatge està feta al nostre centre de càlcul, durant la instal·lació dels nous equips d'aire condicionat.

Veient la imatge i aprofitant la renovació del pla d'estudis, fora una bona idea afegir una assignatura de com treure aigua d'un soterrani.

Evidentment ja hem informat a manteniment per a que modifiquin la instal·lació i es redueixi l'impacte d'una possible fuita.

Actualización 11/6/2008: Mantenimiento de Campus Nord (Carlos Quiñones) nos asegura que la instalación se ha realizado por el "menos malo" de los sitios y que dada la calidad de los materiales y el sistema de sellado, es perfectamente segura.

• La información es más fácil de acceder, tanto para usuarios avanzados como nuevos
• La documentación está actualizada y nos comprometemos a que lo siga siendo
• Poco a poco será más completa (según tus comentarios)
• Hemos eliminado passwords para acceder a documentación ya existente
• Diseño más agradable

En la parada de hoy, además de mover los clusters hemos aprovechado para medir su consumo utilizando los indicadores del SAI. El resultado ha sido el siguente:

El SAI permite una potencia total de 100 kVA por fase, así que los clusters consumen un tercio aproximadamente de la línea eléctrica protegida.
Debido a que estamos pŕacticamente al 100% de la capacidad del SAI, los responsables de estas máquinas se plantean moverla a línea desprotegida hasta que dispongamos de uno adicional para los clusters.

Per a deixar espai per a la instal·lació de les noves consoles d'aire condicionat, hem hagut de desplaçar els clusters ferrer i salvat uns 60 cm de la seva posició inicial:

[img_assist|nid=59|title=|desc=|link=none|align=left|width=200|height=150]

[img_assist|nid=60|title=|desc=|link=none|align=left|width=150|height=200][img_assist|nid=61|title=|desc=|link=none|align=left|width=200|height=150]

Finalment la situació en que ha quedat és la següent:

[img_assist|nid=62|title=|desc=|link=none|align=middle|width=200|height=150]

La operació ha començat a les 8:30 del matí i ha finalitzat cap a les 10:30. Han estat 2 hores intenses donat el pes que tenen el conjunt dels nodes però que ha finalitzat de forma idònia.

Después de que los clusters fueran separados de la línea protegida del SAI quedaba por ver la carga de éste.

Hemos anotado en varios ocasiones el consumo y éste ronda generalemente los valores siguientes: 300A, 260A y 210A (I de las diferentes fases). La V (respecto al neutro) es de 220 +/- 1 normalmente. Por lo tanto, la potencia usada es de 66kVA, 57.2kVA y 46.2kVA por línea trifásica.

Como era de esperar el SAI va bastante sobrado (recordad que su capacidad es de 100 kVA, aunque no debemos superar en general el 80% de esta cantidad). Llama la atención la descompensación entre las fases, hecho que comentaremos con mantenimiento para ver si puede ser problemático.

Des de fa temps els diferents webs del departament han anat augmentant i aquesta descentralització ha dut molts avantatges en general. Però també té alguns inconvenients i n'hi ha un en particular que també fa temps que patim però que darrerament ha esdevingut força molest: haver de posar el nom d'usuari i la contrasenya repetidament per accedir a les aplicacions o als continguts repartits pels nostres webs.

Aquest és un problema que no té una solució perfecta perquè normalment els sistemes centralitzats d'autenticació requereixen adaptar les aplicacions i de vegades fins i tot el comportament dels servidors web. Afortunadament, la tecnologia millora amb el temps i la comunitat de programari lliure és una font inesgotable de solucions i idees. Teníem clar que no volíem dedicar gaires esforços a adaptar les aplicacions però sabíem que caldria fer alguns canvis als servidors web. Vam trobar una solució que semblava feta a mida per nosaltres (mod_auth_tkt) però tenia alguns inconvenients quant a la seguretat. Finalment, un usuari d'aquesa mateixa eina va decidir fer-ne una variant (mod_auth_pubtkt) basada en xifrat asimètric, justament el que nosaltres necessitàvem.

Així doncs, un cop provada l'eina, l'estem començant a implantar poc a poc en els diferents webs que tenim tant al LCAC com a GSI. Així doncs, no us espanteu si quan accediu a una web del DAC aneu a parar a aquest formulari web que us demanarà que introduïu el vostre nom d'usuari i contrasenya de la xarxa interna.Un cop autenticats, tornareu a la pàgina on éreu abans. Tingueu en compte que l'autenticació s'invalida automàticament al cap de 24 hores o quan tanqueu el vostre navegador. D'aquesta manera, no haureu d'autenticar-vos més d'un cop al dia.

Actualització (5 desembre): Els canvis necessaris al gw per a poder implantar el nou sistema d'autenticació web afecten a algunes aplicacions com la firma electrònica, motiu pel qual hem hagut d'aturar temporalment la prova pilot. Al llarg dels propers dies, haurem de cercar una solució per a poder continuar amb aquesta prova. Lamentem les molèsties que tot plegat us pugui ocasionar.

Actualització (15 desembre): Un cop informat l'equip directiu sobre els problemes de l'aplicació de signatura electrònica amb el gw, s'ha decidit seguir amb la oficialització del domini ac.upc.edu (necessària per al nou sistema d'autenticació web) i recomanar que a partir d'ara l'accés des de fora del DAC a l'aplicació de firma electrònica es realitzi via VPN. Així doncs, la implantació del nou sistema d'autenticació pren una nova embranzida.

Actualització (16 desembre): L'accés web via gw a la intranet s'ha configurat amb el nou sistema d'autenticació web. Així doncs, per accedir via web al gw a partir d'ara haureu d'introduir la contrasenya interna.

Actualització (18 desembre): Els problemes de l'aplicació de signatura electrònica amb el gw s'han pogut resoldre satisfactòriament i ara mateix pràcticament totes les zones web ja estan utilitzant el nou sistema d'autenticació web (les que falta per integrar no són d'ús general), tret de les zones amb autenticació privada (per exemple, les d'assignatures), és clar.

El cap de setmana passat varem dur a terme per primer cop des de la migració del servei de correu cap al nou servidor el purgat automàtic de les carpetes de correu brossa (carpetes spam, virus i bounce). S'han eliminat els correus amb data de recepció igual o superior a 30 dies.

Aquests han estat els resultats:

• 606 usuaris processats
• un total de 1669565 missatges examinats
• dels quals 1340608 han estat eliminats
• el temps empleat pel procés ha estat de 2 hores i mitja

Aquest procés s'executarà a partir d'ara periòdicament un cop per setmana, durant els caps de setmana. Per a més informació, consulteu el document sobre el filtrat predeterminat del correu que arriba a les vostres bústies.

Actualització a 9 de desembre 2008: El passat cap de setmana s'ha executat de forma automàtica el procés de purga. Podem considerar els números que n'han resultat com els "normals" que aproximadament se succeiran en les properes execucions automàtiques setmanals. Són aquests:

• 638 missatges processats per usuari
• dels quals 236 són eliminats per antiguitat
• es processen les carpetes de 9.5 usuaris per minut