Demà dimecres 9 de gener a les 11:00 del matí procedirem a actualitzar els paquets del servidor de bases de dades. El procés durarà 30 minuts com a màxim i es produiran aturades de les bases dels diferents sistemes de base de dades que afectaran els serveis següents:

• Usuari Únic (UU i FTP)
• Gestió de reserves (MRBS)
• Web de la Intranet
• Request Tracker d'Administració (RT)
• Gestió bibliogràfica
• Fitxes docents
• Contactes d'Administració

Aquest migdia, cap a les 12:40 hem aturat el servidor gw per tal de canviar el disc del mirror que havia fallat. Un cop canviat el disc defectuós el RAID ha començat a reconstruir-se i hem posat en marxa de nou el servidor. El temps de l'aturada ha estat de 20 minuts.

Diversos discos del servidor de correu han tingut un conjunt encadenat de problemes causant una corrupció del sistema de fitxers que ha fet que la recuperació del mateix fos impossible.

Hem decidit reinstal·lar una nova màquina i recuperar una còpia de backup de les bústies de correu.

Podeu llegir el vostre correu fent servir el webmail de continuitat a: http://www.ac.upc.edu/app/webmail-cont

Si algú necessita algun correu perdut, es pot comprovar si s'ha rebut i, si el disc ho permet, es pot provar a recuperar. Els correus enviats en principi s'han lliurat correctament.

Actualització 17:30: Es crea una màquina virtual per substituir la màquina amb problemes.

Actualització 19:30: Es llença la restauració de les bústies a la nova màquina. Més de 6.000.000 de fitxers per restaurar. En espera de que finalitzi la indexació dels mateixos.

Actualització 18/12/2012 01:34: Ha començat la recuperació dels fitxers. Al ritme actual de recuperació trigarà unes 10  hores en finalitzar.

Actualització 18/12/2012 07:30: La recuperació de fitxers s'ha alentit lleugerament. Ara mateix tenim recuperat un 45% dels fitxers quan han passat 6 hores des del començament de la recuperació.

Actualització 18/12/2012 13:40: El correu torna a estar disponible. Teniu em compte que degut a la corrupció del disc al servidor original, s'ha perdut el correu rebut entre la 1:50 del dilluns 17/12/2012 i les 17:30 del dilluns 17/12/2012.

Actualització 18/12/2012 17:00: Estem recuperant els correus rebuts que potencialment s'han perdut. Si la recuperació és satisfactòria, llavors caldrà trobar un procediment per a què els usuaris tinguin accés a aquests correus "perduts".

El dimecres 12-12-12 es va procedir a la ampliació de memòria de les 2 unitats que s'encarreguen de servir disc als nodes del cluster.

Inicialment cada un d'aquests servidors disposava de 24GB de RAM i amb l'actualització cada un d'ells té 144GB de memòria.

L'ampliació esva fer sense provocar cap aturada del servei, donat que mentre s'ampliava un dels servidors, l'altre s'encarregavade servir tota la informació.

Confiem que amb aquesta modificació, el rendiment de l'accés al disc als nodes del cluster sigui molt bó.

Ens han informat des d'UPCnet, que aquest proper dijous 13-12-2012 han d'efectuar tasques de manteniment a part de la xarxa troncal de la UPC i que al DAC estarem entre les 15:00 i les 16:00 sense connectivitat amb l'exterior.
 
La xarxa del DAC continuarà funcionant, però no es podrà accedir des de fora del D6/C6 durant aquest període, ni podrem accedir a Internet mentre duri el manteniment. Internament podrem continuar treballant sense notar cap problema.
 
Els mails que ens enviïn o que enviem arribaran amb un lleuger endarreriment.

Recordeu que durant el tall de connectivitat, si no esteu físicament al D6/C6, podeu fer servir els serveis de continuïtat per  accedir a la lectura del vostre correu/dades.

Actualització: Ens comuniquen d'UPCnet que han canviat la planificació i l'hora de l'actuació serà entre les 20:00 i les 21:00 del mateix dijous 13-12-2012.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli i cal fer un re-inici que durem a terme el proper dimecres dia 5 de desembre les 8:00h. La durada prevista de l'actuació és d'1 hora.

Els servidors afectats són els següents:

• db-1 (bases de dades d'aplicacions de la intranet principalment)
• gw-1 (proxy web, VPN)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• recursos (impressores, samba)
• sistemes-1 (base de dades d'equips en xarxa i altres serveis d'infraestructura)
• stats-1 (recull d'indicadors d'ús de serveis)
• www-1 (webmail, reports)
• xarxes-2 (DNS, DHCP, VMPS)

Actualització [08:50]: els servidors s'han re-iniciat correctament.

Degut a un problema amb Java i Internet Explorer, el servidor de Windows de nom "amargos" no estarà disponible de 19 a 21 hores el proper divendres dia 30/11/2012.

Dispenseu les molèsties que aquesta actuació us pugui ocasionar.

El Departament ha deixat d'oferir el servei de programari de MSDNAA ja que la UPC ja oferia aquest servei i és accessible a través de l'apartat de Distribució de Software de la UPC. En cas de problemes d'accés, cal contactar directament amb UPCNet.

Dispenseu les molèsties.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli del sistema que requereixen un reinici que durem a terme el proper dimecres dia 21 de novembre a les 7:30h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• xarxes-2 (DNS, DHCP, VMPS)
• gw-1 (proxy web, VPN)
• recursos (impressores, samba)
• www-1 (webmail, reports)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• db-1 (bases de dades d'aplicacions de la intranet principalment)
• sistemes-1 (base de dades d'equips en xarxa i altres serveis d'infraestructura)
• stats-1 (recull d'indicadors d'ús de serveis)

Actualització 21 de novembre, 7:59h: Tots els serveis tornen a estar de nou en funcionament.

El horario de servicio para el miercoles 14 será de 8:00 a 14:00.

El passat dissabte dia 3 de novembre al voltant de les 9:30h, la temperatura del CPD del D6 ha començat a pujar vertiginosament, enregistrant-se valors superiors als 44 graus entre 11:45 i 12:00h. Pressumptament ha estat degut a una fallada de l'aire condicionat, però no hem rebut cap mena de notificació per part de Coordinació de Campus al respecte, i per tant no ho podem assegurar.

A partir d'aquell moment, la temperatura ha començat a recuperar-se ràpidament (pressumptament perquè ha estat solventada la incidència amb els equips de refrigeració), i a les 13h ja havia baixat més de 10 graus. Malgrat tot, no ha estat fins les 22h del mateix dissabte dia 3 que la temperatura del CPD s'ha normalitzat.

Malauradament, les elevades temperatures han malmès alguns equips, entre els quals destaca el sistema de disc centralitzat. Tot i tractar-se d'un sistema format per dos servidors en configuració redundada, tots dos servidors han acabat aturant-se per protecció enfront les altes temperatures (els seus sensors han enregistrat valors superiors als 50 graus).

El sistema de disc centralitzat dóna emmagatzematge a multitud de màquines virtuals, que són les encarregades d'oferir la pràctica totalitat dels serveis bàsics d'infraestructura i els aplicatius web. Al no estar disponible, tots els serveis que en depenen s'han vist compromesos. Destaquem-ne els següents:

• serveis d'accés bàsic a la xarxa: autenticació d'equips a les rosetes dels despatxos, DHCP i DNS
• accés al disc d'usuari des de Unix i SMB
• gestió de cues al cluster
• servei de màquines virtuals d'usuari
• web institucional i intranet, i tots els aplicatius associats: Usuari Únic, gestió de reserves, etc.
• pàgines web de docència i recerca

En canvi, aquests serveis no s'han vist afectats i han estat disponibles en tot moment:

• correu electrònic (enviament, recepció i llistes de distribució)
• accés wifi a la xarxa

Aquesta ha estat, a grans trets, la cronologia de la posada en marxa dels serveis afectats:

• 9:45h: Reestabliment de les alarmes de temperatura i de fallada de les fonts d'alimentació d'ambdós servidors del disc centralitzat.
  Posada en marxa dels servidors.
  Reestabliment de l'accés als directoris d'usuari des de Unix i SMB
  
  
• 11:15h: Reestabliment del servei de DHCP (la base de dades d'assignació dinàmica d'IPs havia quedat corrupta).
  Reestabliment parcial del servei de DNS.
  Reestabliment de la gestió de cues al cluster.
  Reestabliment del servei web públic.
  
  
• 12:10h: Reestabliment del servei de DNS dinàmic (els mapes dinàmics també havien quedat corruptes).
  
  
• 12:45h: Reestabliment de la intranet institucional.
  
  
• 14:45h: Fallada de reconnexió dels servidors de màquines virtuals d'usuari. El servei queda inaccessible, tot i que algunes màquines virtuals continuen responent, però és impossible accedir a les seves consoles.
  
  
• 15:45h: Reestabliment del servei de màquines virtuals d'usuari. La majoria de màquines virtuals que estaven engegades han tornat a ser iniciades. Tots aquells que administreu alguna d'aquestes màquines, sisplau verifiqueu que funcionen amb normalitat.

Aquest dissabte passat (27 d'octubre) es va produir un tall de connectivitat que va afectar la xarxa troncal de la UPC i la sortida cap a Internet de tot el Campus Nord.

Segons els nostres registres, aquest tall va afectar la connectivitat de la xarxa del DAC entre les 9:28 i les 18:58 de dissabte.

Podeu veure més detalls a la notificació que ha publicat UPCnet.

Demà dimarts 23 d'octubre a les 08:00 reiniciarem el servidor sites (cPanel, pàgines personals, zones web) per tal de canviar el nucli del sistema pel de la darrera actualització publicada i també aprofitarem per ampliar la memòria del servidor de la intranet (intranet, UU, MRBS, BSCW, RT, wiki) de 2 a 4 GB.

El temps previst per les dues actuacions serà de 30 minuts en total.

El proper dilluns 22 d'octubre a partir de les 8:00 es procedirà a efectuar la migració de la intranet cap a un altre servidor. Per realitzar aquest canvi, el web institucional romandrà en manteniment durant 1 hora.

Aquesta actuació ens permetrà mantenir una separació completa entre el contingut públic i la intranet i eines de treball intern.

Hace unos meses empezamos la migración de algunas conexiones del Centro de Cálculo a 10Gb (fibra óptica).

Lo primero que conectamos fue el sistema de disco de usuarios e infraestructura. Lo siguiente ha sido el sistema de disco que da soporte al cluster. Ayer conectamos los servidores principales de infraestructura y usuarios y hoy dos de los cuatro racks del cluster. En breve añadiremos también los balanceadores de carga (que nos servirán también para mejorar la disponibilidad de ciertos servicios).

¿Se nota el cambio? Aún es pronto para evaluarlo ya que necesitamos optimizar ciertos parámetros en los servidores, los clientes y en los propios equipos de comunicaciones, pero por ejemplo, una carga de prueba que utilizamos para medir el rendimiento del cluster respecto al almacenamiento en red, ayer tardaba 15 minutos y hoy lo hace en 6.

En los próximos meses actualizaremos nuestro conmutador/router principal lo que nos permitirá ampliar el número de puertos a 10Gb y acabar de conectar a esta velocidad los servicios principales. Por ejemplo, la conexión C6-D6 disfrutará de la ampliación de velocidad.

El proper dilluns dia 10 de setembre a les 11h durem a terme una actuació sobre el disc dels clusters per a resoldre una incidència amb alguns dels discs SSD de cache dels servidors.

L'horari de l'actuació es deu a que será conduida per enginyers d'Oracle que realment són al Regne Unit. El temps estimat és de 15 minuts, però pot allargar-se a 1h.

L'actuació precisa de la desconnexió completa del disc dels clusters. No aturarem els nodes del clusters arvei i boada. Si els enginyers d'Oracle aconsegueixen solucionar el problema en un curt periode de temps, és possible que tots els treballs en execució es recuperin. En el pitjor dels casos, aquests treballs es perdran i caldrà que els torneu a llencar. Tots els treballs encuats que encara no hagin començat a executar-se romandran a la cua, i seran executats quan es reestableixi el disc.

Addicionalment, com ja haureu vist, estem patint problemes de rendiment també amb aquest disc. Els enginyers d'Oracle estan recopilant dades sobre aquesta altra incidència, i de moment estem realitzant importants avenços, però encara no tenim una solució definitiva al problema. Us en mantindrem puntualment informats.

Actualització 7 setembre, 13:55h: L'actuació es durà a terme finalment a partir de les 12h per requeriments d'ús del cluster docent boada.

Actualitzacions 10 setembre durant l'actuació:

• 12:00h: Iniciem el procediment: aturem un dels servidors de disc, de moment no hi haurà desconnexió del disc NFS.
• 12:05h: Reiniciem el segon dels servidors de disc; ara sí que hi haurà desconnexió.
• 12:10h: Comencem la re-importació dels pools d'emmagatzematge; ha estat necessari eliminar-los provisionalment per a reassignar els discs SSD de cache de lectura que no eren usables.
• 12:19h: Finalitza la importació dels pools d'emmagatzematge; el servei NFS queda reestablert.
• 12:25h: Assignem els nous discs SSD de cache als pools d'emmagatzematge.
• 12:38h: Restaurem pools al servidor natiu; ambdós servidors estan en funcionament, el servei funciona amb normalitat.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli del sistema que requereixen un reinici que durem a terme el proper dijous dia 20 de setembre a les 8:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• xarxes-2 (DNS, DHCP, VMPS)
• gw-1 (proxy web, VPN)
• recursos (impressores, samba)
• www-1 (webmail, reports)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• db-1 (bases de dades d'aplicacions de la intranet principalment)
• sistemes i sistemes-1 (base de dades d'equips en xarxa i altres serveis d'infraestructura)
• stats-1 (recull d'indicadors d'ús de serveis)

 Actualització 20 setembre, 8:45h: Tots els serveis tornen a estar de nou en funcionament.

Com sabeu, el disc de scratch del cluster arvei està disponible per NFS a partir del directori /scratch/nas/1 a cadascun dels nodes del cluster. Fins avui aquest era un únic filesystem ofert per un dels dos servidors de disc (NAS: Network Attached Storage).

Com també sabreu, des que es va posar en funcionament el nou servidor de disc del cluster a finals de juliol, estem experimentant problemes de rendiment especialment a les operacions d'escriptura al disc del NAS. Els enginyers d'Oracle, juntament amb la nostra col·laboració, estan tractant d'esbrinar-ne les causes (tot apunta a un bug del sistema que fa que reservi excessiva memòria física del NAS, i tot s'alenteixi). Malauradament, tenim la impressió que no trobarem la solució definitiva a curt termini.

Per tal de reduir l'impacte i millorar el rendiment del servidor NAS, hem particionat el disc de scratch NFS en dos filesystems, cadascun dels quals serà servit per un servidor dedicat. El vostre directori dins del NAS quedarà allotjat de la següent manera, segons la inicial del vostre username:

• de la «a» a la «j» (servidor A): /scratch/nas/1
• de la «k» a la «z» (servidor B): /scratch/nas/2

Per aquells que el vostre directori ha estat mogut, hem creat un symbolic link al path original per a conservar-ne la compatibilitat. Per exemple: si el vostre directori originalment era /scratch/nas/1/username i ara és /scratch/nas/2/username, el path original a /scratch/nas/1 ara serà un link que apuntarà a la localització correcta. Això fa que no calgui modificar cap dels vostres scripts per a que continuin sent operatius. De tota manera però, us recomanem que els actualitzeu convenientment si el vostre directori ha estat mogut. D'aquesta manera us estalvieu una indirecció i una dependència innecessària d'un altre filesystem, que en un moment determinat podria no estar disponible.

Addicionalment, per als usuaris que romangueu a /scratch/nas/1, hem recreat els vostres directoris amb un nou tamany de bloc, que confiem que també aporti beneficis en quant a rendiment. Aquest mateix tamany de bloc és el que hem usat per a crear el nou /scratch/nas/2.

Aquest procés de particionat del disc i recreació dels directoris ha estat realitzat sense interrupció de servei, i ha calgut dur-lo a terme de manera semi-automàtica comprovant que l'usuari propietari del directori no tingui cap treball ni cap procés interactiu al cluster en el moment de l'actuació. Hi ha un nombre d'usuaris pels quals encara no ha estat possible dur a terme el procés, degut a que sovint tenen processos en execució al cluster. En els propers dies ens posarem en contacte amb vosaltres per a dur a terme l'actuació de manera coordinada.

El límits en temps d'execució de la cua huge han estat augmentats.

Fins ara teníem els següents límits per treball:

• CPU time: 150 hores
• Wallclock time: 188 hores

Els nous límits són aquests:

• CPU time: 240 hores
• Wallclock time: 280 hores

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli i de llibreries bàsiques del sistema que requereixen un reinici que durem a terme el proper dilluns dia  10 de setembre a les 08:00h. La durada prevista per a l'actuació és de mitja hora.

L'únic servidor afectat és:

• sites (cPanel, moodle, pàgines personals, zones web)

Actualització [08:10]: els serveis tornen a estar en funcionament.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli i de llibreries bàsiques del sistema que requereixen un reinici que durem a terme demà dijous dia 23 d'agost a les 08:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• xarxes-2 (DNS, DHCP, VMPS)
• gw-1 (proxy web, VPN)
• recursos (impressores, samba)
• www-1 (webmail, reports)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• db-1 (bases de dades d'aplicacions de la intranet principalment)

[23/Ago 8:23] Servidors actualitzats i serveis funcionant

Desde ayer lunes tenemos una avería en el disco de scratch compartido del cluster.

El disco compartido lo sirven dos equipos en cluster (para ofrecer alta disponibilidad y rendimiento). Aunque todavía desconocemos las causas, parece que los dos nodos intentaron en algún momento acceder al mismo pool de disco y es posible que haya corrupción de datos.

Estamos trabajando con el fabricante para resolver el problema cuanto antes.

[10/Ago] Los ingenieros de Oracle llevan toda la semana investigando el caso (debug de kernel, estructuras del filesystem) para eesclarecer lo sucedido. Se espera que la semana que viene puedan darnos más datos.

[14/Ago] El soporte de Oracle ha conseguido montar los datos en read-only. Hemos hecho una copia y en principio no se ha perdido ningún dato. Actualmente están obteniendo datos para clarificar el origen del problema. Está previsto recrear el pool y poner todo en producción el viernes.

[15/Ago] Estamos recreando el pool

[17/Ago] Pool recreado, datos copiados y puestos en marcha en todo el cluster

La revisió de les instal·lacions d'alta tensió del Campus Nord d'aquest any afectaran al subministrament elèctric dels espais del DAC als edificis D6 i C6 el dia 9 d'agost, entre les 07:00 i les 16:00 aproximadament.

A principis d'agost us enviarem un recordatori amb més detalls de com planificarem l'actuació per als serveis TIC del DAC. Si teniu alguna necessitat especial que hàgim de tenir en compte, us preguem que us poseu en contacte amb nosaltres el més aviat possible.

[6:00] Comença l'aturada de màquines

[15:00] Torna el subministrament elèctric

[15:30] Posem en marxa els servidors

[18:00] Serveis principals totalmente operatius

Fa uns dies van arribar els 40 nodes nous pel cluster del departament, les característiques dels mateixos són:

• Processador: Xeon E5-2630L
• 64 GB de memòria RAM
• 1 TB de disc local
• 4 targetes de xarxa Gigabit Ethernet

Els nodes ja estan operatius i perfectament integrats amb la resta de nodes del cluster arvei.

El dimecres 25 de JULIOL de 2012 es procedirà a realitzar manteniment al disc centralitzat del departament, pel que s'hauran d'apagar la majoria de serveis mentre duri l'actuació.

L'aturada del sistema està prevista entre les 08:00 i les 14:00 afectant als següents serveis:

• Accés a les dades del disc centralitzat (NFS, SMB, ...)

• DNS (es podrà fer servir el servidor d'UPC).

• Web: pàgines institucionals, zones web, pàginas personals, ...

• Impressores: El servei de cues estarà aturat

• Cluster arvei: Els treballs que s'estiguin executant es perdran. Els treballs encuats s'iniciaran al tornar a posar en marxa el servei.

• VMHosting: S'hauran d'apagar totes les màquines virtuals

• Firma electrónica, usuari únic, gestió de viatges i reserva de sales no seran accesibles.

• Servidor de Windows amargos

• Servidors d'usuarios: safont, florensa, fabre, ...

• BSCW

• FTP

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli i de llibreries bàsiques del sistema que requereixen un reinici que durem a terme el proper dijous dia 21 de juny a les 8:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• xarxes-2 (DNS, DHCP, VMPS)
• gw-1 (proxy web, VPN)
• recursos (impressores, samba)
• sites (cPanel, pàgines personals, zones web)
• www-1 (webmail, reports)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• db-1 (bases de dades d'aplicacions de la intranet principalment)

Actuallització [08:30]: Actuació finalitzada amb èxit.

Aquest matí als voltants de les 8:30 s'ha produit una fallada d'alimentació elèctrica al servidor IMAP durant la substitució d'una de les fonts d'alimentació que estava avariada.

En aquests moments s'està fent la comprovació del sistema de fitxers i el servei IMAP romandrà aturat fins que acabi l'operació.

Disculpeu les molèsties.

Actualització [10:00]: El servei d'IMAP torna a funcionar.

Les darreres actualitzacions de seguretat dels servidors han instal·lat noves versions de llibreries bàsiques del sistema que requereixen un reinici que durem a terme el proper dijous dia 7 de juny a les 8:00h. La durada prevista per a l'actuació és d'1 hora.

Els servidors afectats són els següents:

• gw-1 (proxy web, VPN)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• www-1 (webmail, reports)
• db-1 (bases de dades d'aplicacions de la intranet principalment)
• recursos (impressores, samba)
• xarxes-2 (DNS, DHCP, VMPS)
• ribot2 (web institucional)

Actualització 5 juny: Afegim ribot2 a la llista de servidors per actualitzar.

Actualització 7 juny, 8:22h: Tots els serveis tornen a estar de nou en funcionament.