El proper dilluns dia 2 de desembre a les 7:30h farem un manteniment programat del sistema de disc centralitzat. Estimem que l'actuació durarà aproximadament 2 hores.

Es tracta d'una actuació per a resoldre un bug conegut del sistema que té impacte en la seva estabilitat i rendiment, i consisteix en refer la configuració de xarxa del sistema per a que no es donin les condicions que fan aflorar l'esmentat bug.

Durant aquest periode de temps poden produir-se importants desconnexions del sistema de disc centralitzat de la xarxa. En consequència, la majoria de serveis poden veure's afectats per desconnexions d'uns minuts de durada. Per la seva banda, els serveis de correu i els clústers (arvei i boada) no es veuran afectats.

Addicionalment, i per tal d'evitar problemes majors, hem considerat oportú aturar completament els següents serveis mentre duem a terme l'actuació:

• servidor sites (cPanel, que comprèn la gestió i continguts de les zones web de docència, recerca i personals)
• servidors de màquines virtuals d'usuaris VMware ESXi (vm-users-3 i vm-users-4)

A tots els que tingueu màquines virtuals corrent en els esmentats servidors VMware, us preguem que atureu les vostres màquines virtuals abans de dilluns a les 7:30h.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli del sistema que requereixen un reinici que durem a terme demà dimecres dia 20 de novembre a les 7:30h. La durada prevista per a l'actuació és d'una hora.

Alguns dels serveis afectats són:

• db-1 (bases de dades d'aplicacions de la intranet principalment)
• boada (cluster de docència)
• sistemes (serveis bàsics d'operacions)

Actualització 7:59h: El servei ha estat completament reestablert.

Durant els propers dies durem a terme la migració de les vostres bústies de correu cap a un nou sistema d'emmagatzematge. Aquest procés s'executarà diàriament entre les 23h i les 6h. A partir de les 6h continuarà fins finalitzar amb l'usuari en curs, i tot seguit prosseguirà únicament amb els usuaris que en aquell moment no estiguin connectats.

La migració del vostre correu es farà de forma transparent. No caldrà que toqueu cap paràmetre de configuració del vostre client de correu habitual. Si esteu connectats en el moment de la migració, és possible que percebeu alguna cosa extranya al vostre client: alguna carpeta que desaparegui momentàniament o que no hi pugueu accedir, o bé que no es marquin correctament els correus llegits o els nous. Totes aquestes molèsties desapareixeran si us reconnecteu amb el vostre client habitual un cop finalitzada la migració de totes les vostres carpetes.

El temps estimat de migració és d'aproximadament 20 minuts per gigabyte de correu. Aquest temps pot veure's incrementat considerablement en cas de tenir carpetes de correu amb molts missatges (més de 1000). Per tant, donat el volum de correu que tenim emmagatzemat al servidor, la migració de tot el correu pot allargar-se diversos dies, fins i tot setmanes.

Aquesta actuació és necessària per a resoldre els problemes de rendiment de l'actual disc de correu, els quals dificulten enormement les tasques rutinàries de còpia de seguretat i restauració degut a que tarden molt més temps que el desitjable. A fi d'atacar aquest mateix problema, properament anunciarem canvis en la política de purgat del correu brossa, en especial de la paperera. Us n'explicarem els detalls en una nova entrada.

* Actualització 25/10, 7:55h: Iniciem la migració massiva de les bústies.

* Actualització 28/10, 13:00h: Del total de 890 usuaris inicials, 360 ja han estat migrats amb èxit. Amb una mica de sort, a finals de setmana ja estarem acabant el procés.

* Actualització 29/10, 11:10h: Tot just ara mateix ha acabat la migració de l'usuari número 445, exactament la meitat. L'espai total que queda per migrar però és encara més gran que la meitat (aproximadament uns 3/5 del total).

* Actualització 31/10, 10:45h: 712 usuaris ja han estat migrats al nou disc, els quals representen uns 300 GB de correu. Ja hem superat la meitat del procés.

* Actualització 31/10, 11:35h: Per accelerar el procés, a partir del vespre d'avui divendres dia 29 de novembre i durant tot el cap de setmana l'horari en què es comprovarà que un usuari no estigui connectat per a començar la migració serà de 9h a 20h. Us recordem que la migració pot causar-vos petites molèsties si esteu connectats en aquell precís instant, però que es resolen si us reconnecteu un cop hagi finalitzat.

* Actualització 4/11, 7:45h: 843 usuaris ja han estat migrats al nou disc. Resten encara 47 usuaris per migrar, els quals representen uns 106 GB de correu.

* Actualització 5/11, 13:50h: La migració de correu ha estat aturada per una fallada greu del nou disc. Malgrat que el servei ha estat reestablert per complet, preferim deixar-lo en observació fins aclarir-ne les causes.

* Actualització 7/11, 15:10h: Reprenem la migració de bústies un cop solventat el problema anterior.

* Actualització 10/11, 3:15h: La migració de totes les bústies de correu ha finalitzat.

Avui dia 7 de novembre entre 9:30 i 11h aproximadament, hem patit fallades del sistema de disc centralitzat que han ocasionat un alentiment general dels serveis hostatjats i també alguns talls intermitents d'uns 10-15 minuts de durada.

Els serveis afectats han estat la majoria, ja que el sistema de disc centralitzat els aglutina pràcticament a tots a excepció dels següents, que no s'han vist afectats:

• enviament i recepció de correu
• lectura de correu (només per als usuaris que ja han estat migrats; els que encara no ho han estat sí que s'han vist afectats)
• disc centralitzat dels clusters (arvei i boada)

Fa alguns dies que el sistema de disc centralitzat està patint una notable baixada de rendiment, a més d'alguns problemes d'estabilitat com la fallada d'avui mateix. Aquests problemes semblen ocasionats per un bug del sistema que causa un memory leak en determinades situacions. Estem treballant juntament amb Oracle des de fa dies per a donar-li solució. Entretant estem prenent mesures per a moure determinats serveis crítics fora d'aquest sistema de disc, tals com la migració de les vostres bústies de correu, de la qual ja us n'hem parlat en una entrada anterior.

Ahir dimarts dia 6 de novembre prop de les 13:50h vam patir una fallada del sistema de fitxers que allotja les bústies de correu electrònic. Aquesta fallada és conseqüència d'un bug del kernel que afecta a la versió de sistema que tenim instal·lada.

Al llarg d'aquest matí s'han produït tres fallades més, entre les 12:50 i les 13:45. En tots casos ha representat breus interrupcions de l'accés a les bústies de correu.

Després de la tercera fallada consecutiva, i per tal d'evitar corrupció i pèrdua de dades al sistema de fitxers, hem decidit aturar completament el servei i dur a terme una actualització d'urgència del servidor cap a una versió del sistema que solucionés el bug.

A hores d'ara el sistema ja ha estat actualitzat i el servei ha estat completament reestablert.

Demà dimecres 6 de novembre farem proves a les aules 003 i 003bis per preparar la substitució dels servidors que s'encarreguen de distribuir les imatges i permetre la conexió a Internet als ordinadors dels alumnes.

S'aprofitarà a fer les proves en els moments en els que no s'estigui fent classe.

Com sabeu, aquests dies estem duent a terme la migració de les bústies de correu cap a nou sistema de disc, actuació motivada principalment pels greus problemes de rendiment del disc actual.

Aquests problemes de rendiment, entre d'altres coses, estan causant que la còpia del vostre correu al servidor de continuïtat no acabi a temps. Per tant, hem decidit fer aquesta còpia diària només per a les bústies de correu que ja han estat migrades al nou sistema de disc.

Les darreres actualitzacions del sistema passades al servidor sites han instal·lat una nova versió del nucli i diverses llibreries que requereixen un reinici, el qual durem a terme demà dimarts 29 d'octubre a les 7:30h. La durada prevista per a l'actuació és de 30 minuts.

Els servei afectat és el cPanel, que comprèn la gestió i continguts de les zones web de docència, recerca i personals.

El viernes 18 de Octubre a las 6:30 realizaremos un reset del equipo principal de red con el fin de actualizar la versión de firmware.

Todas las comunicaciones en el C6 y D6 (incluídas las conexiones inalambricas) se verán afectadas durante unos 15 minutos aproximadamente.

El proper dimarts dia 15 d'octubre a les 7:30h farem un reboot del servidor de correu de bústies. El temps empleat per a fer aquest reboot no serà superior a 10 minuts.

Durant aquest temps no podreu accedir a les vostres carpetes de correu.

Aquesta actuació és necessària per a preparar una propera migració de les vostres bústies cap a un servidor més potent.

* Actualització 7:50h: El servei ha estat completament reestablert.

Demà divendres dia 11 d'octubre a les 7:30h aturarem temporalment els servidors de correu entrant i sortint per a substituir-los per màquines virtuals equivalents. Calculem que ens ocuparà com a molt una hora i mitja.

L'objectiu d'aquesta actuació és migrar cap a màquines virtuals els servidors de correu que encara corren en màquines físiques que estan fora de manteniment, minimitzant així el risc d'avaria hardware.

Aquests són els serveis afectats durant aquest periode de temps:

• no podreu enviar correus nous
• no rebreu correus nous
• sí que podreu llegir els correus que tingueu a les vostres bústies
• sí que podreu escriure nous correus i guardar-los com esborranys (per a enviar-los de seguida que reestablim el servei)

Aclariment: els correus que us enviïn durant l'actuació no es perdran, sinó que quedaran emmagatzemats en un servidor intermig i us seran lliurats progressivament quan el servei hagi estat reestablert.

* Actualització 9:00h: El servei torna a funcionar amb normalitat. Els correus que us hagin enviat durant aquesta estona seran lliurats a la vostra bústia en els propers minuts.

Per solucionar un problema amb el boot d'alguns dels servidors amb sistema més antic, demà dimecres 9 d'octubre a les 07:30  procedirem a fer unes modificacions en el següents servidors, que provocaran una aturada d'uns minuts en cada un d'ells:

• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• recursos (impressores, samba)

Està previst que a les 08:30 el servei torni a estar operatiu

Des de fa alguns mesos ja es pot utilitzar l'autenticació UPC per la web del DAC i ara només faltava modernitzar la interfície per fer-la més atractiva i que casés millor amb els colors i els tons de la web del DAC.

Aixi doncs, ja teniu disponible en fase beta la nova versió, que posarem en producció en breu si no sorgeix cap inconvenient. Esperem que us agradi.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli del sistema que requereixen un reinici que durem a terme el proper dijous dia 3 d'octubre a les 7:30h. La durada prevista per a l'actuació és d'una hora.

Alguns dels serveis afectats són:

• db-1 (bases de dades d'aplicacions de la intranet principalment)
• boada (cluster de docència)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)
• sites (cPanel, pàgines personals, zones web)

Donat que també estan afectats els hosts servidors de màquines virtuals, es pot donar el cas de la interrupció de qualsevol servei durant uns instants.

Actualització [08:08]: Tots els sistemes tornen a estar operatius.

A partir del proper dijous dia 12 de setembre començarem a donar de baixa els següents servidors obsolets, els quals han superat àmpliament el seu periode de garantia i manteniment informàtic:

• Linux x86 32-bits:
  • compte
  • fabre
  • mora
• Linux Itanium2:
  • blai
  • jujol
• Solaris SPARC:
  • brull
  • goday
  • grau
• OSF1 Alpha:
  • romeu
  • pons

Us preguem que reviseu les vostres zones de scratch en els esmentats servidors i que en copieu el contingut que volgueu conservar en una altra localització. Us recordem que no hi ha còpia de seguretat dels discs de scratch.

El servidor que podeu utilitzar per a executar les vostres simulacions és arvei (cluster).

Demà dimecres dia 2 d'octubre a partir de les 9:00h continuarem amb l'actualització del sistema dels balancejadors de càrrega que hem començat avui. Preveiem que l'actuació durarà aproximadament unes 3 hores, i que durant aquest període de temps podeu experimentar petits talls de connectivitat no superiors a 1 minut en els servei balancejats:

• web institucional (www)
• accés a la xarxa interna via VPN
• accés al clúster via ssh (arvei)
• autenticació de rosetes ethernet (vmps)

Demà dimarts dia 1 d'octubre a les 8:30h passarem actualitzacions de sistema als balancejadors de càrrega, les quals incorporen millores significatives en els controladors de xarxa. Preveiem que l'actuació duri aproximadament dues hores. Durant aquest temps és possible que percebeu petites desconnexions d'alguns dels serveis balancejats, les quals no seran superiors a 1 minut.

Aquest és el llistat de serveis que podrien veure's afectats:

• web institucional (www)
• accés a la xarxa interna via VPN
• accés al clúster via ssh (arvei)
• autenticació de rosetes ethernet (vmps)

El servidor principal de correu ha fallat aquest migdia al voltant de les 11:30h, mentre duiem a terme una operació d'ampliació del disc, la qual efectuem de forma rutinària quan l'espai ocupat arriba al 90%, i que realitzem en calent i de forma transparent.

Però avui aquesta operació s'ha quedat encallada a la meitat del progrés, i a partir de llavors, totes les escriptures del sistema al disc s'han quedat bloquejades en un aparent deadlock: la càrrega del sistema ha anat pujant sense límit, els processos es quedaven bloquejats, etc. Ens hem vist obligats doncs a aturar abruptament la màquina a les 12:30h.

Des de llavors, estem passant una comprovació del sistema de fitxers (fsck), que encara pot tardar força estona en completar-se, tenint en compte la mida del disc.

* Actualització 15:25h: Primera passada del fsck completada sense errors en 2 h 30 min.

* Actualització 15:50h: El servei ha estat reestablert. Durant tota l'estona que ha durat l'aturada, els correus adreçats a vosaltres s'han anat emmagatzemant en un servidor intermig. En els propers minuts seran tots lliurats cap a les vostres bústies.

Mañana martes día 17 de septiembre realizaremos una parada de Usuario Único,

que permanecerá sin servicio desde las 9:00 hasta las 14:00.

Las aplicaciones que utilizan datos de Usuario Único, tales como la aplicación de viajes, quies, etc funcionarán 

con normalidad, pero no se podrán crear ni consultar vinculaciones o recursos durante el periodo especificado.

Lamentamos las molestias que os pueda ocasionar.

ACTUALIZACIÓN (17/9/13 14:07)

Hemos restablecido el servicio web de Usuario Único 

Recomendamos al PDI del Depatamento que compruebe sus vinculaciones y envíe un correo a suport.tic@ac.upc.edu 

en caso de encontrar algún error.

Demà divendres dia 30 d'agost a les 8:00h passarem actualitzacions de sistema als balancejadors de càrrega, les quals incorporen algunes millores de seguretat i bugfixes. Per a que entrin en producció serà necessari també reiniciar-los. Preveiem que la durada de l'actuació serà com a molt d'una hora.

El procediment d'actualització i reboot és transparent als serveis balancejats, i per tant no hauríeu de notar cap interrupció (tret de que ocorri algun imprevist durant l'actualització, òbviament). En tot cas, aquest és el llistat de serveis balancejats actualment:

• web institucional (www)
• accés a la xarxa interna via VPN
• accés al clúster via ssh (arvei)
• autenticació de rosetes ethernet (vmps)

* Actualització 8:57h: L'actuació ha finalitzat sense incidències.

El mecanisme de single sign-on de la web del DAC s'ha integrat amb la identificació de la UPC.

A partir d'aquest moment podreu triar si utilitzeu les credencials del DAC per iniciar una sessió com fins ara o, si ho preferiu, podreu clicar a l'enllaç que us durà a la web d'identificació de la UPC (on també podreu utilitzar la tarja UPC). Un cop identificats, tornareu automàticament a la pàgina web del DAC que volíeu visitar.

Per poder realitzar la integració de la identitat UPC hem introduït un nou recurs informàtic a Usuari Únic anomenat Usuari UPC. Verifiqueu-lo i si no el teniu o no és correcte, feu-nos-ho saber.

La tempesta de la matinada de dijous va produir diversos talls de corrent elèctric als edicifis del Campus Nord cap als volts de les 3. L'endemà al matí l'equip de manteniment estava donant corrent altre cop als edificis quan cap a les 8 es va produir un nou tall com a conseqüència de l'avaria del transformador que abasteix el D6 i alguns edificis més. L'edifici C6 tenia corrent però la connectivitat depèn del router central que hi ha al D6, fins i tot per la xarxa sense fils.

Afortunadament manteniment tenia un transformador de reserva cedit pel BSC, així que van contractar una grua per a poder retirar el transformador avariat (van aconseguir treure'l cap a quarts de 3 de la tarda) i substituir-lo pel de reserva. L'equip de manteniment va finalitzar la substitució del transformador passades les 8 del vespre i ens van notificar que ja hi havia corrent a l'edifici D6.

Cap a les 7 d'aquest matí hem començat a iniciar els equips de xarxa i els servidors, els quals afortunadament no han patit cap avaria com a conseqüència dels diversos talls elèctrics. Cap a les 9:30 els serveis bàsics ja estaven funcionant i després hem anat resolent petites incidències.

Ahir també es va produir un tall elèctric al CPD de la UPC que va afectar als serveis de continuïtat de correu i web. Després d'algunes dificultats per aconseguir corrent elèctric vam poder posar en marxa el servidor de continuïtat poc abans de les 11 del matí d'ahir. Els diversos talls de corrent van afectar també al servidor primari de DNS de la UPC (és el que fa de secundari del DAC), que va patir una avaria i fins aquest matí poc abans de les 8 no l'han pogut restablir. Així doncs, tot i que el servidor de continuïtat estava funcionant, no hi havia forma d'accedir-hi perquè fallava la resolució de noms amb DNS.

Desde el pasado viernes, la conexión del C6 al D6 se ha actualizado a 10Gb, y si no estamos equivocados, es el primer enlace entre edificios dentro de la UPC que funciona a esta velocidad.

Con este cambio damos por finalizado la actualización de equipos core de red!

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli del sistema que requereixen un reinici que durem a terme el proper dimarts dia 25 de juny a les 7:30h. La durada prevista per a l'actuació és d'una hora.

Alguns dels serveis afectats són:

• db-1 (bases de dades d'aplicacions de la intranet principalment)
• boada (cluster de docència)
• sistemes (aplicatius web d'alta de recursos informàtics)
• intranet-1 (intranet, UU, MRBS, BSCW, RT, wiki)

Donat que també estan afectats els hosts servidors de màquines virtuals, es pot donar el cas de la interrupció de qualsevol servei durant uns instants.

Les darreres actualitzacions de seguretat dels servidors han instal·lat una nova versió del nucli del sistema que requereixen un reinici que durem a terme demà dijous dia 13 de juny a les 7:30h. La durada prevista per a l'actuació és d'una hora.

Els servidors afectats són els següents:

• sites (cPanel, pàgines personals, zones web)
• diversos servidors de màquines virtuals (en principi no suposaran una aturada de servei perquè es migraran les màquines virtuals a d'altres servidors)

* Actualització [8:45h]: L'actuació sobre alguns dels servidors de màquines virtuals tallat la connexió entre aquests i el disc centralitzat, propiciant que les màquines virtuals que estaven en execució s'hagin aturat de forma no planificada. Hores d'ara el servei ha estat completament restablert. Lamentem les molèsties ocasionades. Aquestes han estat les màquines virtuals afectades:

• el servidor de lectura de correu (IMAP i POP)
• els nodes d'accés al cluster arvei (florensa i safont)
• el servidor controlador de les cues del cluster arvei
• el servidor Windows (amargos)

* Actualització [11:15 - 12:30h]: El servidor sites (cPanel, pàgines personals i zones web) ha fallat a les 11:15h degut un error no recuperable en l'accés al disc centralitzat que ha ocasionat la caiguda total del sistema. Ha estat necessari reiniciar-lo i passar comprovacions d'integritat del sistema de fitxers, el qual ha tardat més d'una hora en completar-se. El servei torna ja a funcionar amb normalitat.

Hem redissenyat el servei de VPN per a que gaudeixi dels avantatges de la nova infraestructura de distribució i balanceig de càrrega de serveis, millorant-ne significativament així la disponibilitat i la gestió de la capacitat.

D'aquesta manera, quan ens connectem a la VPN ens atendran els loadbalancers (els quals estan reduntats), i aquests decidiran cap a quin dels múltiples servidors de VPN disponibles encaminaran la nostra connexió en funció de la disponibilitat i la càrrega dels mateixos.

En conseqüència, tant l'addició de nous servidors de VPN com els manteniments programats que s'hi puguin dur a terme seran transparents als clients.

MOLT IMPORTANT: Per a fer ús del nou servei de VPN és imprescindible que actualitzeu la configuració al vostre client. Trobareu les instruccions necessàries a la documentació del servei.

El nou servei de VPN ja està en producció i ja podeu descarregar-vos la nova configuració. Mantindrem actiu l'antic servei fins el proper dilluns dia 10 de juny, que procedirem a desmantellar-lo. Us recomanem doncs que actualitzeu la configuració del vostre client de seguida que us sigui possible.

El proper dimarts 4 de juny de 2013 a les 7:30 es procedirà a realitzar un reboot del servidor de cues que dona servei al cluster arvei.

En principi no s'han de veure afectats els jobs que estan a a la cua ni els que estan en execució.

Mentre duri el reboot (uns 15 minuts), no es podran enviar nous treballs a les cues.