Maintenance électrique du 28/12/2015

Publié par Xobul Ven 08 jan 2016 10:49:00 GMT

A la suite d'un problème sur un de nos tableaux électriques, nous avons dû réaliser une maintenance d'urgence sur l'une de nos salles d'hébergement (presque 500 serveurs). Nous avons donc prévenu nos clients d'une coupure électrique de 45 minutes, 30 minutes avant celle-ci. En pleine période de fête, avec une équipe réduite. 

Hélas, lors du rétablissement après 30 mn, un de nos switchs de coeur de réseau a redémarré avec une ancienne configuration qui a provoqué un incident global difficile à gérer. Aussi, nous avons subi un incident, non de 45 minutes sur une seule salle, mais de plus de deux heures sur l'ensemble du réseau Digicube.

Nous avons dû vérifier les serveurs un à un. Un nombre non négligable de machines n'a pas correctement redémarré. Problèmes de configuration, problème disque etc.. Aussi, certains n'ont réellement redémarré que tardivement.

Enfin, à cause de cet important travail de rétablissement et de la période, nous n'avons pu communiquer correctement et nous vous demandons de bien vouloir nous en excuser.  

Rififi sur une partie des Smalls

Publié par Xobul Lun 21 déc 2009 19:44:00 GMT

Nous avons contré une attaque qui a engendré des perturbations sur le réseau d'une partie des Smalls. L'incident a eu lieu entre 19h20 et 20h ce Lundi 21.

Re panne électrique 1

Publié par Xobul Ven 11 déc 2009 14:10:00 GMT

Une panne électrique nous a frappés Jeudi 10 vers 18h30 pendant que nous procédions à des livraisons de Smalls en retard, nous sommes victime de notre succès. Les gros onduleurs online commandés ne sont pas encore arrivés. Toute la Salle01 a sauté deux ou trois fois à cause du supplément de charge électrique provoqué par les onduleurs actuels lors du retour du courant. Nous sommes très conscients que c'est un coup dur qui met a rude épreuve la patience de nos clients impactés. La situation est maintenant stabilisée. Nous câblons en urgence la Salle 02 avec 4x plus de puissance électrique. Dès que les nouveaux onduleurs arriveront, nous procéderons à la migration d'une bonne partie des machines de la salle01. Nous sommes encore actuellement en situation de risque dans cette salle (01) mais nous faisons tout pour que cela ne puisse plus se reproduire. Nous fonctionnons par petites salles d'hébergement (300 à 500 machines) et c'est un rude enseignement concernant la puissance et la sécurité électrique des futures Salles d'hébergement. Toute l'équipe est à pied d'œuvre afin d'accélérer les choses.

5 minutes de coupure des Smalls et les Larges 2

Publié par Xobul Sam 28 nov 2009 17:25:00 GMT

Les incidents de la semaine dernière nous ont poussé à revoir notre configuration réseau. A la suite d'une mauvaise manipulation de notre part une coupure réseau a eu lieu pendant 5mn pour les Smalls et Larges en début d'après midi ce Samedi 28 Novembre. Les Medium ont été épargnées. Nous en voyons le bout et devrions moins avoir à travailler sur les parties sensibles du réseau Digicube. Nous espérons, à la suite de ces nombreux travaux qui ont durés la semaine, avoir un réseau plus performant et plus sûr.