Se rendre au contenu

28/01 15h30 - Incident générique sur la plaque Voix ALPHALINK / INITSYS (Résolu)

Description de l'incident


Résolu !

100% résolu


Heure de début de l'incident :  28/01/2025 15h30

Impact
  • Téléphonie : Appels entrant / Appels sortant

Rapport d'incident 


Update du 05/02/2025 - Précisions finales du fournisseur :

Nous revenons vers vous avec les éléments d'explications finaux que nous avons enfin reçus concernant la coupure de plusieurs de nos liaisons le 2025-01-22 à 09h50 qui a affecté la qualité des flux audio essentiellement sur des appels entrants. Voici les précisions attendues :

 Un point de coupure sur nos réseaux a été identifié à proximité d'Essomes-sur-Marne et les équipes d'interventions missionnées ont commencé à travailler à la résolution du problème qui a impacté plusieurs de nos liens passant dans cette zone.

L'intervention s'est avérée plus complexe que prévue en raison des conditions locales, les câbles optiques étaient alors coincés dans une chambre qui elle même était inondée.

Des machines spéciales ont dû être apportées sur place pour drainer la chambre et libérer ces câbles avant de pouvoir commencer l'épissage.

Le travail s'est poursuivi et la panne a été confirmée définitivement résolue le 2025-01-23 à 01h54.

 Ce type de coupure sans être fréquente nous impacte régulièrement dans notre activité d'opérateur (problèmes électriques, travaux de voirie etc). Elle n'a cependant généralement aucun impact sur la continuité et la qualité de notre service. Pour la première fois, nous avons constaté cependant un problème au niveau de nos liens de secours pour assurer la continuité de nos services voix avec une qualité optimale. D'après nos analyses, nos autres opérateurs de transit ont été cette fois impactés par ricochet et n'ont pas pu assumer le surcroit de trafic avec notamment des délais de latence en augmentation. Nous allons en conséquence mettre en place après étude de nouvelles solutions pour assurer à l'avenir une continuité de service avec le niveau de qualité optimal attendu par vos soins.

 En vous renouvelant toutes nos excuses pour la gêne occasionnée, nous vous prions d'agréer, Chers Clients, l'expression de nos salutations respectueuses.

Mail du fournisseur :

Chers clients, chères clientes,

Les incidents survenus récemment ont impacté vos services, et nous en sommes pleinement conscients. Nous tenons à vous assurer que nous avons pris ces événements très au sérieux et avons déjà engagé des actions concrètes pour renforcer la fiabilité de nos process et de notre supervision.

Ce qui s’est passé

Le dernier incident du 28 janvier a été causé par un défaut logiciel (Kernel Oops) sur une de nos machines de routage voix, perturbant le traitement des appels. Cette anomalie, non détectée par nos process actuels, a entraîné un temps de résolution trop long.

Ce que nous avons déjà mis en place

Audit de nos processus et de l’exploitation de notre infrastructure
 : Un cabinet spécialisé en réseaux télécoms a débuté une analyse approfondie de nos méthodes de travail et de nos processus. Cet audit couvre plusieurs axes : l’exploitation de notre infrastructure, la mise en production de nouveaux services & changes, nos process, ainsi que l’évolution de notre périmètre de supervision. Il intègre également une réflexion sur la conduite du changement pour renforcer la résilience de nos opérations.

Renforcement de la supervision
 : Intégration d’une analyse avancée des logs système (Kernel) pour identifier plus rapidement d’éventuelles anomalies.

Sécurisation des interventions humaines
 : Mise en place d’un contrôle renforcé avant toute modification sur le réseau, afin d’éviter des erreurs d’exploitation.

Amélioration continue de la qualité de service 
: Intégration systématique des changes réseau au comité dédié qui pilote des actions préventives.

Ce qui arrive très prochainement

Optimisation de la détection d’incidents
 avec un nouveau système de supervision prédictive, permettant d’anticiper les défaillances matérielles et logicielles.

Nous vous ferons un retour, dans le courant du premier trimestre, de l’audit mené ainsi que le plan d’action mis en place.

Pour toute aide spécifique liée à cet incident, nos équipes sont à votre écoute pour échanger avec vous ou vos clients.

Pour nos clients présents sur IT Partners, toute l’équipe de direction sera présente sur le stand pour répondre à vos demandes ou questions. Je serai moi-même présent le premier jour.

Ces incidents marquants mobilisent l’ensemble de nos collaborateurs. Tous sont impliqués pour franchir cette étape et mettre en œuvre les améliorations nécessaires. Vous pouvez compter sur mon et leur engagement total pour renforcer la fiabilité de nos services.

Alexandre Nicaise 


Suivi de l'incident


20h02 -  Mail de l'opérateur :  Nous avons corrigé le défaut définitivement 
Les appels entrants / sortants sont de nouveau opérationnels pour tous nos clients.
Notre équipe technique continue de surveiller la situation pour assurer la stabilité de notre plaque VOIP.
Nous vous remercions de votre patience et votre compréhension durant cet incident.

20h00 - Nous constatons que les appels entrants fonctionnent.

18h53 - Mail de l'opérateur :  Post redémarrage des machines, des problèmes des désynchronisations de routage substent. Pour certains clients le service est de retour à la normale en revanche d’autres clients sont encore lourdement impactés. Une vérification des politiques de routage est en cours.

Aucune amélioration constaté chez AZYLIS


18h25 - Mail de l'opérateur :  Une partie des machines est toujours en cours de redémarrage. Le trafic entrant / sortant reste toujours perturbé.

17h56 - Mail de l'opérateur :  Nos équipes techniques redémarrent des services de certaines machines de notre plaque VOIP pour retrouver un service nominal.


17h31 - Mail de l'opérateur :  Nous constatons une reprise du trafic entrant / sortant pour certains clients.

Aucune amélioration constaté chez AZYLIS

17h10 - Mail de l'opérateur :  Une piste a été identifiée, des actions sont en cours.


16h45 - Mail de l'opérateur :    Nous observons une légère amélioration depuis 16h10 sur les appels sortants, nos investigations sont toujours en cours.

16h13 - Mail de l'opérateur :   Une cellule de crise est en place, nous observons que certains appels sortants fonctionnent en revanche aucune appels entrants.

15h58 - Mail de l'opérateur :  Des investigations sont en cours.

15h45 - Le problème est identifié que l'opérateur Alphalink / INITSYS, nous déplaçons les appels sortants sur un autre transitaire, nous ne pouvons rien faire pour les appels entrant provenant de cet opérateur


15h30 - Nos monitoring nous indique un incident sur les appels 
28/01 15h30 - Incident générique sur la plaque Voix ALPHALINK / INITSYS (Résolu)
AZYLIS, Christophe JEANNEROT 28 janvier 2025
Partager cet article
Étiquettes
Archive
Se connecter pour laisser un commentaire.