[Erledigt] Mehrere VMs down, Meshes aktuell gestört

Moin,

die Freifunk-Mesh-Netze Kreis Gütersloh und an der Müritz sind z. Zt. gestört. Es gab heute Nacht aus noch ungeklärter Ursache einen Fehler in unserer SDS-Lösung (Software Defined Storage) »LizardFS«. Dadurch sind z. Zt. ca. 20 VMs beeinträchtigt, unter anderem die Gateway-VMs für die (Alt-) Meshes Güterlsoh und an der Müritz/Feldberg.

An der Problemlösung wird gearbeitet, Aktualisierungen an dieser Stelle.

MfG,
-kai

Die Netze im Kreis Gütersloh sowie an der Müritz sollten seit ein paar Stunden wieder laufen (restore einer Minimalanzahl an VMs aus dem Offsite-Backup).

Die Kartenserver spiegeln dies noch nicht wieder, da auch diese unter den betroffenen VMs sind. Da es die seit langem abzuschalten geplanten fastd-basierten Netze betrifft, werden die Kartenserver nicht mehr repariert, sondern eine temporäre Lösung gebaut.

Weitere Updates folgen.

Kartendienste (Kreis GT, Müritz-Region) nun auch wiederhergestellt; Statistikserver ist noch Baustelle :frowning:

Hintergründe werden auch klarer: es gab in der Nacht Netzwerkumbauten im RZ, wodurch unsere LizardFS-Knoten sporadisch die Netzwerkverbindung untereinander verloren. Eigentlich hätte die Software dies korrekt behandeln und abfangen sollen (I/O-Zugriffe einfrieren, bis Zugriff auf das/die Backends wieder möglich), augenscheinlich ist das aber ein Szenario, in dem LizardFS 3.9.4 nicht ganz souverän arbeitet … :unamused:

Nacharbeiten, auch für die anderen VMs, werden im Admintagebuch dokumentiert.

Dieses Thema wurde automatisch 10 Tage nach der letzten Antwort geschlossen. Es sind keine neuen Nachrichten mehr erlaubt.