Icinga verwirrt?

wusel · 7. September 2016 um 14:38

Seit ein paar Tagen bekommt technik@ massig Mails vom Monitoring, die alle auf flappende Services hindeuten. Ich finde aber auf Anhieb keine Defekte im Web-UI? Kann bitte noch jemand mal gucken?

Cord · 7. September 2016 um 16:26

DU meinst die immer wieder auftretenden IPV4 und andere Connect-fehler?

wusel · 7. September 2016 um 17:18

Beispielhaft s. Attachment. Wenn ich reinguckte, sah ich nur OK, und das
irritiert mich gerade.

Cord · 7. September 2016 um 17:34

Da das an verschiedenen Stellen auftaucht, ist vielleicht was am Netzwerk von mon fischig?

http://mon.4830.org/cgi-bin/icinga2-classicui/notifications.cgi?contact=KreisGT&ts_start=1473199200&ts_end=1473266064&type=0&order=new2old&timeperiod=thisweek&start_time=2016-09-07+00%3A00%3A00&end_time=2016-09-07+18%3A34%3A24&limit=0&start=1

wusel · 9. September 2016 um 21:06

Die ff_default-Tests laufen lokal auf den Servern ab, und ich sah’ da nur FLAPPINGSTART & FLAPPINGEND mit “OK” (gerade 155 Mails in den Orkus gekippt).

*** System restart required ***
No mail.
Last login: Fri Sep  9 19:29:06 2016 from weyoun4.cord.de
root@mon:~# shutdown -r now ; exit
logout
Connection to mon.4830.org closed.

Notwendig war der Reboot sowieso, mal gucken, ob das Gespamme jetzt aufhört.

wusel · 11. September 2016 um 15:12

FTR, seit dem Reboot sind keine FLAPPING*-Mails mehr eingetrudelt. Leider tut wohl auch das Monitoring an sich nimmer: Warning: Status data OUTDATED! Last status data update was 150976 seconds ago!

root@mon:~# service icinga2 reload
 * checking Icinga2 configuration                                               
 * checking Icinga2 configuration. Check '/var/log/icinga2/startup.log' for details.
root@mon:~# tail /var/log/icinga2/startup.log
critical/config: Error: Cannot get certificate from cert path: '/etc/icinga2/pki/mon.crt'.
Location: in /etc/icinga2/features-enabled/api.conf: 5:1-5:24
[…]

Hmm.

root@mon:~# ls -la /etc/icinga2/pki
total 24
drwx------ 2 nagios nagios 4096 Feb 26  2016 .
drwxr-x--- 9 nagios nagios 4096 Sep  4 19:00 ..
-rw-r--r-- 1 nagios nagios 1696 Feb 26  2016 ca.crt
-rw-r--r-- 1 nagios nagios 1696 Feb 26  2016 mon.4830.org.crt
-rw-r--r-- 1 nagios nagios 1590 Feb 26  2016 mon.4830.org.csr
-rw------- 1 nagios nagios 3243 Feb 26  2016 mon.4830.org.key

root@mon:~# ln -s /etc/icinga2/pki/mon.4830.org.crt /etc/icinga2/pki/mon.crt
root@mon:~# ln -s /etc/icinga2/pki/mon.4830.org.key /etc/icinga2/pki/mon.key
root@mon:~# service icinga2 reload
 * checking Icinga2 configuration                                               
 * checking Icinga2 configuration. Check '/var/log/icinga2/startup.log' for details.
root@mon:~# tail /var/log/icinga2/startup.log
critical/config: Error: Endpoint object for 'mon.4830.org' is missing.
Location: in /etc/icinga2/features-enabled/api.conf: 5:1-5:24
/etc/icinga2/features-enabled/api.conf(3):  */
/etc/icinga2/features-enabled/api.conf(4): 
/etc/icinga2/features-enabled/api.conf(5): object ApiListener "api" {
                                           ^^^^^^^^^^^^^^^^^^^^^^^^
/etc/icinga2/features-enabled/api.conf(6):   cert_path = SysconfDir + "/icinga2/pki/" + NodeName + ".crt"
/etc/icinga2/features-enabled/api.conf(7):   key_path = SysconfDir + "/icinga2/pki/" + NodeName + ".key"

critical/config: 1 error

Schatzi, Du nervst.

root@mon:~# cp -p /etc/icinga2/features-enabled/api.conf /etc/icinga2/features-enabled/api.conf-20160911
root@mon:~# sed -i -e 's/" + NodeName + "/mon.4830.org/g' /etc/icinga2/features-enabled/api.conf
root@mon:~# service icinga2 reload
 * checking Icinga2 configuration                                               
 * checking Icinga2 configuration. Check '/var/log/icinga2/startup.log' for details.
root@mon:~# tail /var/log/icinga2/startup.log
critical/config: Error: Endpoint object for 'mon.4830.org' is missing.
Location: in /etc/icinga2/features-enabled/api.conf: 5:1-5:24
/etc/icinga2/features-enabled/api.conf(3):  */
/etc/icinga2/features-enabled/api.conf(4): 
/etc/icinga2/features-enabled/api.conf(5): object ApiListener "api" {
                                           ^^^^^^^^^^^^^^^^^^^^^^^^
/etc/icinga2/features-enabled/api.conf(6):   cert_path = SysconfDir + "/icinga2/pki/mon.4830.org.crt"
/etc/icinga2/features-enabled/api.conf(7):   key_path = SysconfDir + "/icinga2/pki/mon.4830.org.key"

critical/config: 1 error

Das ist der Punkt, an dem ich den Mittelfinger rauskurbeln und die Datei nullen würde. @Cord, bitte mal drüber gucken, danke.

Cord · 11. September 2016 um 17:06

root@mon:~# icinga2 feature disable api
Disabling feature api. Make sure to restart Icinga 2 for these changes to take effect.
root@mon:~# service icinga2 restart
 * checking Icinga2 configuration                                        [ OK ] 
 * Restarting icinga2 monitoring daemon icinga2                                 
[...]
[2016-09-11 18:59:02 +0200] information/ConfigItem: Activated all objects.                                                                         [ OK ]
root@mon:~#

War mir nicht aufgefallen das keine Updates mehr liefen. Jetzt tuts wieder. das API-Modul ist erstmal raus, da ich nicht wüsste das wir das benutzen(?).

wusel · 11. September 2016 um 17:47

Bedankt! Aber die Fehlermeldung war schon sonderbar.

wusel · 15. September 2016 um 09:43

164 Mails seit 7 Uhr heute morgen, das meiste FLAPPING-Bullshit — wo kommt das her, warum erst neuerdings (früher kam nur “Problem” und “wieder OK”, nur gaaanz selten mal Flapping) und vor allem, wie stellt man das wieder ab? So jedenfalls ist die »Alarmierung« per Mail kontraproduktiv; ich zumindest habe weder Zeit noch Lust, die Nachrichten einzeln auf den Handy zu löschen, also fliegt alles von nagios@mon per Desktop-Donnervogel pauschal in die Tonne

Cord · 15. September 2016 um 10:37

wir könne im Icinga die Flappingwarnung deaktivieren, aber besser wäre natürlich wenn wir verstehen was dazu führt, nicht das wir doch ein reales Problem haben.

wusel · 15. September 2016 um 11:59

Ack; und beim verstehen faile ich derzeit:

Notification Type: FLAPPINGSTART

Service: nrpe_ff_default
Host: gw04.4830.org
Address: 193.26.120.26
State: OK

Date/Time: 2016-09-15 12:22:12 +0200

Additional Info: DEFGW OK: 5 packets transmitted, 5 received, 0% packet loss, time 4014ms

Und:

Notification Type: FLAPPINGEND

Service: nrpe_ff_default
Host: gw04.4830.org
Address: 193.26.120.26
State: OK

Date/Time: 2016-09-15 12:34:12 +0200

Additional Info: DEFGW OK: 5 packets transmitted, 5 received, 0% packet loss, time 4004ms

Was flappt denn da? OK → OK ist doch kein Flapping, dito hier:

Notification Type: FLAPPINGSTART

Service: ping6
Host: gw01.4830.org
Address: 5.9.167.222
State: OK

Date/Time: 2016-09-15 11:57:53 +0200

Additional Info: PING OK - Packet loss = 0%, RTA = 13.63 ms

… gefolgt von …

Notification Type: FLAPPINGEND

Service: ping6
Host: gw01.4830.org
Address: 5.9.167.222
State: OK

Date/Time: 2016-09-15 12:03:51 +0200

Additional Info: PING OK - Packet loss = 0%, RTA = 14.35 ms

Daher ja der Titel; ich jedenfalls versteh’s so nicht

Cord · 15. September 2016 um 13:37

Hmmm… Ich hoffe ich habe jetzt Mails bei Flapping deaktiviert. Im Web-Interface sollte das weiterhin sichtbar sein.

wusel · 15. September 2016 um 16:45

Hmm. Hört leider nicht auf

Cord · 15. September 2016 um 19:26

Jetzt habe ich Flap-detection komplett deaktiviert. Das würde ich jetzt in einen Tasktracker schreiben wenn wir einen hätten (hint, hint

Cord · 15. September 2016 um 19:42

Hmmm… irgendwas ist da aber oberfaul. Ich habe jetzt mal händisch rumgepingt von mon.4830.org:

— dash.4830.org ping statistics —
135 packets transmitted, 120 received, 11% packet loss, time 134268ms
rtt min/avg/max/mdev = 12.303/34.453/129.755/24.149 ms

wusel · 15. September 2016 um 19:50

Jetzt habe ich Flap-detection komplett deaktiviert. Das würde ich jetzt in einen Tasktracker schreiben wenn wir einen hätten (hint, hint

Ja, Meister Die Wettervorhersage klingt ja nach Schlechtwetter, dann geht’s auch wieder da weiter, ächt!

tbals · 26. Oktober 2016 um 07:37

Seit ein paar Tagen bekommt technik@ massig Mails vom Monitoring, die
alle auf flappende Services hindeuten. Ich finde aber auf Anhieb keine
Defekte im Web-UI? Kann bitte noch jemand mal gucken?

Moin,

ich möchte gerne keine mails von icinga mehr bekommen. Darum habe ich
versucht auf die mon zu kommen, aber offensichtlich ist die nicht mehr
erreichbar.
Mailheader geguckt:

Received: from mail.guetersloh.freifunk.net
Received: from mon.4830.org (mon.4830.org [192.251.226.107])
Received: by mon.4830.org (Postfix, from userid 109)

Also ssh auf mail: geht. Von da ssh mon: No route to host
Großartig gemacht.

Wie komme ich auf die mon?

PS. Ich kann mich im Forum per Web nicht anmelden. Der tut dann
irgendwas und dann steht wieder “erst anmelden”.

Gruss
Thomas

wusel · 31. Oktober 2016 um 15:26

Hmm, in der Tat, ich habe keine Benachrichtigung über Deinen Beitrag bekommen — seit Mitte Oktober nicht mehr, wie’s aussieht. Juhu, mehr für die ToDo-Liste

[quote=“tbals, post:17, topic:194”]
ich möchte gerne keine mails von icinga mehr bekommen.[/quote]

Ich hoffe, ich habe Dich da jetzt ausgetragen; @Cord mag da bitte noch mal drüber schauen (ich habe den tbals-User auskommentiert). Seit 16:05 sollte Ruhe sein?

[quote] Darum habe ich
versucht auf die mon zu kommen, aber offensichtlich ist die nicht mehr
erreichbar.
Mailheader geguckt:

Received: from mail.guetersloh.freifunk.net
Received: from mon.4830.org (mon.4830.org [192.251.226.107])
Received: by mon.4830.org (Postfix, from userid 109)

Also ssh auf mail: geht. Von da ssh mon: No route to host
Großartig gemacht.

Wie komme ich auf die mon?[/quote]

Mit IPv6. (Und z. T. auch wieder per IPv4; irgendwas hatte da die Reverse-Path-Prüfungen eingeschaltet, was in dem Netz nicht funktioniert (Default geht per eth1 raus, Antworten kommen allerdings direkt über eth2). Irgendwas hakt da aber noch, raus geht, rein nicht. Still checking.)

Mag Dein Browser vielleicht keine Kekse oder sowas? Da es bei mir selbst vom mobilen Browser geht, ferner keine weiteren Meldungen diesbezüglich vorliegen, gehe ich von einem lokalen Problem bei Dir aus. Gesperrt biste jedenfalls nicht, sagt das System