Jau, auch gefunden.
Hab’ das /sbin/dhclient-script (Ubuntu 18.04 LTS, FTR) zurechtgehackt, VRF muß den Namen der Routingtabelle haben und dann tut es soweit.
Fickschweinkacke, elende. ip vrf exec funktioniert nicht, damit ist das Ganze zweckfrei, da nicht nutzbar. traceroute -i tut nicht, traceroute --fwmark ebenso wenig, und traceroute -s auch nicht, da die Quell-IP nicht im Defaultcontext vergeben wurde.
Wahrscheinlich ist die Lösung wirklich, einfach dhclient in Routingtabellen werkeln zu lassen …
Was für ein Problem hast du genau? Ich habe das gerade mal auf Arch und Debian gestestet und alles tut wie es soll.
ip vrf exec vrf1 ip route show zeigt die main Tabelle, somit funktioniert auch kein traceroute/ping/sonstwas.
Siehe auch Link oben, jener Autor hatte das Problem auch.
Ich glaube das Verhalten ist so gewollt. Egal in welchem VRF du gerade bist, wenn du dir die default Tabelle anzeigen lässt bekommst du die default Tabelle. Ich habe das gerade noch mal unter Ubuntu getestet und das einzige was nicht sofort funktioniert ist DNS, weil der systemd-resolved nicht aus dem VRF erreichbar ist.
root@ubuntu1804:~# ip link add vrf10 type vrf table 10
root@ubuntu1804:~# ip link set enp1s0 master vrf10
root@ubuntu1804:~# ip link set vrf10 up
root@ubuntu1804:~# ip route add table 10 default via 192.168.122.1 dev enp1s0
root@ubuntu1804:~# ip vrf exec vrf10 traceroute 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
1 192.168.122.1 (192.168.122.1) 0.414 ms 0.323 ms 0.271 ms
2 192.168.0.1 (192.168.0.1) 0.976 ms 2.833 ms 2.948 ms
3 * * *
4 217.237.147.13 (217.237.147.13) 25.238 ms 25.209 ms 26.675 ms
5 80.154.91.113 (80.154.91.113) 26.596 ms 27.946 ms 29.409 ms
6 62.154.1.193 (62.154.1.193) 33.378 ms 27.286 ms 27.215 ms
7 217.5.90.193 (217.5.90.193) 28.661 ms 28.633 ms 27.790 ms
8 62.154.1.193 (62.154.1.193) 27.662 ms 31.112 ms 31.061 ms
9 87.128.238.134 (87.128.238.134) 28.883 ms 30.795 ms 30.675 ms
10 * * *
11 8.8.8.8 (8.8.8.8) 31.737 ms 33.219 ms 25.426 ms
root@ubuntu1804:~# traceroute -i vrf10 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
1 _gateway (192.168.122.1) 0.336 ms 0.239 ms 0.135 ms
2 192.168.0.1 (192.168.0.1) 1.146 ms 1.273 ms 1.398 ms
3 * * *
4 217.237.147.13 (217.237.147.13) 36.538 ms 38.016 ms 37.982 ms
5 195.145.92.25 (195.145.92.25) 25.906 ms 80.154.91.113 (80.154.91.113) 27.445 ms 27.388 ms
6 62.154.1.193 (62.154.1.193) 32.440 ms 580.231 ms 580.116 ms
7 217.5.90.193 (217.5.90.193) 29.071 ms 28.994 ms 29.616 ms
8 62.154.1.193 (62.154.1.193) 2221.728 ms 2221.534 ms 2221.345 ms
9 87.128.238.134 (87.128.238.134) 28.757 ms 30.226 ms 30.069 ms
10 * * *
11 8.8.8.8 (8.8.8.8) 31.529 ms 32.981 ms 25.237 ms
root@ubuntu1804:~# traceroute 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
connect: Network is unreachable
root@ubuntu1804:~# ip vrf exec vrf10 ip route show
192.168.123.0/24 dev enp6s0 proto kernel scope link src 192.168.123.3
root@ubuntu1804:~# ip route show table 10
default via 192.168.122.1 dev enp1s0
broadcast 192.168.122.0 dev enp1s0 proto kernel scope link src 192.168.122.109
192.168.122.0/24 dev enp1s0 proto kernel scope link src 192.168.122.109
local 192.168.122.109 dev enp1s0 proto kernel scope host src 192.168.122.109
broadcast 192.168.122.255 dev enp1s0 proto kernel scope link src 192.168.122.109
root@ubuntu1804:~#Fände ich widersinning, aber das muß ja nichts heißen 
Die Default-Table muß doch eigentlich die des VRFs sein? Aber egal, es tut halt einfach nicht:
root@legacy-mon:~# ip vrf list
Name Table
-----------------------
ffgw01 11
ffgw02 12
ffgw03 13
root@legacy-mon:~# ip vrf exec ffgw01 traceroute 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
connect: Network is unreachable
root@legacy-mon:~# ip route show table ffgw01
default via 10.255.128.23 dev ens4
broadcast 10.255.128.0 dev ens4 proto kernel scope link src 10.255.242.23
10.255.128.0/17 dev ens4 proto kernel scope link src 10.255.242.23
local 10.255.242.23 dev ens4 proto kernel scope host src 10.255.242.23
broadcast 10.255.255.255 dev ens4 proto kernel scope link src 10.255.242.23
root@legacy-mon:~# uname -a
Linux legacy-mon 5.4.0-52-generic #57~18.04.1-Ubuntu SMP Thu Oct 15 14:04:49 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
root@legacy-mon:~# cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-5.4.0-52-generic root=UUID=50d7c3c9-35aa-49d7-bcb4-4aba3a17caad ro systemd.unified_cgroup_hierarchy=1 console=tty1
Ich habe noch mal nachgesehen: ip route show wird automatisch ergänzt zu ip route show table main.
Kannst du mir ein paar mehr Infos über dein Setup geben und was genau du erreichen willst? Ich weiß nicht genau, was da schief läuft, aber irgendwas machst du anders als ich. 
root@ubuntu1804:~# ip link add vrf10 type vrf table 10
root@ubuntu1804:~# ip link set enp6s0 master vrf10
root@ubuntu1804:~# ip route add table 10 default via 10.255.128.5 dev enp6s0
root@ubuntu1804:~# ip l set vrf10 up
root@ubuntu1804:~# ip r
default via 192.168.122.1 dev enp1s0 proto dhcp src 192.168.122.109 metric 100
192.168.122.0/24 dev enp1s0 proto kernel scope link src 192.168.122.109
192.168.122.1 dev enp1s0 proto dhcp scope link src 192.168.122.109 metric 100
root@ubuntu1804:~# ip r s t 10
default via 10.255.128.5 dev enp6s0
broadcast 10.255.128.0 dev enp6s0 proto kernel scope link src 10.255.128.20
10.255.128.0/20 dev enp6s0 proto kernel scope link src 10.255.128.20
local 10.255.128.20 dev enp6s0 proto kernel scope host src 10.255.128.20
broadcast 10.255.143.255 dev enp6s0 proto kernel scope link src 10.255.128.20
root@ubuntu1804:~# traceroute 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
1 192.168.122.1 (192.168.122.1) 0.205 ms 0.134 ms 0.102 ms
2 192.168.0.1 (192.168.0.1) 0.858 ms 2.897 ms 2.987 ms
3 * * *
4 217.237.147.13 (217.237.147.13) 24.648 ms 26.066 ms 26.022 ms
5 195.145.92.25 (195.145.92.25) 27.604 ms 80.154.91.113 (80.154.91.113) 27.640 ms 28.951 ms
6 f-ed11-i.F.DE.NET.DTAG.DE (62.154.1.193) 34.393 ms 26.048 ms 28.078 ms
7 h-sa1-i.H.DE.NET.DTAG.DE (217.5.90.193) 27.855 ms 146.122 ms 25.820 ms
8 * * *
9 87.128.238.134 (87.128.238.134) 28.168 ms 29.803 ms 29.785 ms
10 * * *
11 dns.google (8.8.8.8) 31.857 ms 33.360 ms 25.056 ms
root@ubuntu1804:~# traceroute -i vrf10 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
1 10.255.128.5 (10.255.128.5) 63.098 ms 63.428 ms 63.447 ms
2 * * *
3 bgp-ham02.4830.org (193.26.120.85) 64.444 ms 66.113 ms 66.167 ms
4 ipv4.de-cix.ham.de.as15169.google.com (80.81.203.34) 62.903 ms 65.356 ms 65.866 ms
5 108.170.253.33 (108.170.253.33) 75.389 ms 76.112 ms 75.854 ms
6 209.85.244.219 (209.85.244.219) 75.690 ms 216.239.54.181 (216.239.54.181) 69.596 ms 216.239.49.249 (216.239.49.249) 60.700 ms
7 dns.google (8.8.8.8) 64.002 ms 64.220 ms 64.004 ms
root@ubuntu1804:~#netns.sh ist recht cool. Leider kommt mir da augenscheinlich wieder der systemd-Rotz in die Quere 
root@legacy-mon:~# logger start
root@legacy-mon:~# ifup ens4 ; echo $?
cmp: EOF on /tmp/tmp.qjGuq75BKX which is empty
0
root@legacy-mon:~# logger started
root@legacy-mon:~# ip netns list
ffgw01 (id: 0)
root@legacy-mon:~# ip netns exec ffgw01 ip route show
Cannot open network namespace "ffgw01": No such file or directory
root@legacy-mon:~#
Zeitreise, jetzt, mit Argumentationsverstärker …
Oct 29 07:00:22 legacy-mon root: start
Oct 29 07:00:27 legacy-mon dhclient[8709]: DHCPDISCOVER on ens4 to 255.255.255.255 port 67 interval 3 (xid=0xf5f43027)
Oct 29 07:00:27 legacy-mon dhclient[8709]: DHCPREQUEST of 10.255.242.23 on ens4 to 255.255.255.255 port 67 (xid=0x2730f4f5)
Oct 29 07:00:27 legacy-mon dhclient[8709]: DHCPOFFER of 10.255.242.23 from 10.255.128.23
Oct 29 07:00:27 legacy-mon dhclient[8709]: DHCPACK of 10.255.242.23 from 10.255.128.23
Oct 29 07:00:28 legacy-mon dhclient[8709]: bound to 10.255.242.23 -- renewal in 1651 seconds.
Oct 29 07:00:28 legacy-mon systemd[1]: Stopping OpenNTPd Network Time Protocol...
Oct 29 07:00:28 legacy-mon kernel: [ 6593.995233] audit: type=1400 audit(1603944028.092:54): apparmor="DENIED" operation="sendmsg" info="Failed name lookup - disconnected path" error=-13 profile="/usr/sbin/ntpd" name="run/systemd/journal/dev-log" pid=8501 comm="ntpd" requested_mask="w" denied_mask="w" fsuid=0 ouid=0
Oct 29 07:00:28 legacy-mon systemd[1]: Stopped OpenNTPd Network Time Protocol.
Oct 29 07:00:28 legacy-mon systemd[1]: Starting OpenNTPd Network Time Protocol...
Oct 29 07:00:28 legacy-mon ntpd[8771]: configuration OK
Oct 29 07:00:28 legacy-mon systemd[1]: Started OpenNTPd Network Time Protocol.
Oct 29 07:00:28 legacy-mon kernel: [ 6594.008721] audit: type=1400 audit(1603944028.108:55): apparmor="DENIED" operation="sendmsg" info="Failed name lookup - disconnected path" error=-13 profile="/usr/sbin/ntpd" name="run/systemd/journal/dev-log" pid=8772 comm="ntpd" requested_mask="w" denied_mask="w" fsuid=0 ouid=0
Oct 29 07:00:28 legacy-mon systemd[1]: Reloading OpenBSD Secure Shell server.
Oct 29 07:00:28 legacy-mon systemd[1]: Reloaded OpenBSD Secure Shell server.
Oct 29 07:00:29 legacy-mon root: started
Oct 29 07:00:31 legacy-mon systemd[1]: Found device Virtio network device.
Oct 29 07:00:31 legacy-mon systemd[1]: Started ifup for ens4.
Oct 29 07:00:31 legacy-mon systemd[1]: Stopping ifup for ens4...
Oct 29 07:00:31 legacy-mon sh[8841]: ifup: waiting for lock on /run/network/ifstate.ens4
Oct 29 07:00:31 legacy-mon dhclient[8874]: Killed old client process
Oct 29 07:00:31 legacy-mon ifdown[8843]: Killed old client process
Oct 29 07:00:32 legacy-mon dhclient[8874]: DHCPRELEASE on ens4 to 10.255.128.23 port 67 (xid=0x1e3b6c29)
Oct 29 07:00:32 legacy-mon systemd-udevd[8884]: link_config: autonegotiation is unset or enabled, the speed and duplex are not writable.
Oct 29 07:00:32 legacy-mon systemd[1]: Stopped ifup for ens4.
Oct 29 07:00:32 legacy-mon systemd[1]: Found device Virtio network device.
Oct 29 07:00:32 legacy-mon systemd[1]: Started ifup for ens4.
Oct 29 07:00:32 legacy-mon sh[8934]: ifup: interface ens4 already configured
Vermutlich spielt da systemd verrückt, weil die Interfaces verschwinden ja aus dem Default-NS; dennoch, mit klassischem init(1) wäre das eher kein Problem. Ein SYSTEM-DAEMON, der mit Namespaces nicht umgehen kann, hat auf Servern nichts versuchen. Aber das ist eine andere Diskussion. Jedenfalls. Mit …
root@legacy-mon:~# for i in 1 2 3 4 ; do /sbin/netns.sh start -n ffgw0${i} ens$(expr $i + 3) ; cp -p /etc/resolv.conf /etc/netns/ffgw0${i}/ ; done
… tut’s.
root@legacy-mon:~# for i in 1 2 3 4 ; do /sbin/netns.sh start -n ffgw0${i} ens$(expr $i + 3) ; cp -p /etc/resolv.conf /etc/netns/ffgw0${i}/ ; done
Oct 29 12:36:10 legacy-mon dhclient[21660]: DHCPDISCOVER on ens4 to 255.255.255.255 port 67 interval 3 (xid=0x73eb762e)
Oct 29 12:36:11 legacy-mon dhclient[21660]: DHCPREQUEST of 10.255.242.23 on ens4 to 255.255.255.255 port 67 (xid=0x2e76eb73)
Oct 29 12:36:11 legacy-mon dhclient[21660]: DHCPOFFER of 10.255.242.23 from 10.255.128.23
Oct 29 12:36:11 legacy-mon dhclient[21660]: DHCPACK of 10.255.242.23 from 10.255.128.23
cmp: EOF on /tmp/tmp.sWjuiqsqhL which is empty
Oct 29 12:36:11 legacy-mon dhclient[21660]: bound to 10.255.242.23 -- renewal in 1492 seconds.
Oct 29 12:36:11 legacy-mon dhclient[21724]: DHCPDISCOVER on ens5 to 255.255.255.255 port 67 interval 3 (xid=0x865c1e3d)
Oct 29 12:36:12 legacy-mon dhclient[21724]: DHCPREQUEST of 10.255.249.5 on ens5 to 255.255.255.255 port 67 (xid=0x3d1e5c86)
Oct 29 12:36:12 legacy-mon dhclient[21724]: DHCPOFFER of 10.255.249.5 from 10.255.128.23
Oct 29 12:36:12 legacy-mon dhclient[21724]: DHCPACK of 10.255.249.5 from 10.255.128.23
cmp: EOF on /tmp/tmp.r3YThWcob9 which is empty
Oct 29 12:36:13 legacy-mon dhclient[21724]: bound to 10.255.249.5 -- renewal in 1537 seconds.
Oct 29 12:36:13 legacy-mon dhclient[21788]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 3 (xid=0xd867292d)
Oct 29 12:36:16 legacy-mon dhclient[21788]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 5 (xid=0xd867292d)
Oct 29 12:36:21 legacy-mon dhclient[21788]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 6 (xid=0xd867292d)
[…]
Oct 29 12:41:07 legacy-mon dhclient[21788]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 7 (xid=0xd867292d)
Oct 29 12:41:14 legacy-mon dhclient[21788]: No DHCPOFFERS received.
Oct 29 12:41:14 legacy-mon dhclient[21788]: No working leases in persistent database - sleeping.
Oct 29 12:41:14 legacy-mon dhclient[21839]: DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 3 (xid=0xfdeefb02)
Oct 29 12:41:20 legacy-mon dhclient[21839]: message repeated 2 times: [ DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 3 (xid=0xfdeefb02)]
Oct 29 12:41:23 legacy-mon dhclient[21839]: DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 5 (xid=0xfdeefb02)
Oct 29 12:41:28 legacy-mon dhclient[21839]: DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 8 (xid=0xfdeefb02)
[…]
Oct 29 12:45:01 legacy-mon dhclient[21802]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 15 (xid=0x61c63113)
Oct 29 12:45:11 legacy-mon dhclient[21839]: DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 12 (xid=0xfdeefb02)
Oct 29 12:45:16 legacy-mon dhclient[21802]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 12 (xid=0x61c63113)
Oct 29 12:45:23 legacy-mon dhclient[21839]: DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 13 (xid=0xfdeefb02)
Oct 29 12:45:28 legacy-mon dhclient[21802]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 18 (xid=0x61c63113)
Oct 29 12:45:36 legacy-mon dhclient[21839]: DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 13 (xid=0xfdeefb02)
Oct 29 12:45:46 legacy-mon dhclient[21802]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 13 (xid=0x61c63113)
Oct 29 12:45:49 legacy-mon dhclient[21839]: DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 21 (xid=0xfdeefb02)
Oct 29 12:46:00 legacy-mon dhclient[21802]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 15 (xid=0x61c63113)
Oct 29 12:46:10 legacy-mon dhclient[21839]: DHCPDISCOVER on ens7 to 255.255.255.255 port 67 interval 5 (xid=0xfdeefb02)
Oct 29 12:46:15 legacy-mon dhclient[21802]: DHCPDISCOVER on ens6 to 255.255.255.255 port 67 interval 15 (xid=0x61c63113)
Oct 29 12:46:15 legacy-mon dhclient[21839]: No DHCPOFFERS received.
Oct 29 12:46:15 legacy-mon dhclient[21839]: No working leases in persistent database - sleeping.
root@legacy-mon:~#
Und mit NetworkNamespaces tut’s dann:
root@legacy-mon:~# ip netns exec ffgw01 traceroute -T heise.de
traceroute to heise.de (193.99.144.80), 30 hops max, 60 byte packets
1 10.255.128.23 (10.255.128.23) 286.169 ms 286.216 ms 286.163 ms
2 blackstar.4830.org (193.26.120.97) 286.141 ms 286.127 ms 286.132 ms
3 bgp-ham02.4830.org (193.26.120.85) 286.122 ms 286.118 ms 286.107 ms
4 mac-40-55-39-5e-eb-b9.ipv4-080-081-203-121.pas-32587.1giga.nas-32095.de-cix.ham.de.as39533.asympto.com (80.81.203.121) 286.075 ms 286.068 ms 286.055 ms
5 te0-0-2-3.c150.f.de.plusline.net (80.81.192.132) 286.038 ms 286.028 ms 286.019 ms
6 82.98.102.5 (82.98.102.5) 285.974 ms 63.239 ms 38.500 ms
7 82.98.102.65 (82.98.102.65) 38.183 ms 38.434 ms 38.426 ms
8 212.19.61.13 (212.19.61.13) 38.372 ms 38.364 ms 38.475 ms
9 redirector.heise.de (193.99.144.80) 38.282 ms 38.213 ms 38.189 ms
root@legacy-mon:~# ip netns exec ffgw02 traceroute -T heise.de
traceroute to heise.de (193.99.144.80), 30 hops max, 60 byte packets
1 10.255.128.23 (10.255.128.23) 312.920 ms 312.903 ms 312.896 ms
2 blackstar.4830.org (193.26.120.97) 312.891 ms 312.878 ms 312.872 ms
3 bgp-ham02.4830.org (193.26.120.85) 312.855 ms 312.877 ms 312.869 ms
4 mac-40-55-39-5e-eb-b9.ipv4-080-081-203-121.pas-32587.1giga.nas-32095.de-cix.ham.de.as39533.asympto.com (80.81.203.121) 312.850 ms 312.824 ms 312.792 ms
5 te0-0-2-3.c150.f.de.plusline.net (80.81.192.132) 312.774 ms 312.747 ms 312.728 ms
6 82.98.102.5 (82.98.102.5) 312.704 ms 41.117 ms 41.212 ms
7 82.98.102.65 (82.98.102.65) 40.735 ms 82.98.102.23 (82.98.102.23) 40.730 ms 41.046 ms
8 212.19.61.13 (212.19.61.13) 41.206 ms 41.034 ms 41.120 ms
9 redirector.heise.de (193.99.144.80) 41.027 ms 41.001 ms 40.963 ms
root@legacy-mon:~# ip netns exec ffgw03 traceroute -T heise.de
connect: Network is unreachable
root@legacy-mon:~# ip netns exec ffgw04 traceroute -T heise.de
connect: Network is unreachable
root@legacy-mon:~#
Auch v6 tut 
root@legacy-mon:~# ip netns exec ffgw01 traceroute -6 -T heise.de
traceroute to heise.de (2a02:2e0:3fe:1001:302::), 30 hops max, 80 byte packets
1 2001:bf7:1310:ba14::16 (2001:bf7:1310:ba14::16) 73.890 ms 73.874 ms 74.414 ms
2 2a02:898:203:23::1 (2a02:898:203:23::1) 74.714 ms 74.709 ms 74.983 ms
3 * * *
4 * * *
5 * * *
6 2a02:2e0:12:31::2 (2a02:2e0:12:31::2) 78.022 ms 125.268 ms 125.116 ms
7 2a02:2e0:3fe:0:c::1 (2a02:2e0:3fe:0:c::1) 45.354 ms 45.327 ms 45.316 ms
8 redirector.heise.de (2a02:2e0:3fe:1001:302::) 45.299 ms 45.526 ms 45.210 ms
root@legacy-mon:~# ip netns exec ffgw02 traceroute -6 -T heise.de
traceroute to heise.de (2a02:2e0:3fe:1001:302::), 30 hops max, 80 byte packets
1 2001:bf7:1310:ba14::17 (2001:bf7:1310:ba14::17) 15.402 ms 15.398 ms 15.390 ms
2 2001:bf7:1314:ffff:7ae3:b5ff:fef5:a5b9 (2001:bf7:1314:ffff:7ae3:b5ff:fef5:a5b9) 15.905 ms 15.891 ms 15.884 ms
3 2a06:e881:1701:2d::1 (2a06:e881:1701:2d::1) 20.241 ms 20.230 ms 20.222 ms
4 e0-35.core2.ham1.he.net (2001:470:0:134::2) 28.181 ms 29.800 ms 31.150 ms
5 * * *
6 * * *
7 * * *
8 2a02:2e0:12:31::2 (2a02:2e0:12:31::2) 35.029 ms 35.023 ms 35.161 ms
9 2a02:2e0:3fe:0:c::1 (2a02:2e0:3fe:0:c::1) 36.017 ms 36.336 ms 37.017 ms
10 redirector.heise.de (2a02:2e0:3fe:1001:302::) 36.693 ms 36.105 ms 36.543 ms
root@legacy-mon:~# ip netns exec ffgw03 traceroute -6 -T heise.de
traceroute to heise.de (2a02:2e0:3fe:1001:302::), 30 hops max, 80 byte packets
1 2001:bf7:1310:ba14::14 (2001:bf7:1310:ba14::14) 5.672 ms 5.679 ms 5.685 ms
2 2a06:e881:1701:42::5 (2a06:e881:1701:42::5) 22.777 ms 22.762 ms 22.752 ms
3 te0-0-2-3.c150.f.de.plusline.net (2001:7f8::3012:0:1) 22.800 ms * *
4 * * *
5 2a02:2e0:12:32::2 (2a02:2e0:12:32::2) 22.622 ms 2a02:2e0:12:31::2 (2a02:2e0:12:31::2) 22.541 ms 2a02:2e0:12:32::2 (2a02:2e0:12:32::2) 22.577 ms
6 2a02:2e0:3fe:0:c::1 (2a02:2e0:3fe:0:c::1) 22.499 ms 14.232 ms 14.189 ms
7 redirector.heise.de (2a02:2e0:3fe:1001:302::) 14.492 ms 14.823 ms 14.577 ms
root@legacy-mon:~# ip netns exec ffgw04 traceroute -6 -T heise.de
traceroute to heise.de (2a02:2e0:3fe:1001:302::), 30 hops max, 80 byte packets
1 2001:bf7:1310:ba14::17 (2001:bf7:1310:ba14::17) 26.817 ms 26.775 ms 26.870 ms
2 2001:bf7:1314:ffff:7ae3:b5ff:fef5:a5b9 (2001:bf7:1314:ffff:7ae3:b5ff:fef5:a5b9) 26.831 ms 26.822 ms 29.379 ms
3 2a06:e881:1701:2d::1 (2a06:e881:1701:2d::1) 33.635 ms 33.620 ms 33.796 ms
4 e0-35.core2.ham1.he.net (2001:470:0:134::2) 45.579 ms 45.561 ms 45.609 ms
5 * * *
6 * * *
7 * * *
8 2a02:2e0:12:31::2 (2a02:2e0:12:31::2) 84.347 ms 84.310 ms 84.338 ms
9 2a02:2e0:3fe:0:c::1 (2a02:2e0:3fe:0:c::1) 84.216 ms 84.240 ms 84.244 ms
10 redirector.heise.de (2a02:2e0:3fe:1001:302::) 84.231 ms 40.365 ms 40.352 msWas man oben sehen kann: „gw03“ und „gw04“ – sachlich falsche Bezeichnung, an sich wäre „KnotenXX“ oder „OffloaderXX“ korrekter – gaben keine v4-Adressen, IPv6 funktionierte. Grund:
root@legacy-fra01 ~ # ps -Aelf | grep dhcp
0 S root 20208 20188 0 80 0 - 3517 pipe_w 19:48 pts/0 00:00:00 grep dhcp
root@legacy-fra01 ~ # systemctl restart isc-dhcp-server
Und schwupp:
root@legacy-mon:~# ip netns exec ffgw03 traceroute -4 -T heise.de
traceroute to heise.de (193.99.144.80), 30 hops max, 60 byte packets
1 10.255.128.20 (10.255.128.20) 5.550 ms 5.531 ms 5.884 ms
2 gw-camp.uu.org (193.26.120.225) 6.220 ms 6.500 ms 6.491 ms
3 te0-0-2-3.c150.f.de.plusline.net (80.81.192.132) 9.664 ms 9.700 ms 9.692 ms
4 82.98.102.7 (82.98.102.7) 7.250 ms 82.98.102.5 (82.98.102.5) 7.072 ms 82.98.102.7 (82.98.102.7) 7.215 ms
5 82.98.102.23 (82.98.102.23) 7.040 ms 7.032 ms 7.013 ms
6 212.19.61.13 (212.19.61.13) 7.000 ms 6.638 ms 6.816 ms
7 redirector.heise.de (193.99.144.80) 6.722 ms 6.703 ms 6.827 ms
root@legacy-mon:~# ip netns exec ffgw04 traceroute -4 -T heise.de
traceroute to heise.de (193.99.144.80), 30 hops max, 60 byte packets
1 10.255.128.20 (10.255.128.20) 6.269 ms 6.183 ms 6.159 ms
2 gw-camp.uu.org (193.26.120.225) 6.224 ms 6.173 ms 6.086 ms
3 te0-0-2-3.c150.f.de.plusline.net (80.81.192.132) 9.533 ms 12.557 ms 12.364 ms
4 82.98.102.5 (82.98.102.5) 7.630 ms 7.587 ms 82.98.102.7 (82.98.102.7) 7.567 ms
5 82.98.102.23 (82.98.102.23) 7.485 ms 82.98.102.65 (82.98.102.65) 7.561 ms 82.98.102.23 (82.98.102.23) 7.539 ms
6 212.19.61.13 (212.19.61.13) 7.406 ms 7.105 ms 7.052 ms
7 redirector.heise.de (193.99.144.80) 7.689 ms 7.647 ms 7.599 ms
Sinn von’s Ganze:
Damit läßt sich nun sowas bauen:
Sprich: es ist ein Test der Nutzbarkeit der Verbindungen durch die Knoten-VMs und deren jeweilige fastd-Verbindung möglich.
Ok, die Seite ist nun unter http://legacy-ber01.4830.org/status.html und http://legacy-fra01.4830.org/status.html erreichbar.
Und wie man da gerade sehen kann, ist legacy-fra01.4830.org wieder ohne DHCP unterwegs:
Es läuft nun ein cron-Job, der alle 5 Minuten nötigenfalls den dhcpd neu startet, um erst einmal Ruhe reinzubringen …
Soweit ich das sehe, tut das Legacy-Netz nun wieder stabil — Gegenstimmen?
Meine Pings auf IPv6 von Extern in das Netz sind immer noch abgehackt. Ich werde heute Nachmittag noch einmal testen aus dem Netz heraus Pings durch laufen zu lassen, inkl. Speedtest. Und auch nochmal versuchen Internet im Netz etwas hin und her zu testen.
(So im ersten Moment scheint es mir auch stabil zu sein. SCheinbar ist das Problem aus meinen Ausgangspost noch etwas anderes.)
Ack, v6 wollte ich mir detailliert als Nächstes ansehen.
Daß es insgesamt stabiler läuft, dürfte daran liegen, daß fastd nun auf den HVs läuft.
In der Grafik fehlen noch die Tunnel zw. den GW-VMs, auf die muß man noch gesondert gucken, da insbesondere für v6 relevant: IPv4 terminiert ja, wg. NAT, auf dem jew. GW — IPv6 kann überall rausgehen und insbesondere – je nach entfernten Netz – reinkommen. Im Grunde auch auf den aktuell nicht genutzten GWs legacy-ham01 und legacy-ham01. Letztlich wird’s wohl ein Smokeping sein, der die Verbindung per Mesh durchtestet …
Folgendes habe ich jetzt getestet:
Aus dem Netz heraus
Ping v4 = OK (Über ca. 20 Minuten ohne Paketloss)
Ping v6 = OK (Über ca. 20 Minuten ohne Paketloss)
In das Netz per Ipv6 auf meinen Laptop herein gepingt, (Von der Telekom aus) über ca 20 Minuten, auch OK ohne Paket loss.
Traceroute heruas:
tracert -4 heise.de
Routenverfolgung zu heise.de [193.99.144.80]
über maximal 30 Hops:1 53 ms 53 ms 53 ms 10.255.128.23
2 50 ms 55 ms 50 ms blackstar.4830.org [193.26.120.97]
3 55 ms 56 ms 56 ms bgp-ham02.4830.org [193.26.120.85]
4 72 ms 69 ms 72 ms mac-40-55-39-5e-eb-b9.ipv4-080-081-203-121.pas-32587.1giga.nas-32095.de-cix.ham.de.as39533.asympto.com [80.81.203.121]
5 84 ms 82 ms 80 ms te0-0-2-3.c150.f.de.plusline.net [80.81.192.132]
6 85 ms 81 ms 144 ms 82.98.102.7
7 136 ms 82 ms 124 ms 82.98.102.23
8 84 ms 80 ms 81 ms 212.19.61.13
9 84 ms 82 ms 129 ms redirector.heise.de [193.99.144.80]Ablaufverfolgung beendet.
tracert heise.de
Routenverfolgung zu heise.de [2a02:2e0:3fe:1001:302::]
über maximal 30 Hops:1 40 ms 42 ms 40 ms 2001:bf7:1310:ba14::14
2 41 ms 45 ms 45 ms 2a06:e881:1701:42::5
3 53 ms 71 ms 124 ms te0-0-2-3.c150.f.de.plusline.net [2001:7f8::3012:0:1]
4 51 ms 50 ms * 2a02:2e0:12:19::1
5 51 ms 49 ms 50 ms 2a02:2e0:12:32::2
6 105 ms 51 ms 48 ms 2a02:2e0:3fe:0:c::1
7 50 ms 52 ms 48 ms redirector.heise.de [2a02:2e0:3fe:1001:302::]Ablaufverfolgung beendet.
OK, hier fehlt scheinbar mal ein Paket. Aber nichts in der Extreme was ich im ersten Beitrag beschrieben habe.
Da tauchen die Probleme allerdings nach wie vor auf. Wobei die ausgehende Route die selbe ist.
thomas@ff-icinage-knaup:~ $ traceroute6 heise.de
traceroute to heise.de (2a02:2e0:3fe:1001:302::), 30 hops max, 80 byte packets
1 2001:bf7:1310:ba14::14 (2001:bf7:1310:ba14::14) 35.188 ms 35.099 ms 35.013 ms
2 2a06:e881:1701:42::5 (2a06:e881:1701:42::5) 35.117 ms 38.153 ms 38.122 ms
3 te0-0-2-3.c150.f.de.plusline.net (2001:7f8::3012:0:1) 50.281 ms 50.219 ms 50.540 ms
4 2a02:2e0:12:19::1 (2a02:2e0:12:19::1) 49.773 ms * 48.903 ms
5 2a02:2e0:12:32::2 (2a02:2e0:12:32::2) 49.230 ms 49.370 ms 49.395 ms
6 2a02:2e0:3fe:0:c::1 (2a02:2e0:3fe:0:c::1) 48.378 ms !X 42.808 ms !X 43.161 ms !X
Die eingehenden Routen lassen sich scheinbar nicht tracen.
thomas@raspberry:~ $ traceroute6 2001:bf7:1310:ba14:5163:b4f9:7e67:cee9
traceroute to 2001:bf7:1310:ba14:5163:b4f9:7e67:cee9 (2001:bf7:1310:ba14:5163:b4f9:7e67:cee9), 30 hops max, 80 byte packets
1 . (2003:a:f2c:e001:2a0:57ff:fe22:765a) 1.575 ms 1.439 ms 1.368 ms
2 2003:0:1701:a418::1 (2003:0:1701:a418::1) 25.041 ms 24.986 ms 24.934 ms
3 2003:0:1701:a410::2 (2003:0:1701:a410::2) 25.482 ms 24.798 ms 24.733 ms
4 2a06:e881:1707:1::1 (2a06:e881:1707:1::1) 34.890 ms 34.826 ms 34.755 ms
5 2a06:e881:1707:1:0:c0ff:fefb:e2ca (2a06:e881:1707:1:0:c0ff:fefb:e2ca) 34.686 ms 34.611 ms 34.531 ms
6 * * *
7 * * *
8 * * *
9 * * *
10 * * *
11 *^C
thomas@raspberry:~ $ traceroute6 ff-test.knaup-nrw.de
traceroute to ff-test.knaup-nrw.de (2001:bf7:1310:ba14:a33f:3fa6:2e02:6a8), 30 hops max, 80 byte packets
1 . (2003:a:f2c:e001:2a0:57ff:fe22:765a) 1.333 ms 1.296 ms 1.255 ms
2 2003:0:1701:a418::1 (2003:0:1701:a418::1) 23.347 ms 23.317 ms 24.354 ms
3 2003:0:1701:a410::2 (2003:0:1701:a410::2) 25.738 ms 25.701 ms 25.649 ms
4 2a06:e881:1707:1::1 (2a06:e881:1707:1::1) 34.255 ms 34.211 ms 34.160 ms
5 2a06:e881:1707:1:0:c0ff:fefb:e2ca (2a06:e881:1707:1:0:c0ff:fefb:e2ca) 34.111 ms 34.077 ms 34.036 ms
6 * * *
7 * * *
8 * * *
9 * * *
10 * * *
11 *^C
Beim zusammen schreiben der ganzen Geschichte, habe ich doch hin und wieder mal ein paar verlorene Pakete für ca 5 Sekunden gesehen. Aber weiter nichts wildes.
Werde am Montag noch einmal die andere GW auf Herz und Nieren Prüfen, an dem der Test Raspberry hängt. Der geht über eine andere raus.
thomas@ff-icinage-knaup:~ $ traceroute heise.de
traceroute to heise.de (193.99.144.80), 30 hops max, 60 byte packets
1 10.255.128.20 (10.255.128.20) 58.700 ms 58.621 ms 59.084 ms
2 brick.4830.org (193.26.120.225) 59.102 ms 59.128 ms 59.379 ms
3 te0-0-2-3.c150.f.de.plusline.net (80.81.192.132) 60.616 ms 60.629 ms 62.202 ms
4 82.98.102.7 (82.98.102.7) 61.498 ms 61.504 ms 82.98.102.5 (82.98.102.5) 61.950 ms
5 82.98.102.23 (82.98.102.23) 60.832 ms 82.98.102.65 (82.98.102.65) 61.786 ms 82.98.102.23 (82.98.102.23) 63.760 ms
6 * * *
7 * * *
8 * * *
9 * * *
10 * * *
11 * * *
12 212.19.61.13 (212.19.61.13) 36.068 ms !X * *
Wobei ich da immer mehr davon ausgehe, dass es scheinbar ein Problem bei uns im Firmen-Netz ist.
Ein arbeiten im Netz aktuell war aber über den aktuell verwendeten Knoten ohne Probleme möglich. SSH Verbindungen und OpenVPN Verbindungen mit RDP haben sauber gearbeitet.
Mesh-VPN
gw10x nicht verbunden
gw11 verbunden (4 Tage, 23:22)mesh-vpn
Knoten TQ
02:ca:ff:ee:00:20 98 %
02:ca:ff:ee:00:23 100 %
Doch, das sollte gehen, außer, Dein Endgerät im Freifunk blockiert das (Firewall?). Spricht: das klingt eher nach Routingproblem im Mesh 
Tut hier:
traceroute to ff-test.knaup-nrw.de (2001:bf7:1310:ba14:a33f:3fa6:2e02:6a8), 30 hops max, 80 byte packets
1 gateway (2a02:e00:ffec::1) 0.817 ms 0.776 ms 0.772 ms
2 2a02:e00:ffff:ffe1::5 (2a02:e00:ffff:ffe1::5) 0.398 ms 0.432 ms 0.507 ms
3 2a02:e00:ffff:ffe1::6 (2a02:e00:ffff:ffe1::6) 4.477 ms 4.456 ms 4.427 ms
4 et-0-1-0.core-ams14.as6724.net (2001:7f8:1::a500:6724:1) 6.184 ms 6.124 ms 6.038 ms
5 110.ae2.bb-rt1-1.e18.r23.rs.ber.de.as6724.net (2a01:238:0:3814::1) 18.509 ms 18.454 ms 18.409 ms
6 110.ae14.core-b2.as6724.net (2a01:238:b:3802::2) 17.975 ms 17.908 ms 17.947 ms
7 ae3.0.core-b30.as6724.net (2a01:238:0:b130::2) 18.147 ms 18.273 ms 18.227 ms
8 2a06:e881:1706:1::1 (2a06:e881:1706:1::1) 14.861 ms 15.314 ms 15.238 ms
9 2a06:e881:1706:1:0:c1ff:fe1a:7865 (2a06:e881:1706:1:0:c1ff:fe1a:7865) 15.099 ms 15.094 ms 15.037 ms
10 2001:bf7:1310:ba14:a33f:3fa6:2e02:6a8 (2001:bf7:1310:ba14:a33f:3fa6:2e02:6a8) 53.764 ms 54.514 ms 54.426 ms
traceroute to ff-test.knaup-nrw.de (2001:bf7:1310:ba14:a33f:3fa6:2e02:6a8), 30 hops max, 80 byte packets
1 2a03:f80:ed15::1 (2a03:f80:ed15::1) 5.010 ms * *
2 2a03:f82:abcd:43:5716::1 (2a03:f82:abcd:43:5716::1) 4.462 ms 4.199 ms 4.301 ms
3 2001:7f8:30:0:2:1:0:9002 (2001:7f8:30:0:2:1:0:9002) 3.895 ms 3.768 ms 3.811 ms
4 RT.SB.BER.DE.retn.net (2a02:2d8::57f5:e0a6) 28.677 ms 28.963 ms 28.719 ms
5 2a06:e881:1706:1::1 (2a06:e881:1706:1::1) 93.670 ms 93.430 ms 93.186 ms
6 2a06:e881:1706:1:0:c1ff:fe1a:7865 (2a06:e881:1706:1:0:c1ff:fe1a:7865) 92.183 ms 24.831 ms 24.716 ms
7 2001:bf7:1310:ba14:a33f:3fa6:2e02:6a8 (2001:bf7:1310:ba14:a33f:3fa6:2e02:6a8) 87.084 ms 87.081 ms 86.842 ms
Auch von Telekom und LGI aus:
traceroute to 2001:bf7:1310:ba14:126f:3fff:fe87:2c2c (2001:bf7:1310:ba14:126f:3fff:fe87:2c2c), 30 hops max, 80 byte packets
1 fritz.box (2003:ef:9f09:1c00:9a9b:cbff:feb1:1397) 0.725 ms 0.911 ms 1.009 ms
2 2003:0:8505:2800::1 (2003:0:8505:2800::1) 8.334 ms 8.282 ms 8.462 ms
3 2a06:e881:1707:1::1 (2a06:e881:1707:1::1) 22.676 ms 22.673 ms 22.651 ms
4 2a06:e881:1707:1:0:c0ff:fefb:e2ca (2a06:e881:1707:1:0:c0ff:fefb:e2ca) 22.975 ms 22.956 ms 23.314 ms
5 2001:bf7:1310:ba14:126f:3fff:fe87:2c2c (2001:bf7:1310:ba14:126f:3fff:fe87:2c2c) 45.464 ms 50.410 ms 50.401 ms
traceroute to 2001:bf7:1310:ba14:126f:3fff:fe87:2c2c (2001:bf7:1310:ba14:126f:3fff:fe87:2c2c), 30 hops max, 80 byte packets
1 fritz.box (2a02:908:d516:9520:2e3a:fdff:fea1:492) 1.529 ms 1.640 ms 1.746 ms
2 de-gut01a-cr01-ca1.gut.unity-media.net (2a02:908:d500:1::1) 13.309 ms 17.291 ms 18.689 ms
3 1611a-mx960-02-ae16-2410.bfe.unity-media.net (2a02:908:0:21e::1) 20.451 ms 20.444 ms 20.424 ms
4 de-fra01b-rc1-lo0-0.v6.aorta.net (2001:730:2d00::5474:8065) 23.548 ms 25.103 ms 23.521 ms
5 2001:7300:2d00::5474:80d5 (2001:7300:2d00::5474:80d5) 21.725 ms 21.700 ms 27.037 ms
6 2003:0:1304:4010::1 (2003:0:1304:4010::1) 28.412 ms 24.962 ms 24.806 ms
7 2a06:e881:1707:1::1 (2a06:e881:1707:1::1) 26.599 ms 22.534 ms 28.300 ms
8 2a06:e881:1707:1:0:c0ff:fefb:e2ca (2a06:e881:1707:1:0:c0ff:fefb:e2ca) 28.253 ms 30.434 ms 30.447 ms
9 2001:bf7:1310:ba14:126f:3fff:fe87:2c2c (2001:bf7:1310:ba14:126f:3fff:fe87:2c2c) 55.901 ms * 60.538 ms
Gerade etwas anders als IPv6
bei fastd179.4830.org tuts IPv4 nicht, und auf fastd178.4830.org auch nicht. DHCP ging, allerdings kein Trace und Traffic.
Hmm, stimmt, sieht http://legacy-fra01.4830.org/status.html auch so.
(176, 177 enden auf legacy-ber01, 178, 179 auf legacy-fra01).
Odd:
root@legacy-fra01 ~ # ps -Aelf | grep -v grep | grep /etc/dhcp/dhcpd.conf
4 S dhcpd 13448 1 0 80 0 - 12127 poll_s Nov02 ? 00:15:11 dhcpd -user dhcpd -group dhcpd -f -4 -pf /run/dhcp-server/dhcpd.pid -cf /etc/dhcp/dhcpd.conf
Und er tut auch was:
root@legacy-fra01 ~ # tail /var/log/syslog | grep dhcpd | tail -1
Nov 9 18:24:36 legacy-fra01 dhcpd[13448]: DHCPACK on 10.255.203.53 to 00:de:gh:ij:kl:c2 via bat00
Scheint so, als ob legacy-fra01 ausgemustert gehört, weil zuviel getrunken oder so
thomas@ff-icinage-knaup:/usr/lib/nagios/plugins $ ./check_dhcp -s 10.255.128.20
OK: Received 1 DHCPOFFER(s), 1 of 1 requested servers responded, max lease time = 3600 sec.
thomas@ff-icinage-knaup:/usr/lib/nagios/plugins $ traceroute 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
1 * * *
2 * * *
3 * * *
4 * * *
5 * * *
6 * * *
7 * * *
8 * * *
9 * * *
10 * * *
11 * *^C
thomas@ff-icinage-knaup:/usr/lib/nagios/plugins $ traceroute6 heise.de
traceroute to heise.de (2a02:2e0:3fe:1001:302::), 30 hops max, 80 byte packets
1 2001:bf7:1310:ba14::17 (2001:bf7:1310:ba14::17) 59.875 ms 59.793 ms 60.327 ms
2 2001:bf7:1314:ffff:7ae3:b5ff:fef5:a5b9 (2001:bf7:1314:ffff:7ae3:b5ff:fef5:a5b9) 61.258 ms 61.591 ms 61.841 ms
3 2a06:e881:1701:2d::1 (2a06:e881:1701:2d::1) 65.590 ms 65.612 ms 65.910 ms
4 e0-35.core2.ham1.he.net (2001:470:0:134::2) 70.327 ms 71.192 ms 72.637 ms
5 * * *
6 ams-ix-v6.nl.plusline.net (2001:7f8:1::a501:2306:1) 85.688 ms * *
7 * * *
^C
Dieses Thema wurde automatisch 10 Tage nach der letzten Antwort geschlossen. Es sind keine neuen Nachrichten mehr erlaubt.