Rollback bei fehlgeschlagenem Containerstart, Teardown best effort (#10) #18

Merged
jochen merged 4 commits from fix/setup-rollback into master 2026-11-14 11:27:16 +00:00
Collaborator

Fixes #10
Teilweise #11 (Timeouts)

Problem (nachgestellt)

Schlägt setup() nach dem Anlegen fehl (ungültige Route, IPAM-Fehler, …), bleiben OVS-Port, veth und der neu angelegte LSP liegen. Mit dem Netns verschwindet der veth, der OVS-Port bleibt mit einem nicht mehr existierenden Device. Weil der Portname aus (Container, Netz) abgeleitet ist, schlägt danach jeder weitere Start desselben Containers fehl:

ovs-vsctl: cannot create a port named veo57a55658 because a port named veo57a55658 already exists on bridge br-int

Zusätzlich: Ist die NB-DB beim Stoppen nicht erreichbar, bricht teardown() vor dem Entfernen des OVS-Ports ab → ebenfalls ein verwaister Port. Und ohne Timeout hängen ovn-nbctl/ovs-vsctl (und damit podman run/stop) bei einer nicht antwortenden DB endlos.

Fix

  • SetupGuard: rollt bei jedem Fehler in setup() zurück (über Drop, deckt jedes ? ab) – OVS-Port + veth, danach den LSP, aber nur wenn genau dieser Aufruf ihn angelegt hat. Behaltene, übernommene oder extern provisionierte Ports bleiben samt Adressen erhalten.
  • Selbstheilung: setup() entfernt vor dem Anlegen OVS-Port/veth gleichen Namens (Reste alter Fehlstarts, Crash, ältere Plugin-Version).
  • teardown() best effort: erst lokal (OVS-Port, veth), dann OVN; jeder Schritt läuft, Fehler werden gesammelt gemeldet.
  • --timeout=30 für alle ovs-vsctl/ovn-nbctl-Aufrufe (#11). Fehlermeldungen von ovs-vsctl enthalten stderr.
  • del_port() ohne Bridge-Argument; lsp-del-Fehler werden nicht mehr verschluckt.

Test: tests/e2e.sh (neu, in CI)

Startet ovsdb-server + ovs-vswitchd (netdev-Datapath, kein Kernelmodul nötig) und eine NB-DB in einem Temp-Verzeichnis und ruft das Plugin-Binary genau wie netavark auf (ovs setup|teardown <netns>, JSON auf stdin).

Szenario master dieser PR
1. setup scheitert an Route → nichts bleibt liegen ❌ OVS-Port, LSP, veth bleiben ✅
2. verwaister OVS-Port eines früheren Versuchs → Start klappt ❌ „already exists“ ✅
3. vorhandener (behaltener) Port + Fehlstart → Port & Adressen bleiben ❌ OVS-Port bleibt ✅
4. NB-DB beim Teardown nicht erreichbar → OVS-Port trotzdem weg ❌ ✅

master: 9 von 21 Prüfungen rot, dieser PR: alle grün. Zusätzlich manuell: Teardown gegen einen NB-Server, der Verbindungen annimmt aber nie antwortet → nach 30 s Fehler, OVS-Port entfernt (vorher: hängt).

In CI meldet das Skript SKIP, falls der Container keine Network-Namespaces anlegen darf.

Nicht getestet

ovn-controller selbst (gibt es in der Testumgebung nicht). Ob die verwaisten Ports bei dir die Ursache für das Hängen von ovn-controller waren, kann ich nicht belegen – siehe Kommentar im Chat zum Aufräumen und zur Log-Prüfung.

🤖 Generated with Claude Code

https://claude.ai/code/session_01Vh6imgDjPn5oPxMtrM1vto

Fixes #10 Teilweise #11 (Timeouts) ## Problem (nachgestellt) Schlägt `setup()` nach dem Anlegen fehl (ungültige Route, IPAM-Fehler, …), bleiben **OVS-Port, veth und der neu angelegte LSP** liegen. Mit dem Netns verschwindet der veth, der OVS-Port bleibt mit einem nicht mehr existierenden Device. Weil der Portname aus (Container, Netz) abgeleitet ist, schlägt danach **jeder weitere Start desselben Containers** fehl: ``` ovs-vsctl: cannot create a port named veo57a55658 because a port named veo57a55658 already exists on bridge br-int ``` Zusätzlich: Ist die NB-DB beim Stoppen nicht erreichbar, bricht `teardown()` vor dem Entfernen des OVS-Ports ab → ebenfalls ein verwaister Port. Und ohne Timeout hängen `ovn-nbctl`/`ovs-vsctl` (und damit `podman run/stop`) bei einer nicht antwortenden DB endlos. ## Fix - **`SetupGuard`**: rollt bei *jedem* Fehler in `setup()` zurück (über `Drop`, deckt jedes `?` ab) – OVS-Port + veth, danach den LSP, **aber nur wenn genau dieser Aufruf ihn angelegt hat**. Behaltene, übernommene oder extern provisionierte Ports bleiben samt Adressen erhalten. - **Selbstheilung**: `setup()` entfernt vor dem Anlegen OVS-Port/veth gleichen Namens (Reste alter Fehlstarts, Crash, ältere Plugin-Version). - **`teardown()` best effort**: erst lokal (OVS-Port, veth), dann OVN; jeder Schritt läuft, Fehler werden gesammelt gemeldet. - **`--timeout=30`** für alle `ovs-vsctl`/`ovn-nbctl`-Aufrufe (#11). Fehlermeldungen von `ovs-vsctl` enthalten stderr. - `del_port()` ohne Bridge-Argument; `lsp-del`-Fehler werden nicht mehr verschluckt. ## Test: `tests/e2e.sh` (neu, in CI) Startet `ovsdb-server` + `ovs-vswitchd` (**netdev-Datapath**, kein Kernelmodul nötig) und eine NB-DB in einem Temp-Verzeichnis und ruft das **Plugin-Binary genau wie netavark** auf (`ovs setup|teardown <netns>`, JSON auf stdin). | Szenario | master | dieser PR | |---|---|---| | 1. setup scheitert an Route → nichts bleibt liegen | ❌ OVS-Port, LSP, veth bleiben | ✅ | | 2. verwaister OVS-Port eines früheren Versuchs → Start klappt | ❌ „already exists“ | ✅ | | 3. vorhandener (behaltener) Port + Fehlstart → Port & Adressen bleiben | ❌ OVS-Port bleibt | ✅ | | 4. NB-DB beim Teardown nicht erreichbar → OVS-Port trotzdem weg | ❌ | ✅ | master: 9 von 21 Prüfungen rot, dieser PR: alle grün. Zusätzlich manuell: Teardown gegen einen NB-Server, der Verbindungen annimmt aber nie antwortet → nach 30 s Fehler, OVS-Port entfernt (vorher: hängt). In CI meldet das Skript `SKIP`, falls der Container keine Network-Namespaces anlegen darf. ## Nicht getestet `ovn-controller` selbst (gibt es in der Testumgebung nicht). Ob die verwaisten Ports bei dir die Ursache für das Hängen von `ovn-controller` waren, kann ich nicht belegen – siehe Kommentar im Chat zum Aufräumen und zur Log-Prüfung. 🤖 Generated with [Claude Code](https://claude.com/claude-code) https://claude.ai/code/session_01Vh6imgDjPn5oPxMtrM1vto
Rollback bei fehlgeschlagenem setup(), Teardown best effort (#10, #11)
All checks were successful
ci / rust (push) Successful in 7m47s
ci / deb (push) Successful in 5m16s
bcf24937ce
Schlug setup() nach dem Anlegen fehl (ungültige Route, IPAM-Fehler, ...),
blieben OVS-Port, veth und der neu angelegte Logical Switch Port liegen.
Der veth verschwand mit dem Netns, der OVS-Port nicht -- und weil der
Portname aus (Container, Netz) abgeleitet ist, schlug danach jeder weitere
Start desselben Containers mit "port ... already exists" fehl.

- SetupGuard: rollt bei jedem Fehler in setup() zurück (Drop, deckt jedes
  `?` ab): OVS-Port und veth, dann den LSP -- aber nur, wenn genau dieser
  setup()-Aufruf ihn angelegt hat. Behaltene/übernommene/externe Ports
  bleiben unangetastet.
- setup() entfernt vor dem Anlegen Reste eines früheren Versuchs für
  dieselbe Anbindung (OVS-Port/veth gleichen Namens).
- teardown() ist best effort: erst lokal (OVS-Port, veth), dann OVN; jeder
  Schritt läuft, Fehler werden gesammelt gemeldet. Eine nicht erreichbare
  NB-DB lässt keinen OVS-Port mehr zurück.
- ovs-vsctl/ovn-nbctl mit --timeout=30, damit podman run/stop bei nicht
  antwortender Datenbank nicht endlos hängen (#11). Fehlermeldungen von
  ovs-vsctl enthalten stderr.
- del_port() ohne Bridge-Angabe; lsp-del-Fehler werden nicht mehr
  verschluckt.
- tests/e2e.sh: Plugin-Binary gegen echtes OVS (netdev-Datapath) und
  NB-DB; prüft Rollback, Reste alter Fehlstarts, behaltene Ports und
  Teardown bei nicht erreichbarer NB-DB. In CI eingebunden (SKIP ohne
  Netns-Rechte).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6imgDjPn5oPxMtrM1vto
tests/e2e.sh: Plugin gegen echtes OVS + NB-DB, in CI eingebunden
All checks were successful
/ gitleaks (pull_request) Successful in 8s
ci / rust (push) Successful in 7m55s
ci / rust (pull_request) Successful in 7m52s
ci / deb (push) Successful in 5m11s
ci / deb (pull_request) Successful in 5m14s
dcf65454cd
Startet ovsdb-server/ovs-vswitchd (netdev-Datapath, kein Kernelmodul) und
eine NB-DB in einem Temp-Verzeichnis (OVS_RUNDIR) und ruft das Plugin-Binary
wie netavark auf. Prüft:
1. setup schlägt an der Route fehl -> kein OVS-Port, kein LSP, kein veth
2. verwaister OVS-Port eines früheren Versuchs -> setup klappt trotzdem
3. vorher vorhandener (behaltener) Port + Fehlstart -> Port/Adressen bleiben
4. NB-DB beim Teardown nicht erreichbar -> OVS-Port trotzdem weg

Gegen den alten master: 9 von 21 Prüfungen schlagen fehl. Meldet SKIP, wenn
keine Network-Namespaces angelegt werden dürfen.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6imgDjPn5oPxMtrM1vto
CI: E2E-Test als letzten Schritt des rust-Jobs
All checks were successful
ci / rust (push) Successful in 8m0s
ci / rust (pull_request) Successful in 7m57s
/ gitleaks (pull_request) Successful in 9s
ci / deb (push) Successful in 5m11s
ci / deb (pull_request) Successful in 5m17s
a0f92572cb
Das Job-Log wird nur gekürzt angezeigt; vorher verdrängte die Ausgabe des
Release-Builds das E2E-Ergebnis (bestanden oder SKIP).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6imgDjPn5oPxMtrM1vto
CI: E2E-Test als eigener Job auf dem podman-Host-Runner
All checks were successful
ci / rust (push) Successful in 7m44s
ci / rust (pull_request) Successful in 7m55s
/ gitleaks (pull_request) Successful in 9s
ci / deb (push) Successful in 5m11s
ci / deb (pull_request) Successful in 5m14s
ci / e2e (push) Successful in 21s
ci / e2e (pull_request) Successful in 19s
6a8b1276c7
Im docker-Runner-Container fehlen die Rechte für Network-Namespaces, der
Test meldete dort nur SKIP. Neuer Job "e2e" (nach "deb") auf dem
podman-Host-Runner, wie in ubuntu-pmtu-patch: privilegierter
ubuntu:26.04-Container, installiert das Paket aus dem deb-Job und testet
/usr/libexec/netavark/ovs -- also genau das ausgelieferte Binary.

tests/e2e.sh: mit E2E_REQUIRE=1 wird ein SKIP zum Fehler, damit der Job
nicht grün wird, ohne getestet zu haben. tests/ci-e2e.sh ist der
Einstiegspunkt im Container. Der übersprungene Schritt im rust-Job
entfällt.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6imgDjPn5oPxMtrM1vto
jochen approved these changes 2026-11-14 11:27:08 +00:00
jochen merged commit 338e8c9ed9 into master 2026-11-14 11:27:16 +00:00
jochen deleted branch fix/setup-rollback 2026-11-14 11:27:17 +00:00
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
jochen/netavark-ovs!18
No description provided.