Dedup-Tabelle begrenzen (Nachtrag zu #36) #59

Merged
jochen merged 2 commits from fix/dedup-bound into master 2026-11-12 22:14:19 +00:00
Collaborator

Nachtrag zu #36 (Befund 1, #38). Beim Nachmessen für die Issues ist mir eine Tabelle aufgefallen, die #36 nicht begrenzt hat – obwohl PR und README seither sagen, was der Daemon sich merkt, sei begrenzt. Für die Dedup-Tabelle stimmte das nicht.

Nicht beauftragt. Ich stelle es trotzdem als PR ein, weil es eine Lücke in meinem eigenen Fix ist.

Problem

Jedes Paket, das den Filter passiert, wird für das Dedup-Fenster gemerkt (dedup_window_ms, Standard 2 s) – tatsächlich bis zu doppelt so lange, weil nur einmal pro Fenster aufgeräumt wird. Wie viele das sind, begrenzte nichts: Die Tabelle wuchs mit der Paketrate und gab den Speicher danach nicht mehr her.

In den Messungen zu #36 fiel das nicht auf, weil die Fluten dort mit rund 2000 Paketen pro Sekunde liefen. Mit kleinen Paketen, so schnell die Bridge sie verarbeiten kann, sieht es anders aus (Tabelle unten).

Änderung

src/dedup.rs: höchstens 65 536 gemerkte Pakete. Ist die Tabelle voll, geht zuerst, was abgelaufen ist, dann die am längsten zurückliegenden Einträge – ein Achtel der Tabelle auf einmal, über evict::oldest wie bei Record-Tabelle und SRV-Zielen. Im README eine Zeile dazu im Abschnitt Limits.

Wire-Format und Konfiguration bleiben, wie sie sind.

Was sich im Verhalten ändert

Im Normalbetrieb nichts. Unter einer Flut: Eine späte Kopie eines Pakets, das schon aus der Tabelle verdrängt wurde, wird noch einmal weitergeleitet bzw. reinjiziert. Bis rund 28 000 Pakete pro Sekunde deckt die Tabelle das Standardfenster ganz ab; bei der höchsten Rate, die ein Kern schafft (rund 250 000 pro Sekunde), reicht sie noch gut 0,2 s zurück.

Worauf es ankommt – die eigene Reinjektion wiederzuerkennen, die mit multicast_loop nach Bruchteilen einer Millisekunde am eigenen Socket ankommt –, betrifft die neuesten Einträge, und die bleiben. Nachgemessen: zwei Daemons mit multicast_loop, 227 000 verschiedene Pakete pro Sekunde über 6 s im LAN A. B reinjiziert 553 000 Pakete und hält keine einzige eigene Reinjektion für ein lokales Paket (captured bleibt 0).

Messungen (Linux, Release-Build, Pakete à 80 Bytes mit je neuem Namen)

Szenario master (0dfbc89) dieser Branch
Flut im LAN, rund 280 000 Pakete/s, Fenster 2 s (Standard), 8 s lang RSS 98 MB, bleibt so RSS 15 MB
dasselbe, Fenster 60 s (Maximum im Plugin), 14 s lang RSS 192 MB, weiter steigend RSS 16 MB
Peer schickt rund 220 000 Frames/s, Fenster 2 s, 6 s lang RSS 95 MB RSS 17 MB
dasselbe, Fenster 60 s, 12 s lang RSS 203 MB, weiter steigend RSS 17 MB

Die Rechenzeit je Paket ist unverändert (rund 3,4 µs).

Tests

88 Unit-Tests grün (3 neu), clippy -D warnings für Linux und das FreeBSD-Target. Neu: die Fenstergrenze; die Obergrenze unter drei Tabellenfüllungen verschiedener Pakete (die neuesten 57 344 bleiben bekannt, das älteste wird einmal durchgelassen); und dass Abgelaufenes vor Lebendigem geht.

Die E2E-Skripte aus #35 bis #37 (Herkunftsprüfung, Fluten, Peer-Frames) laufen mit diesem Stand unverändert durch.

Was bleibt

  • Eine Flut wird weiterhin in voller Rate an die anderen Standorte weitergegeben und dort reinjiziert: #58.
  • FreeBSD: nur über die Unit-Tests auf dem Runner geprüft.

🤖 Generated with Claude Code

https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp

Nachtrag zu #36 (Befund 1, #38). Beim Nachmessen für die Issues ist mir eine Tabelle aufgefallen, die #36 nicht begrenzt hat – obwohl PR und README seither sagen, was der Daemon sich merkt, sei begrenzt. Für die Dedup-Tabelle stimmte das nicht. Nicht beauftragt. Ich stelle es trotzdem als PR ein, weil es eine Lücke in meinem eigenen Fix ist. ## Problem Jedes Paket, das den Filter passiert, wird für das Dedup-Fenster gemerkt (`dedup_window_ms`, Standard 2 s) – tatsächlich bis zu doppelt so lange, weil nur einmal pro Fenster aufgeräumt wird. Wie viele das sind, begrenzte nichts: Die Tabelle wuchs mit der Paketrate und gab den Speicher danach nicht mehr her. In den Messungen zu #36 fiel das nicht auf, weil die Fluten dort mit rund 2000 Paketen pro Sekunde liefen. Mit kleinen Paketen, so schnell die Bridge sie verarbeiten kann, sieht es anders aus (Tabelle unten). ## Änderung `src/dedup.rs`: höchstens 65 536 gemerkte Pakete. Ist die Tabelle voll, geht zuerst, was abgelaufen ist, dann die am längsten zurückliegenden Einträge – ein Achtel der Tabelle auf einmal, über `evict::oldest` wie bei Record-Tabelle und SRV-Zielen. Im README eine Zeile dazu im Abschnitt *Limits*. Wire-Format und Konfiguration bleiben, wie sie sind. ## Was sich im Verhalten ändert Im Normalbetrieb nichts. Unter einer Flut: Eine späte Kopie eines Pakets, das schon aus der Tabelle verdrängt wurde, wird noch einmal weitergeleitet bzw. reinjiziert. Bis rund 28 000 Pakete pro Sekunde deckt die Tabelle das Standardfenster ganz ab; bei der höchsten Rate, die ein Kern schafft (rund 250 000 pro Sekunde), reicht sie noch gut 0,2 s zurück. Worauf es ankommt – die eigene Reinjektion wiederzuerkennen, die mit `multicast_loop` nach Bruchteilen einer Millisekunde am eigenen Socket ankommt –, betrifft die neuesten Einträge, und die bleiben. Nachgemessen: zwei Daemons mit `multicast_loop`, 227 000 verschiedene Pakete pro Sekunde über 6 s im LAN A. B reinjiziert 553 000 Pakete und hält keine einzige eigene Reinjektion für ein lokales Paket (`captured` bleibt 0). ## Messungen (Linux, Release-Build, Pakete à 80 Bytes mit je neuem Namen) | Szenario | master (0dfbc89) | dieser Branch | |---|---|---| | Flut im LAN, rund 280 000 Pakete/s, Fenster 2 s (Standard), 8 s lang | RSS 98 MB, bleibt so | RSS 15 MB | | dasselbe, Fenster 60 s (Maximum im Plugin), 14 s lang | RSS 192 MB, weiter steigend | RSS 16 MB | | Peer schickt rund 220 000 Frames/s, Fenster 2 s, 6 s lang | RSS 95 MB | RSS 17 MB | | dasselbe, Fenster 60 s, 12 s lang | RSS 203 MB, weiter steigend | RSS 17 MB | Die Rechenzeit je Paket ist unverändert (rund 3,4 µs). ## Tests 88 Unit-Tests grün (3 neu), `clippy -D warnings` für Linux und das FreeBSD-Target. Neu: die Fenstergrenze; die Obergrenze unter drei Tabellenfüllungen verschiedener Pakete (die neuesten 57 344 bleiben bekannt, das älteste wird einmal durchgelassen); und dass Abgelaufenes vor Lebendigem geht. Die E2E-Skripte aus #35 bis #37 (Herkunftsprüfung, Fluten, Peer-Frames) laufen mit diesem Stand unverändert durch. ## Was bleibt - Eine Flut wird weiterhin in voller Rate an die anderen Standorte weitergegeben und dort reinjiziert: #58. - FreeBSD: nur über die Unit-Tests auf dem Runner geprüft. 🤖 Generated with [Claude Code](https://claude.com/claude-code) https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
Dedup: the table of recently seen packets is bounded
All checks were successful
ci / rust (push) Successful in 3m30s
011422bddc
Every packet that passes the filter is remembered for the dedup window,
and up to twice as long, until the next sweep. Nothing limited how
many: with 250000 distinct small packets a second - from a device on
the LAN or from a peer - the table took 100 MB at the default window of
2 s and passed 200 MB within 14 s at 60 s, the longest the plugin
allows. It never shrank again.

At most 65536 packets are remembered now. When the table is full, what
has expired goes first, then the packets seen longest ago, an eighth of
the table at once. A late copy of a forgotten packet is let through
once more; the newest entries - the ones that recognise our own
reinjection coming back with multicast_loop - stay.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
README: the dedup cache is bounded
All checks were successful
ci / rust (push) Successful in 3m37s
build-freebsd / freebsd (pull_request) Successful in 3m2s
build-freebsd / release (pull_request) Has been skipped
ci / rust (pull_request) Successful in 3m37s
05e3d3509c
Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
jochen approved these changes 2026-11-12 22:14:11 +00:00
jochen merged commit 27a8737e50 into master 2026-11-12 22:14:19 +00:00
jochen deleted branch fix/dedup-bound 2026-11-12 22:14:19 +00:00
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
jochen/mdns-bridge!59
No description provided.