Ratenlimit je Capture-Interface und je Peer-Adresse #60

Merged
jochen merged 4 commits from fix/rate-limit into master 2026-11-13 09:41:54 +00:00
Collaborator

Fixes #58. Baut auf master nach #59 auf.

Problem

Jedes Paket, das den Filter passiert, wurde in der Rate weitergeleitet, in der es ankam – und an jedem anderen Standort in dieser Rate als Multicast reinjiziert. Eine Flut von einem Gerät im LAN oder von einem Peer kam so mit 90 000 bis 220 000 Paketen pro Sekunde in jedem anderen LAN an. #59 hatte nur den Speicher dafür begrenzt, nicht die Weitergabe.

Änderung

Ein Token-Bucket (throttle::RateLimiter) an zwei Stellen:

  • Capture, je Interface: nach Filter und Dedup, vor Replay-Cache und Weiterleitung. Eine Flut in LAN A erreicht damit weder den Tunnel noch die anderen Standorte.
  • Empfang, je Peer-Adresse: nach Filter und Dedup, vor Reinjektion und Relay. Der Bucket gehört zur Adresse, nicht zur Verbindung – alle Verbindungen von derselben Adresse teilen ihn, ein Reconnect bringt also keinen frischen Burst. Volle Buckets werden vergessen, die Tabelle ist auf 4096 Adressen begrenzt (allow_any_peer).

Neue Config-Schlüssel, beide optional: max_packets_per_second (Standard 500, 0 schaltet ab) und max_packet_burst (Standard 2500). Neuer Zähler dropped_rate im Status-Report; im Log packet over the rate limit, dropped mit Interface und Absender bzw. Peer-Adresse, über den LogLimiter auf zehn Zeilen pro Minute begrenzt.

Die Standardwerte: Echtes mDNS für eine Handvoll gebridgter Dienste liegt bei wenigen Paketen pro Sekunde; ein Gerät beim Start sendet ein Dutzend auf einmal. Der Burst deckt den Replay nach einem Reconnect ab (höchstens 2048 Pakete). Das Plugin kennt die Schlüssel noch nicht und rendert sie nicht – es gelten die Standardwerte. Wenn ihr sie in der GUI haben wollt, mache ich das als eigenen Punkt.

Was sich im Verhalten ändert

Im Normalbetrieb nichts: Replay nach Reconnect (2000 Pakete) kommt vollständig durch, dropped_rate bleibt 0 (nachgemessen). Unter einer Flut gehen pro Interface bzw. Peer-Adresse 2500 Pakete sofort durch, danach 500 pro Sekunde; der Rest wird verworfen und gezählt. Was verworfen wird, kommt auch nicht in den Replay-Cache.

Messungen (Linux, Release-Build, Pakete à 80 Bytes mit je neuem Namen)

Szenario master (27a8737) dieser Branch
Flut im LAN A, 227 000 Pakete/s über 6 s, B mit multicast_loop B reinjiziert 553 000 Pakete (~90 000/s) B reinjiziert 5 500 (dropped_rate bei A: 938 000)
Peer schickt 440 000 Frames/s über 6 s alles reinjiziert 5 500 reinjiziert, 2,6 Mio. verworfen; die Verbindung bleibt

Rechenzeit je Paket ist unverändert (die Flut wird vor dem Limit noch geparst und gefiltert – das ist #55).

Tests

91 Unit-Tests grün (3 neu), clippy -D warnings für Linux und das FreeBSD-Target. Neu: Burst und Rate des Token-Buckets (inkl. rückwärts laufender Uhr), geteilte Buckets je Adresse und ihr Vergessen, und ein Peer über dem Limit am echten Listener (verworfen, gezählt, Verbindung bleibt, nach einer Sekunde geht wieder eines durch). E2E-Skripte aus #35 bis #37 laufen unverändert durch; neu dazu der Replay-Test nach einem Neustart der Gegenseite.

Hinweis zur Historie: Commit 350e2d2 korrigiert nur Backslashes, die ich beim Hochladen von 3eaf92d doppelt eingetragen hatte; der Diff gegen master ist davon unberührt.

Was bleibt

  • Die Konfiguration des Limits in der Plugin-GUI.
  • FreeBSD: nur über die Unit-Tests auf dem Runner geprüft.

🤖 Generated with Claude Code

https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp

Fixes #58. Baut auf master nach #59 auf. ## Problem Jedes Paket, das den Filter passiert, wurde in der Rate weitergeleitet, in der es ankam – und an jedem anderen Standort in dieser Rate als Multicast reinjiziert. Eine Flut von einem Gerät im LAN oder von einem Peer kam so mit 90 000 bis 220 000 Paketen pro Sekunde in jedem anderen LAN an. #59 hatte nur den Speicher dafür begrenzt, nicht die Weitergabe. ## Änderung Ein Token-Bucket (`throttle::RateLimiter`) an zwei Stellen: - **Capture, je Interface:** nach Filter und Dedup, vor Replay-Cache und Weiterleitung. Eine Flut in LAN A erreicht damit weder den Tunnel noch die anderen Standorte. - **Empfang, je Peer-Adresse:** nach Filter und Dedup, vor Reinjektion und Relay. Der Bucket gehört zur Adresse, nicht zur Verbindung – alle Verbindungen von derselben Adresse teilen ihn, ein Reconnect bringt also keinen frischen Burst. Volle Buckets werden vergessen, die Tabelle ist auf 4096 Adressen begrenzt (`allow_any_peer`). Neue Config-Schlüssel, beide optional: `max_packets_per_second` (Standard 500, 0 schaltet ab) und `max_packet_burst` (Standard 2500). Neuer Zähler `dropped_rate` im Status-Report; im Log `packet over the rate limit, dropped` mit Interface und Absender bzw. Peer-Adresse, über den `LogLimiter` auf zehn Zeilen pro Minute begrenzt. Die Standardwerte: Echtes mDNS für eine Handvoll gebridgter Dienste liegt bei wenigen Paketen pro Sekunde; ein Gerät beim Start sendet ein Dutzend auf einmal. Der Burst deckt den Replay nach einem Reconnect ab (höchstens 2048 Pakete). Das Plugin kennt die Schlüssel noch nicht und rendert sie nicht – es gelten die Standardwerte. Wenn ihr sie in der GUI haben wollt, mache ich das als eigenen Punkt. ## Was sich im Verhalten ändert Im Normalbetrieb nichts: Replay nach Reconnect (2000 Pakete) kommt vollständig durch, `dropped_rate` bleibt 0 (nachgemessen). Unter einer Flut gehen pro Interface bzw. Peer-Adresse 2500 Pakete sofort durch, danach 500 pro Sekunde; der Rest wird verworfen und gezählt. Was verworfen wird, kommt auch nicht in den Replay-Cache. ## Messungen (Linux, Release-Build, Pakete à 80 Bytes mit je neuem Namen) | Szenario | master (27a8737) | dieser Branch | |---|---|---| | Flut im LAN A, 227 000 Pakete/s über 6 s, B mit `multicast_loop` | B reinjiziert 553 000 Pakete (~90 000/s) | B reinjiziert 5 500 (`dropped_rate` bei A: 938 000) | | Peer schickt 440 000 Frames/s über 6 s | alles reinjiziert | 5 500 reinjiziert, 2,6 Mio. verworfen; die Verbindung bleibt | Rechenzeit je Paket ist unverändert (die Flut wird vor dem Limit noch geparst und gefiltert – das ist #55). ## Tests 91 Unit-Tests grün (3 neu), `clippy -D warnings` für Linux und das FreeBSD-Target. Neu: Burst und Rate des Token-Buckets (inkl. rückwärts laufender Uhr), geteilte Buckets je Adresse und ihr Vergessen, und ein Peer über dem Limit am echten Listener (verworfen, gezählt, Verbindung bleibt, nach einer Sekunde geht wieder eines durch). E2E-Skripte aus #35 bis #37 laufen unverändert durch; neu dazu der Replay-Test nach einem Neustart der Gegenseite. Hinweis zur Historie: Commit 350e2d2 korrigiert nur Backslashes, die ich beim Hochladen von 3eaf92d doppelt eingetragen hatte; der Diff gegen master ist davon unberührt. ## Was bleibt - Die Konfiguration des Limits in der Plugin-GUI. - FreeBSD: nur über die Unit-Tests auf dem Runner geprüft. 🤖 Generated with [Claude Code](https://claude.com/claude-code) https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
throttle: token bucket, one per remote address; dropped_rate counter
Some checks failed
ci / rust (push) Failing after 1m7s
e47591ea5e
Groundwork for the rate limit (#58): RateLimiter (per_second on
average, burst at once, bucket starts full), RateLimits (one bucket per
peer address, shared by all its connections, so that reconnecting does
not hand out a fresh burst; full buckets are forgotten, the table is
bounded) and the counter in the status report. Wired in with the next
commit.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
Rate limit per capture interface and per peer address
Some checks failed
ci / rust (push) Failing after 38s
3eaf92dcf7
Every packet that passed the filter was forwarded and, at the other
sites, reinjected at whatever rate it came in: a flood from one device
on a LAN, or from a peer, reached every other LAN as multicast at
90000 to 220000 packets a second (#58).

A token bucket per capture interface and per peer address: 500 packets
a second on average, 2500 at once after a quiet spell
(max_packets_per_second, max_packet_burst; 0 switches it off). What is
over the limit is dropped before the replay cache and counted as
dropped_rate; the log says so ten times a minute at most. Real mDNS
for a few bridged services is a few packets a second, and the burst
covers the replay after a reconnect (at most 2048 packets). The bucket
of a peer address is shared by all its connections, so reconnecting
does not hand out a fresh burst.

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
Fix doubled backslashes from the previous commit
Some checks failed
ci / rust (push) Has been cancelled
350e2d247f
Line continuations and escapes in string literals of config.rs and
listener.rs were pushed doubled; this restores the intended text (no
functional change against master in those lines).

Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
README, example: the rate limit
All checks were successful
ci / rust (push) Successful in 3m28s
build-freebsd / freebsd (pull_request) Successful in 3m4s
build-freebsd / release (pull_request) Has been skipped
ci / rust (pull_request) Successful in 3m25s
1700cf5866
Co-Authored-By: Claude Fable 5.1 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
jochen approved these changes 2026-11-13 09:41:46 +00:00
jochen merged commit 0e60d2012c into master 2026-11-13 09:41:54 +00:00
jochen deleted branch fix/rate-limit 2026-11-13 09:41:54 +00:00
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
jochen/mdns-bridge!60
No description provided.