Accept-Schleifen bremsen, Peer-Verbindungen und Log-Zeilen begrenzen #37

Merged
jochen merged 3 commits from fix/listener-limits into master 2026-11-12 21:29:19 +00:00
Collaborator

Befund 3 (und 8) aus dem Review von v0.1.1 – der dritte von drei Fixes. Fixes #40, fixes #45. Baut auf #36 auf, das in master ist; der Diff enthält nur die drei neuen Commits.

Problem

  • Accept-Schleife. Scheitert accept(2), weil keine Dateideskriptoren mehr frei sind, rief der Peer-Listener es sofort wieder auf. Die nicht angenommene Verbindung bleibt in der Warteschlange, also dreht die Schleife durch: ein Kern voll ausgelastet und 300 MB Log in fünf Sekunden. Dieselbe Form hatten die Accept-Schleife des Status-Sockets und die Capture-Schleife bei einem Empfangsfehler, der nicht weggeht.
  • Kein Verbindungslimit. Nichts begrenzte die Zahl der Peer-Verbindungen – genau so bringt ein Peer den Daemon in diesen Zustand.
  • Eine Log-Zeile pro Ereignis. Jede abgewiesene Verbindung, jeder gescheiterte Handshake und jede gescheiterte Reinjektion schrieb eine eigene WARN-Zeile.
  • Reconnect ohne Bremse. Der Backoff begann nach jedem erfolgreichen Handshake von vorn. Ein Peer, der annimmt, den Handshake macht und wieder schließt – etwa weil sein Daemon in einer Schleife neu startet –, wurde deshalb alle 0,6 s angewählt, jedes Mal mit vollem Replay. (Stand im Review unter den Sammelpunkten.)
  • Ursache fehlt im Log (Befund 8). Bei Verbindungsfehlern stand nur der äußerste Kontext da: connect failed, retrying … error=connecting to 10.0.0.1:5354 – ohne „Connection refused".

Änderung

Commit Inhalt
Accept-Schleifen, Limits Neu throttle.rs mit drei Bausteinen. AcceptBackoff: nach einem gescheiterten accept 5 ms warten, verdoppelnd bis 1 s; keine Pause bei Fehlern, die nur die eine Verbindung betreffen. Für Peer-Listener und Status-Socket. ConnLimiter: höchstens 64 Peer-Verbindungen gleichzeitig, 8 von einer Adresse. LogLimiter: zehn Zeilen pro Minute je Art von Meldung; das Log sagt, wann es Zeilen auslässt, und mit der nächsten Zeile dieser Art, wie viele es waren. Außerdem: Capture pausiert 100 ms nach einem Empfangsfehler, ein Status-Client hat 5 s für sein Kommando.
forward Der Backoff beginnt erst wieder von vorn, wenn eine Verbindung 30 s gehalten hat. „forward queue lagged" ist auf zehn Zeilen pro Minute begrenzt. Die Log-Zeilen für gescheiterten Verbindungsaufbau, verlorene Verbindung und gescheiterten IPv6-Beitritt zeigen die ganze Fehlerkette.
README Abschnitt Limits und Replay-Absatz ergänzt.

Was sich im Verhalten ändert

  • Die 65. Peer-Verbindung bzw. die 9. von derselben Adresse wird sofort geschlossen und als rejected_peers gezählt. Normal ist eine Verbindung je Peer, vorübergehend zwei.
  • Im Log stehen von jeder Art höchstens zehn Zeilen pro Minute, dann einmal z. B. rejected peer connections: more than 10 within 60 s - further ones are not logged for now, und später rejected peer connections: 2990 more were not logged. Die Zähler im Report zählen weiter jedes Ereignis. Das gilt auch für die INFO-Zeile peer connected.
  • Nach einer kurzlebigen Verbindung wartet der Daemon länger bis zum nächsten Versuch (0,5 s, 1 s, 2 s … 30 s). Nach einer Verbindung, die mindestens 30 s gehalten hat, wie bisher 0,5 s.
  • Fehlerzeilen nennen die Ursache: connect failed, retrying … error=connecting to 127.0.0.1:5362: Connection refused (os error 111).

Messungen (Linux, Release-Build)

Szenario 0.1.1 dieser Branch
accept() scheitert 5 s lang an fehlenden Deskriptoren 4,96 s CPU, 306 MB Log (4,3 Mio. Zeilen) 0,00 s CPU, 0,6 kB Log (10 Zeilen und der Hinweis); danach kommt ein neuer Peer wieder durch den Handshake
120 Verbindungen von der erlaubten Adresse alle angenommen, bis die Deskriptoren ausgehen 8 angenommen, der Rest abgewiesen
3000 Verbindungsversuche von einer nicht erlaubten Adresse 3000 Zeilen, 391 kB 10 Zeilen und der Hinweis, 3 kB; rejected_peers = 3000
500 Pakete von einem Peer, während das Interface down ist 500 WARN-Zeilen 10 und der Hinweis; nach „up" wird wieder reinjiziert
Peer nimmt an, macht den Handshake und schließt wieder (30 s beobachtet) 49-mal angewählt, 431 kB Replay, 110 Log-Zeilen 4-mal (Abstände 4, 8, 16 s), 35 kB Replay, 14 Log-Zeilen

Tests

85 Unit-Tests grün (6 neu), clippy -D warnings für Linux und das FreeBSD-Target, musl-Check. Neu: LogLimiter (Fenster, Hinweis, Zahl), AcceptBackoff, ConnLimiter, der Listener mit echten Verbindungen (die neunte von einer Adresse wird abgewiesen, ein frei gewordener Platz wieder vergeben), ein Status-Client, der nichts sendet, und die Backoff-Regel.

Die E2E-Skripte aus #35 und #36 (Herkunftsprüfung, Fluten, Peer-Frames) laufen mit diesem Stand unverändert durch.

Was bleibt

  • Die Grenzen 64 und 8 sind Konstanten. Kommen mehrere Standorte hinter derselben Adresse an (NAT), können 8 zu wenig sein; das README geht von gerouteten Tunneln ohne NAT aus. Falls das bei euch vorkommt, mache ich sie konfigurierbar.
  • Pause nach Empfangsfehlern in der Capture-Schleife: nicht per Test ausgelöst – mir ist kein Weg bekannt, einen dauerhaften recvmsg-Fehler herbeizuführen. Es sind vier Zeilen.
  • FreeBSD: nur über die Unit-Tests auf dem Runner geprüft.

🤖 Generated with Claude Code

https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp

Befund 3 (und 8) aus dem Review von v0.1.1 – der dritte von drei Fixes. Fixes #40, fixes #45. Baut auf #36 auf, das in master ist; der Diff enthält nur die drei neuen Commits. ## Problem - **Accept-Schleife.** Scheitert `accept(2)`, weil keine Dateideskriptoren mehr frei sind, rief der Peer-Listener es sofort wieder auf. Die nicht angenommene Verbindung bleibt in der Warteschlange, also dreht die Schleife durch: ein Kern voll ausgelastet und 300 MB Log in fünf Sekunden. Dieselbe Form hatten die Accept-Schleife des Status-Sockets und die Capture-Schleife bei einem Empfangsfehler, der nicht weggeht. - **Kein Verbindungslimit.** Nichts begrenzte die Zahl der Peer-Verbindungen – genau so bringt ein Peer den Daemon in diesen Zustand. - **Eine Log-Zeile pro Ereignis.** Jede abgewiesene Verbindung, jeder gescheiterte Handshake und jede gescheiterte Reinjektion schrieb eine eigene WARN-Zeile. - **Reconnect ohne Bremse.** Der Backoff begann nach jedem erfolgreichen Handshake von vorn. Ein Peer, der annimmt, den Handshake macht und wieder schließt – etwa weil sein Daemon in einer Schleife neu startet –, wurde deshalb alle 0,6 s angewählt, jedes Mal mit vollem Replay. (Stand im Review unter den Sammelpunkten.) - **Ursache fehlt im Log** (Befund 8). Bei Verbindungsfehlern stand nur der äußerste Kontext da: `connect failed, retrying … error=connecting to 10.0.0.1:5354` – ohne „Connection refused". ## Änderung | Commit | Inhalt | |---|---| | Accept-Schleifen, Limits | Neu `throttle.rs` mit drei Bausteinen. **`AcceptBackoff`:** nach einem gescheiterten `accept` 5 ms warten, verdoppelnd bis 1 s; keine Pause bei Fehlern, die nur die eine Verbindung betreffen. Für Peer-Listener und Status-Socket. **`ConnLimiter`:** höchstens 64 Peer-Verbindungen gleichzeitig, 8 von einer Adresse. **`LogLimiter`:** zehn Zeilen pro Minute je Art von Meldung; das Log sagt, wann es Zeilen auslässt, und mit der nächsten Zeile dieser Art, wie viele es waren. Außerdem: Capture pausiert 100 ms nach einem Empfangsfehler, ein Status-Client hat 5 s für sein Kommando. | | `forward` | Der Backoff beginnt erst wieder von vorn, wenn eine Verbindung 30 s gehalten hat. „forward queue lagged" ist auf zehn Zeilen pro Minute begrenzt. Die Log-Zeilen für gescheiterten Verbindungsaufbau, verlorene Verbindung und gescheiterten IPv6-Beitritt zeigen die ganze Fehlerkette. | | README | Abschnitt *Limits* und Replay-Absatz ergänzt. | ## Was sich im Verhalten ändert - Die 65. Peer-Verbindung bzw. die 9. von derselben Adresse wird sofort geschlossen und als `rejected_peers` gezählt. Normal ist eine Verbindung je Peer, vorübergehend zwei. - Im Log stehen von jeder Art höchstens zehn Zeilen pro Minute, dann einmal z. B. `rejected peer connections: more than 10 within 60 s - further ones are not logged for now`, und später `rejected peer connections: 2990 more were not logged`. Die Zähler im Report zählen weiter jedes Ereignis. Das gilt auch für die INFO-Zeile `peer connected`. - Nach einer kurzlebigen Verbindung wartet der Daemon länger bis zum nächsten Versuch (0,5 s, 1 s, 2 s … 30 s). Nach einer Verbindung, die mindestens 30 s gehalten hat, wie bisher 0,5 s. - Fehlerzeilen nennen die Ursache: `connect failed, retrying … error=connecting to 127.0.0.1:5362: Connection refused (os error 111)`. ## Messungen (Linux, Release-Build) | Szenario | 0.1.1 | dieser Branch | |---|---|---| | `accept()` scheitert 5 s lang an fehlenden Deskriptoren | 4,96 s CPU, 306 MB Log (4,3 Mio. Zeilen) | 0,00 s CPU, 0,6 kB Log (10 Zeilen und der Hinweis); danach kommt ein neuer Peer wieder durch den Handshake | | 120 Verbindungen von der erlaubten Adresse | alle angenommen, bis die Deskriptoren ausgehen | 8 angenommen, der Rest abgewiesen | | 3000 Verbindungsversuche von einer nicht erlaubten Adresse | 3000 Zeilen, 391 kB | 10 Zeilen und der Hinweis, 3 kB; `rejected_peers = 3000` | | 500 Pakete von einem Peer, während das Interface down ist | 500 WARN-Zeilen | 10 und der Hinweis; nach „up" wird wieder reinjiziert | | Peer nimmt an, macht den Handshake und schließt wieder (30 s beobachtet) | 49-mal angewählt, 431 kB Replay, 110 Log-Zeilen | 4-mal (Abstände 4, 8, 16 s), 35 kB Replay, 14 Log-Zeilen | ## Tests 85 Unit-Tests grün (6 neu), `clippy -D warnings` für Linux und das FreeBSD-Target, musl-Check. Neu: `LogLimiter` (Fenster, Hinweis, Zahl), `AcceptBackoff`, `ConnLimiter`, der Listener mit echten Verbindungen (die neunte von einer Adresse wird abgewiesen, ein frei gewordener Platz wieder vergeben), ein Status-Client, der nichts sendet, und die Backoff-Regel. Die E2E-Skripte aus #35 und #36 (Herkunftsprüfung, Fluten, Peer-Frames) laufen mit diesem Stand unverändert durch. ## Was bleibt - **Die Grenzen 64 und 8 sind Konstanten.** Kommen mehrere Standorte hinter derselben Adresse an (NAT), können 8 zu wenig sein; das README geht von gerouteten Tunneln ohne NAT aus. Falls das bei euch vorkommt, mache ich sie konfigurierbar. - **Pause nach Empfangsfehlern in der Capture-Schleife:** nicht per Test ausgelöst – mir ist kein Weg bekannt, einen dauerhaften `recvmsg`-Fehler herbeizuführen. Es sind vier Zeilen. - **FreeBSD:** nur über die Unit-Tests auf dem Runner geprüft. 🤖 Generated with [Claude Code](https://claude.com/claude-code) https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
Accept loops back off, peer connections are bounded, log lines are limited
All checks were successful
ci / rust (push) Successful in 3m25s
ccd41cd391
When accept(2) failed for lack of file descriptors, the peer listener
called it again at once. The connection that could not be accepted
stays in the queue, so the loop span: a full CPU core and 300 MB of log
in five seconds. The status socket's accept loop had the same shape,
and so had the capture loop for a receive error that does not go away.
Nothing bounded the number of peer connections either, which is how a
peer could get the daemon there, and every rejected connection, failed
handshake and failed reinjection wrote a line of its own.

New in throttle.rs:

- AcceptBackoff: after a failed accept, wait 5 ms, doubling up to a
  second; no wait for errors that concern only the connection that was
  to be accepted. Used by the peer listener and the status socket.
- ConnLimiter: at most 64 peer connections at a time and 8 from one
  address. Further ones are closed at once and counted as
  rejected_peers.
- LogLimiter: ten lines a minute for one kind of message. The log says
  when lines start being left out and, with the next line of that
  kind, how many were. Used for rejected connections, failed
  handshakes, connected and closed peers, failing accepts, receives and
  reinjections, and status connection errors.

Also: the capture loop pauses 100 ms after a receive error, and a
status client gets 5 s to send its command.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
forward: back off from a peer that keeps hanging up; log the cause
All checks were successful
ci / rust (push) Successful in 3m26s
bcb52c7252
The reconnect backoff started over with every successful handshake. A
peer that accepts, shakes hands and closes again - its daemon
restarting in a loop, or one that drops us for a reason of its own -
was therefore dialled twice a second without end, each time with the
whole replay and two log lines. The backoff now starts over only after
a connection has lasted 30 seconds; until then it keeps doubling up to
30 seconds.

"forward queue lagged" is limited to ten lines a minute.

Log lines for a failed connect, a lost connection and a failed IPv6
join printed only the outermost context of the error ("connecting to
10.0.0.1:5354") and left out the cause ("Connection refused"). They
print the whole chain now.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
README: connection and log limits, reconnect backoff
All checks were successful
ci / rust (push) Successful in 3m22s
build-freebsd / freebsd (pull_request) Successful in 3m3s
build-freebsd / release (pull_request) Has been skipped
ci / rust (pull_request) Successful in 3m47s
9705ebc8dc
Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
jochen approved these changes 2026-11-12 21:29:10 +00:00
jochen merged commit 0dfbc897c2 into master 2026-11-12 21:29:19 +00:00
jochen deleted branch fix/listener-limits 2026-11-12 21:29:20 +00:00
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
jochen/mdns-bridge!37
No description provided.