Speicher und Rechenzeit begrenzen: Namen, Tabellen, Replay-Cache, Frames #36

Merged
jochen merged 6 commits from fix/resource-limits into master 2026-11-12 18:20:21 +00:00
Collaborator

Befund 1 (und 9) aus dem Review von v0.1.1 – der zweite von drei Fixes. Baut auf #35 auf, das schon in master ist; der Diff enthält nur die sechs neuen Commits.

Problem

Was der Daemon sich merkt und wie lange er an einem Paket rechnet, hing davon ab, was ihm geschickt wird – von einem Gerät im LAN genauso wie von einem Peer:

  • Namen. Über Kompressionszeiger kann ein kleines Paket Namen enthalten, die weit länger sind als die 255 Bytes, die DNS erlaubt: jeder Record benennt ein anderes Endstück einer langen Label-Kette. Jeder dieser Namen wurde vollständig ausgeschrieben – Megabytes an Strings aus einem einzigen Paket.
  • Record-Tabelle (--records): unbegrenzt, Einträge bleiben eine Stunde.
  • Replay-Cache: auf 2048 Pakete begrenzt, aber jeder Eintrag hielt zusätzlich die Namen aller seiner Records, und blieb so lange, wie die kleinste TTL behauptete (bis 136 Jahre).
  • Gelernte SRV-Ziele: auf 4096 begrenzt, aber eine volle Tabelle lernte einfach nichts mehr dazu, und ein Eintrag blieb so lange, wie die TTL behauptete. Nach einer Flut erfundener Hosts kam damit der Adress-Record keines später auftauchenden Geräts mehr über die Bridge – bis zum Neustart.
  • Frames von Peers: bis 64 KiB, obwohl nichts Gültiges länger als 9000 Bytes ist. Ein Frame mit 255 Sites im Pfad riss beim Weiterreichen die Verbindung zum nächsten Peer ab (Befund 9), immer wieder, jedes Mal mit Replay.

Änderung

Commit Inhalt
dns Ein Name hat höchstens 255 Bytes im Wire-Format, egal wie er zusammengesetzt ist; sonst gilt das Paket als fehlerhaft und wird weder weitergeleitet noch ausgewertet. Damit ist ein Paket auf Länge/11 Records mit je höchstens 255 Bytes Name begrenzt. Namen werden als Bytes gesammelt und einmal umgewandelt statt Label für Label.
Tabellen Record-Tabelle höchstens 4096 Einträge. SRV-Ziele höchstens 4096 und höchstens 24 h. Ist eine Tabelle voll, machen die am längsten nicht gesehenen Einträge Platz, 512 auf einmal (neu: evict.rs).
Replay-Cache Schlüssel sind 64-Bit-Hashes statt Namen; höchstens 4 MiB an Paketen; Pakete mit mehr als 64 verschiedenen Records werden nicht gecacht (aber weitergeleitet); höchstens 24 h. Ein Bit pro Schlüssel erspart fast alle Mengenvergleiche.
Frames Höchstens 9000 Bytes Paket und 32 Sites Pfad, beim Senden wie beim Empfangen; ein zu großer Frame wird abgelehnt, bevor er gelesen wird. Ein Paket mit vollem Pfad wird noch reinjiziert, aber nicht weitergereicht. Ein nicht kodierbares Paket wird übersprungen statt die Verbindung zu beenden.
Status-Socket Kommandozeile höchstens 64 Bytes, Antwort höchstens 16 MiB.
README, systemd Abschnitt Limits; MemoryMax=256M im Unit als zweite Verteidigungslinie.

Was sich im Verhalten ändert

  • Ein Peer, der einen Frame jenseits der Grenzen schickt, wird getrennt; im Log steht, welche Grenze: peer connection closed … error=decoding frame: relay path too long (255 sites, at most 32).
  • Pakete mit mehr als 64 verschiedenen Records (Name + Typ) werden nach einem Reconnect nicht mehr nachgeliefert. Live gehen sie durch wie bisher.
  • Record-Tabelle und gelernte SRV-Ziele verdrängen bei 4096 Einträgen die ältesten.
  • Protokollversion und Wire-Format bleiben gleich. 0.1.1 sendet nie etwas jenseits der neuen Grenzen (sein Capture-Puffer hat 9000 Bytes), gemischter Betrieb während des Updates funktioniert also.

Messungen (Linux, zwei Daemons, Release-Build)

Szenario 0.1.1 dieser Branch
4000 Pakete à 1472 B mit überlangen Namen, per Multicast im LAN RSS 4 → 267 MB (Gegenstelle 171 MB), 15 s CPU, --records 156 MB RSS 4 MB, 0,1 s CPU, nichts weitergeleitet
4000 Pakete à 1442 B mit je 96 gültigen, erfundenen Namen RSS 101 MB (Gegenstelle 76 MB), 143 000 Tabelleneinträge, nur 1508 Pakete verarbeitet RSS 9 MB, höchstens 4096 Einträge, alle 4000 verarbeitet, 1,5 s CPU
60 000 kleine Ankündigungen, jede mit neuem Dienst und Host RSS 66 MB, 180 000 Einträge, 12,5 s CPU; danach kommt der Adress-Record eines echten neuen Geräts nicht mehr durch RSS 10 MB, 3,0 s CPU; der Adress-Record kommt durch
Peer schickt 4 Frames à 65 kB 5,6 s CPU, Status-Abfrage 5,2 s blockiert, RSS 159 MB Verbindung sofort getrennt
Peer schickt Frame mit 255 Sites im Pfad Verbindung zum nächsten Peer bricht ab Absender getrennt, eigene Verbindungen unberührt
Peer schickt 2000 Frames à 9 kB mit überlangen Namen und 2000 mit je 96 gültigen – 1,0 s CPU, RSS 9 MB

Tests

79 Unit-Tests grün (19 neu), clippy -D warnings für Linux und das FreeBSD-Target, musl-Check. Neu u. a.: die 255-Byte-Grenze (genau an der Grenze, ein Byte darüber, Namen über Zeiger, ein Paket voller Größe), 10 000 verstümmelte Pakete (keine Panik, nie mehr Records oder Bytes, als das Paket hergibt), ungültiges UTF-8, Verdrängung in Record-Tabelle und SRV-Zielen, Byte-, Eintrags-, Record- und Zeitgrenze im Replay-Cache, Frame-Grenzen in beide Richtungen, Reinjektion ohne Weiterreichen bei vollem Pfad, Überspringen eines nicht kodierbaren Pakets, endlose Kommandozeile am Status-Socket.

Der E2E-Test aus #35 (Herkunftsprüfung) läuft mit diesem Stand unverändert durch.

Was bleibt

  • Rechenzeit bleibt proportional zum Verkehr. Im ungünstigsten Fall – Pakete voller langer, gültiger Namen – etwa 0,4 ms je 1,4-kB-Paket. Wer im LAN mit rund 20 Mbit/s solche Pakete sendet, lastet einen Kern aus; der Speicher wächst dabei nicht. Ein Paket wird noch zwei- bis dreimal geparst; das einmal zu tun, wäre die naheliegende nächste Verbesserung (eigenes Issue).
  • FreeBSD: nur über die Unit-Tests auf dem Runner geprüft, keine Lastmessung dort. Ein Speicherlimit für den rc.d-Dienst habe ich nicht eingebaut, weil ich es nicht testen kann.
  • Ob ein Label einen Punkt enthält, sieht man dem zusammengesetzten Namen weiterhin nicht an (Kommentar zu #4 folgt mit den Issues).

🤖 Generated with Claude Code

https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp

Befund 1 (und 9) aus dem Review von v0.1.1 – der zweite von drei Fixes. Baut auf #35 auf, das schon in master ist; der Diff enthält nur die sechs neuen Commits. ## Problem Was der Daemon sich merkt und wie lange er an einem Paket rechnet, hing davon ab, was ihm geschickt wird – von einem Gerät im LAN genauso wie von einem Peer: - **Namen.** Über Kompressionszeiger kann ein kleines Paket Namen enthalten, die weit länger sind als die 255 Bytes, die DNS erlaubt: jeder Record benennt ein anderes Endstück einer langen Label-Kette. Jeder dieser Namen wurde vollständig ausgeschrieben – Megabytes an Strings aus einem einzigen Paket. - **Record-Tabelle** (`--records`): unbegrenzt, Einträge bleiben eine Stunde. - **Replay-Cache:** auf 2048 Pakete begrenzt, aber jeder Eintrag hielt zusätzlich die Namen aller seiner Records, und blieb so lange, wie die kleinste TTL behauptete (bis 136 Jahre). - **Gelernte SRV-Ziele:** auf 4096 begrenzt, aber eine volle Tabelle lernte einfach nichts mehr dazu, und ein Eintrag blieb so lange, wie die TTL behauptete. Nach einer Flut erfundener Hosts kam damit der Adress-Record keines später auftauchenden Geräts mehr über die Bridge – bis zum Neustart. - **Frames von Peers:** bis 64 KiB, obwohl nichts Gültiges länger als 9000 Bytes ist. Ein Frame mit 255 Sites im Pfad riss beim Weiterreichen die Verbindung zum nächsten Peer ab (Befund 9), immer wieder, jedes Mal mit Replay. ## Änderung | Commit | Inhalt | |---|---| | `dns` | Ein Name hat höchstens 255 Bytes im Wire-Format, egal wie er zusammengesetzt ist; sonst gilt das Paket als fehlerhaft und wird weder weitergeleitet noch ausgewertet. Damit ist ein Paket auf `Länge/11` Records mit je höchstens 255 Bytes Name begrenzt. Namen werden als Bytes gesammelt und einmal umgewandelt statt Label für Label. | | Tabellen | Record-Tabelle höchstens 4096 Einträge. SRV-Ziele höchstens 4096 und höchstens 24 h. Ist eine Tabelle voll, machen die am längsten nicht gesehenen Einträge Platz, 512 auf einmal (neu: `evict.rs`). | | Replay-Cache | Schlüssel sind 64-Bit-Hashes statt Namen; höchstens 4 MiB an Paketen; Pakete mit mehr als 64 verschiedenen Records werden nicht gecacht (aber weitergeleitet); höchstens 24 h. Ein Bit pro Schlüssel erspart fast alle Mengenvergleiche. | | Frames | Höchstens 9000 Bytes Paket und 32 Sites Pfad, beim Senden wie beim Empfangen; ein zu großer Frame wird abgelehnt, bevor er gelesen wird. Ein Paket mit vollem Pfad wird noch reinjiziert, aber nicht weitergereicht. Ein nicht kodierbares Paket wird übersprungen statt die Verbindung zu beenden. | | Status-Socket | Kommandozeile höchstens 64 Bytes, Antwort höchstens 16 MiB. | | README, systemd | Abschnitt *Limits*; `MemoryMax=256M` im Unit als zweite Verteidigungslinie. | ## Was sich im Verhalten ändert - Ein Peer, der einen Frame jenseits der Grenzen schickt, wird getrennt; im Log steht, welche Grenze: `peer connection closed … error=decoding frame: relay path too long (255 sites, at most 32)`. - Pakete mit mehr als 64 verschiedenen Records (Name + Typ) werden nach einem Reconnect nicht mehr nachgeliefert. Live gehen sie durch wie bisher. - Record-Tabelle und gelernte SRV-Ziele verdrängen bei 4096 Einträgen die ältesten. - **Protokollversion und Wire-Format bleiben gleich.** 0.1.1 sendet nie etwas jenseits der neuen Grenzen (sein Capture-Puffer hat 9000 Bytes), gemischter Betrieb während des Updates funktioniert also. ## Messungen (Linux, zwei Daemons, Release-Build) | Szenario | 0.1.1 | dieser Branch | |---|---|---| | 4000 Pakete à 1472 B mit überlangen Namen, per Multicast im LAN | RSS 4 → 267 MB (Gegenstelle 171 MB), 15 s CPU, `--records` 156 MB | RSS 4 MB, 0,1 s CPU, nichts weitergeleitet | | 4000 Pakete à 1442 B mit je 96 gültigen, erfundenen Namen | RSS 101 MB (Gegenstelle 76 MB), 143 000 Tabelleneinträge, nur 1508 Pakete verarbeitet | RSS 9 MB, höchstens 4096 Einträge, alle 4000 verarbeitet, 1,5 s CPU | | 60 000 kleine Ankündigungen, jede mit neuem Dienst und Host | RSS 66 MB, 180 000 Einträge, 12,5 s CPU; **danach kommt der Adress-Record eines echten neuen Geräts nicht mehr durch** | RSS 10 MB, 3,0 s CPU; der Adress-Record kommt durch | | Peer schickt 4 Frames à 65 kB | 5,6 s CPU, Status-Abfrage 5,2 s blockiert, RSS 159 MB | Verbindung sofort getrennt | | Peer schickt Frame mit 255 Sites im Pfad | Verbindung zum nächsten Peer bricht ab | Absender getrennt, eigene Verbindungen unberührt | | Peer schickt 2000 Frames à 9 kB mit überlangen Namen und 2000 mit je 96 gültigen | – | 1,0 s CPU, RSS 9 MB | ## Tests 79 Unit-Tests grün (19 neu), `clippy -D warnings` für Linux und das FreeBSD-Target, musl-Check. Neu u. a.: die 255-Byte-Grenze (genau an der Grenze, ein Byte darüber, Namen über Zeiger, ein Paket voller Größe), 10 000 verstümmelte Pakete (keine Panik, nie mehr Records oder Bytes, als das Paket hergibt), ungültiges UTF-8, Verdrängung in Record-Tabelle und SRV-Zielen, Byte-, Eintrags-, Record- und Zeitgrenze im Replay-Cache, Frame-Grenzen in beide Richtungen, Reinjektion ohne Weiterreichen bei vollem Pfad, Überspringen eines nicht kodierbaren Pakets, endlose Kommandozeile am Status-Socket. Der E2E-Test aus #35 (Herkunftsprüfung) läuft mit diesem Stand unverändert durch. ## Was bleibt - **Rechenzeit bleibt proportional zum Verkehr.** Im ungünstigsten Fall – Pakete voller langer, gültiger Namen – etwa 0,4 ms je 1,4-kB-Paket. Wer im LAN mit rund 20 Mbit/s solche Pakete sendet, lastet einen Kern aus; der Speicher wächst dabei nicht. Ein Paket wird noch zwei- bis dreimal geparst; das einmal zu tun, wäre die naheliegende nächste Verbesserung (eigenes Issue). - **FreeBSD:** nur über die Unit-Tests auf dem Runner geprüft, keine Lastmessung dort. Ein Speicherlimit für den rc.d-Dienst habe ich nicht eingebaut, weil ich es nicht testen kann. - Ob ein Label einen Punkt enthält, sieht man dem zusammengesetzten Namen weiterhin nicht an (Kommentar zu #4 folgt mit den Issues). 🤖 Generated with [Claude Code](https://claude.com/claude-code) https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
dns: a name is at most 255 bytes, however it is spelled out
All checks were successful
ci / rust (push) Successful in 3m18s
98a307e8d5
Compression pointers let a small packet contain names far longer than
the 255 bytes DNS allows: every record names another suffix of one long
run of labels. Each of them was decoded in full - megabytes of strings
from a single packet, which then went into the record table, the
replay cache and the filter.

read_name now adds up the wire length of the name it follows and gives
up beyond 255 bytes. Such a packet is malformed: it is not forwarded
and nothing of it is recorded. What one packet can cause is thereby
bounded by its size - at most len/11 records, each with a name of at
most 255 bytes.

The name is collected as bytes and converted to a string once instead
of label by label, which is several times faster for the worst legal
case (127 one-letter labels); the result is the same, since the dots
between labels keep replaced byte sequences from spanning two labels.

Tests: the limit itself, names through pointers (legal ones, one label
too long, a full-size packet), invalid UTF-8, and 10000 mangled packets
that must neither panic nor yield more than the packet can hold.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
Record table and learned SRV targets: bounded, oldest make room
All checks were successful
ci / rust (push) Successful in 3m24s
cc9d84503b
The record table (--records) grew with every new (name, type) for up
to record_max_age - names cost nothing to make up, on the LAN or by a
peer. It now holds at most 4096 entries; when full, the 512 not seen
for the longest time make room at once (evict.rs), so a flood does not
pay for a table scan with every record.

The learned SRV targets were bounded at 4096, but a full table simply
stopped learning, and an entry stayed as long as its SRV record's TTL
claimed - up to 136 years. A flood of made-up hosts thus kept the
address records of every device appearing later from crossing the
bridge, until the next restart. Now a host is held for 24 hours at
most, and when the table is full the hosts whose SRV record was not
seen for the longest time make room: a real device is learned again
with its next announcement.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
Replay cache: bounded in bytes, records per packet and hold time
Some checks failed
ci / rust (push) Has been cancelled
b3e945cd5c
The cache was limited to 2048 packets, but each entry also kept the
names of all its records as strings - with full-size packets and long
names several hundred megabytes - and an entry stayed as long as its
smallest TTL claimed, up to 136 years.

- Records are keyed by a 64-bit hash of normalised name and type
  instead of the name itself.
- At most 4 MiB of packets, oldest out first.
- A packet with more than 64 distinct records is not cached; it is
  forwarded live as before, and the entries it covers are dropped as
  out of date.
- An entry is held for 24 hours at most.

Every observed packet is compared with every entry. One bit per key in
a 64-bit word settles nearly all of these comparisons without touching
the sets: a flood of 60000 small announcements cost 8.2 s of CPU
without it and 2.5 s with it (12.5 s in 0.1.1).

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
Frames: at most 9000 bytes of packet and 32 sites of path
Some checks failed
ci / rust (push) Has been cancelled
758e0b98c4
A peer could send frames of up to 64 KiB. Nothing the capture produces
is longer than 9000 bytes (RFC 6762, and the size of the capture
buffer), but a frame seven times that size, filled with names through
compression pointers, kept the receiver busy for seconds.

- Envelope::decode and encode refuse packets over 9000 bytes and paths
  over 32 sites; read_frame refuses a frame that could not hold a legal
  one before reading it. A peer sending such a frame is disconnected,
  and the log says which limit it exceeded.
- A packet whose path is full is still reinjected, but not relayed any
  further - the next site would refuse it.
- forward: a packet that cannot be encoded is skipped instead of taking
  the connection to that peer down. Until now a frame with a 255-site
  path, relayed with this site added, did exactly that - over and over,
  with a replay after every reconnect.
- The capture buffer is sized by the same constant.

Wire format and protocol version are unchanged; 0.1.1 never sends
anything beyond these limits.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
Status socket: bounded command line and answer
Some checks failed
ci / rust (push) Has been cancelled
2d29907f9e
The server read the command line without a limit - a client that kept
sending without a newline made it buffer everything. It now reads 64
bytes at most and answers. The client reads at most 16 MiB of answer;
the largest one, the record table, is bounded since the previous
commits and stays far below.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
README: limits; systemd unit: MemoryMax
All checks were successful
ci / rust (push) Successful in 3m28s
build-freebsd / freebsd (pull_request) Successful in 3m2s
build-freebsd / release (pull_request) Has been skipped
ci / rust (pull_request) Successful in 3m22s
45ea4f90bf
The limits introduced by the previous commits in one place. The systemd
unit gets MemoryMax=256M as a second line of defence: the daemon needs
a few MB, and should it ever grow far beyond that it is restarted
(Restart=on-failure) rather than starving the host.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Vh6img4RYU1F52VUwGJcrp
jochen approved these changes 2026-11-12 18:20:15 +00:00
jochen merged commit 178f6ce64c into master 2026-11-12 18:20:21 +00:00
jochen deleted branch fix/resource-limits 2026-11-12 18:20:21 +00:00
Sign in to join this conversation.
No reviewers
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
jochen/mdns-bridge!36
No description provided.