Skip to content

Voeg Mono-, Duo-, communicatie-, defrost- en ketelregressies toe aan HIL - #761

Closed
jeroen85 wants to merge 11 commits into
devfrom
codex/hil-communications-duo
Closed

jeroen85 wants to merge 11 commits into
devfrom
codex/hil-communications-duo

Conversation

@jeroen85

@jeroen85 jeroen85 commented Sep 26, 2026 •

Copy link
Copy Markdown
Contributor

Besluit 27 september 2026: gesloten zonder merge op verzoek van de gebruiker. Basisharness #759 blijft behouden; uitgebreide scenarioverzameling #761 wordt niet naar dev gemerged. Ketel-OTA en de vier fysieke boilercases zijn uitgesteld tot een relevante controlwijziging.

Scripts, beschikbare logs, snapshots en rapporten (ook mislukte voorbereidingen) zijn duurzaam bewaard op archiefbranch codex/hil-archive-761. Download archief, SHA256SUMS, werkafspraak, bewijsindex en hergebruikinstructies. Links zijn vastgezet op archiefcommit 9d39292e9fba7c316df0187169bd321402c0e30d; behoud deze branch. Alle 74 manifestchecksums en pakketchecksum gecontroleerd. Credentials, lokale adressen/paden geredigeerd; firmwarebinaries/secrets uitgesloten. Gepubliceerde snapshots zijn uitsluitend bewijs, geen recovery-input.

Twaalf fysieke PASS-cases blijven onderbouwd; boiler heeft alleen hosttests, compile en read-only smoke. Historische git-SHA's zijn niet overal vastgelegd: config hashes worden niet als git-SHA gepresenteerd. Onafhankelijke archiefreview uitgevoerd; gevonden private IPv4-bronvoorbeelden geredigeerd.

Werkafspraak: gericht desktop-HIL-bewijs als reviewvoorwaarde voor control-, communicatie- en lifecycle-PR's. Leg controller-SHA/config hash/binary SHA256, simulatorversie/SHA/profielen, instellingen, assertions, failure boundaries, eindtoestand en duurzame logs vast bij de relevante PR. Alleen herhaaldelijk gebruikte regressies structureel opnemen. Dit besluit wijzigt geen GitHub branch protection; het is een reviewafspraak. Details en invulblok staan in de gelinkte handleiding.


Onderstaande beschrijving en resultaten zijn de historische implementatie van deze gesloten PR; draft-/CI-statusvermeldingen hieronder zijn historisch.

Wat verandert deze PR?

  • Voeg uitvoerbare HIL-scenario’s toe voor Duo-start met één beschikbare peer, verlies van iedere peer tijdens verwarmen, Mono- en Duo-communicatiestoring en herstel van ketelfallback naar warmtepompbedrijf.
  • Controleer control mode, bevestigde ODU-feedback, oorzaak van stop-timeout, boiler command en actieve boilertransportuitgang. Vroege fallback zonder causale stop-onzekerheid en verlies van bevestigd herstel falen. Tijdens onvoltooid linkherstel zijn CM1/CM4 toegestaan; directe CM4→CM2 is geldig.
  • Voeg test-only overlays, domeingerichte snapshots/restore, fake regressietests, CI-configvalidatie en gebruiksdocumentatie toe.
  • Voeg vier defrostcontracten toe: weigering bij exact 249 l/h, acceptatie bij exact 250 l/h, uitsluiting bij actieve HP2-defrost en precies één voltooide cyclus. Bewaak counters/physical readbacks ook tijdens herstel, stabiliteitsperiode en eindstop.

Type

  • Bugfix
  • Feature
  • Docs
  • UI/config
  • Control/platform
  • Tooling/generated
  • Anders

Impact

  • Geen runtime/control gedragswijziging bedoeld
  • Runtime/control gedrag gewijzigd
  • User-facing entities/configuratie gewijzigd
  • Hardware/Modbus/actuator/safety/thermal/boiler/flow geraakt
  • Interne heap/PSRAM/task-stacks/netwerkallocaties geraakt

Toelichting: Alleen HIL-tooling en een uitgesloten testoverlay wijzigen. De overlay hergebruikt bestaande HIL-observaties en behoudt de identiteit openquatt-test. Productiecode en productie-guardtimers veranderen niet. Muterende scenario’s bedienen uitsluitend gesimuleerde ODU’s en boilertransport op de testcontroller.

Achtergrond

Vervangt de aanpak uit gesloten PR #760 door uitvoerbare scenario’s op de harness uit #759. De bestaande schema-3 snapshots blijven herstelbaar. Nieuwe schema-4 domeinsnapshots bewaren ook Boiler connection, ODU-response gates, water-in temperaturen en boilerpermissions. Communications wacht vóór transportselectie op veilige CM0 en gestopte ODU’s, selecteert OpenTherm voor de desktopketel en vereist link available zonder mismatch. Cleanup probeert beide response gates, ook bij verloren acknowledgements of onderbreking; fouten blokkeren veilig herstel/OTA.

Fysieke HIL-validatie afgerond op uitsluitend de desktop-testcontroller: eerdere acht cases op simulator v0.4.1, nieuwe vier defrostcases op v0.5.0. Tijdens de tests stonden beide simulator-slots op V1.5 en run extension uit. De eerdere acht cases en de vier nieuwe defrostcases zijn fysiek geslaagd. #742 is gemerged naar dev en in deze branch geïntegreerd. Simulator v0.5.0 uit OpenQuatt-Simulator#7 is daadwerkelijk geïnstalleerd en manual-defrost-v1 is op het lab geverifieerd.

Mono heeft een aparte runner (scripts/hil/run-communications-mono.mjs), testoverlay en recoverydomain. De incident-API moet exact één HP bevatten vóór scenario-instellingen wijzigen. Alleen HP1 wordt onderdrukt en op flow/profiel gecontroleerd. De vaste labsimulator houdt twee slots; algemene snapshot/restore bewaart beide. Negatieve tests dekken verkeerde topologie, vroege fallback, ontbrekende herstel-feedback en verloren ACK.

Documentatie

  • Documentatie bijgewerkt voor de gebruikersgerichte wijziging
  • Geen documentatiewijziging nodig

Docs-impact motivatie: docs/development/hil-testing.md beschrijft runners, stages, voorwaarden, herstel en de grens tussen fake-validatie en hardwarebewijs.

Validatie

  • npm run check:hil: 56/56 geslaagd, inclusief foutinjectie voor verloren acknowledgements, interrupts, cleanup-fouten, vroege fallback, CM4-terugval en ontbrekende/stale feedback.

  • npm run check:python-contracts: 340 tests geslaagd vóór de Mono-uitbreiding; daarna de gewijzigde HIL-contractsuite opnieuw: 12/12 geslaagd.

  • npm run check:docs en git diff --check: geslaagd.

  • esphome config configs/hil/control_regression_duo_wifi.yaml en esphome config configs/hil/control_regression_mono_wifi.yaml: geslaagd; beide gebruiken de testcontroller-identiteit en een afzonderlijke profielmarker.

  • python3 scripts/dev.py validate --config-only --config configs/hil/control_regression_duo_wifi.yaml: bestaande repository-stylefouten in input_sources_fast_duo_wifi.yaml, oq_sensor_sources.yaml en heatpump_controller_q.yaml; directe ESPHome-configvalidatie slaagt.

  • npm run build:web: geslaagd om bestaande benodigde lokale bundles te genereren; geen gegenereerde bestanden gewijzigd in de diff.

  • Onafhankelijke cold reviews van de volledige diff en lifecycle-/transport-/handbackfixes: bevindingen opgelost en met negatieve tests afgedekt; laatste herreview zonder resterende bevindingen, zelfstandig 56/56 tests geslaagd.

  • Mono-/Duo-testoverlays en de oorspronkelijke restorefirmware daadwerkelijk gecompileerd; alle OTA’s uitsluitend naar openquatt-test.

  • esphome config en esphome compile configs/hil/defrost_regression_duo_wifi.yaml: geslaagd, config hash 0xa6b68847. Dit was de eerste lokale build vóór de Defrost: voeg variantbewuste diagnostiek en bediening toe #742-integratie; die is niet geflasht.

  • Na Defrost: voeg variantbewuste diagnostiek en bediening toe #742-integratie: opnieuw esphome compile configs/hil/defrost_regression_duo_wifi.yaml geslaagd met actuele webbundles en defrost-API, config hash 0xf78b6c5e. Deze kandidaat is daarna expliciet geautoriseerd en fysiek getest.

  • Legacy schema-3/4 snapshots zonder de twee manual-frequencyvelden blijven herstelbaar zonder verzonnen defaults. Gedeeltelijke paren falen. Alle vier bestaande lab-recovery-snapshots gevalideerd; onafhankelijke herreview en 56/56 HIL-tests geslaagd.

Defrost: afhankelijkheden en validatiegrens

scripts/hil/run-defrost.mjs, tests/hil/scenarios/defrost.mjs en configs/hil/defrost_regression_duo_wifi.yaml voegen uitvoerbare tests toe zonder de productiecode uit #742 te importeren. De controller-API uit #742 is inmiddels gemerged en in de kandidaat beschikbaar. De fixture beïnvloedt alleen geselecteerde flow, start ALWAYS_OFF en wordt onafhankelijk van de peer-injectie opgeruimd. Productietimers blijven intact. Geen triggerretry bij verloren ACK; CSRF-tokens ontbreken in observaties.

De eerdere read-only preflight op simulator v0.4.1 blokkeerde terecht vóór mutatie; dat historische BLOCKED-rapport blijft bewaard. Daarna zijn beide OTA’s expliciet geautoriseerd en simulator v0.5.0 uit OpenQuatt-Simulator#7 en kandidaat 0xf78b6c5e daadwerkelijk geïnstalleerd. Alle vier nieuwe defrostgevallen zijn PASS. Rapport: .tmp/hil/2026-09-27T07-15-52-234Z-defrost/report.json (54 defrostobservaties, 286 control-observaties). De geselecteerde-flowfixture bewijst een guardgrens, geen hydrauliek; de 30s simulatorcyclus bewijst geen echte ODU-defrostalgoritmen.

De cold review vond een ontbrekende fysieke stopgate vóór recovery-OTA en onvoldoende bewaking van een vertraagde tweede cyclus. Beide zijn opgelost: fysieke stopconfirmatie geldt ook bij afzonderlijke snapshotrecovery; bij falen blijft OTA geblokkeerd en de recoverylock behouden. Counters/inactieve defrost blijven bewaakt tot na de eindstop. Negatieve tests dekken beide failure boundaries.

Fysiek HIL-bewijs

Domein Cases Resultaat Kandidaat
Duo-start en peer-loss, beide uitvalrichtingen 4 PASS 0xdc3e0771
Mono-communicatieverlies, causale CM4 en herstel 2 PASS 0x58303cbb
Duo-volledige communicatieuitval, causale CM4 en herstel 2 PASS 0xdc3e0771
Nieuwe defrostgrenzen/peer-overlap/completion 4 PASS op simulator v0.5.0 0xf78b6c5e

Rapporten, snapshots en diagnostische logstreams:

  • .tmp/hil/2026-09-26T20-01-14-988Z-duo/: 593 geselecteerde observaties.
  • .tmp/hil/2026-09-26T21-17-21-114Z-communications-mono/: 324 observaties.
  • .tmp/hil/2026-09-26T21-37-58-320Z-communications/: 292 observaties.

Eindherstel van de eerdere acht cases op 26 september: oorspronkelijke actieve profielen HP1 V1/HP2 V1.5, run extension aan en CM Override Auto teruggelezen. Simulatorinstellingen opnieuw hersteld na de profielreboot (bootdefaults). Bewijs: .tmp/hil/pr761-lab-baseline/final-restore.json. Beide ODU’s healthy en stop_confirmed, ketel uit, lablock vrij. Auto staat in CM98/vorstcirculatie doordat de tijdelijke API-temperaturen zijn verlopen.

Elke geslaagde run heeft de exacte oorspronkelijke firmware 2026.9.0 (config hash 0x329dfc03) uit de PR #742-checkout teruggezet en de gesnapshotte instellingen teruggelezen, inclusief ketelaansluiting R1 bij schema 4.

Communications bewijst actieve OpenTherm-keteluitgang in causale CM4, vervolgens gezonde ODU’s, gewiste stop-onzekerheid/link-lossoorzaak, CM2, minstens 250 l/h geselecteerde flow, bevestigde compressorfeedback en ketel uit, gevolgd door 30 seconden volledige stabiliteitscontrole. De eerste CM1 tijdens gedeeltelijk herstel bewijst geen begonnen handback; dit sluit aan op de productie-state-machine. Ook directe CM4→CM2 is toegestaan. Negatieve tests blijven terugval na bevestigd herstel, verloren feedback en nieuwe stopverplichtingen afwijzen.

Bij Duo-peer-loss zijn CM1 en normale restartguards vóór overname toegestaan; dit bewijst geen ononderbroken warmteproductie. De productie-guardtimers zijn niet verkort. Eerdere mislukte voorbereidings-/assertieruns zijn behouden; ze worden niet als hardware-PASS of bewezen productiebug gepresenteerd.

Defrost: HP2-injectie blokkeerde HP1 met PEER_DEFROST_ACTIVE, zonder cyclusstart. Exact 249 l/h geselecteerde flow gaf INCIDENT_BLOCK, eveneens zonder start. Bij exact 250 l/h werden verse mode4/manual/active-status en fysieke registerreadbacks (defrostbit, vierwegklep en bodemplaatheater) vereist; de simulator telde precies één start/completion en nul aborts. De controller ging via ACCEPTED → RESYNC → COMPLETE terug naar verwarmen. Daarna volgden 30 seconden stabiel verwarmingsherstel, onveranderde counters en de volledige veilige eindstop met onverkorte 300s minimumlooptijd. Geen tweede cyclus en geen boilerfallback.

De exacte oorspronkelijke controllerfirmware 0x329dfc03 is na de run hersteld en alle gesnapshotte instellingen zijn teruggelezen. Ook de tijdelijke run extension is teruggezet op aan. Eindbewijs .tmp/hil/pr761-defrost-upload/final-state.json: controller Auto/CM98 door verlopen API-temperaturen, beide peers healthy/stop_confirmed, ketel uit, geen HIL-marker, beide injecties uit en lablock vrij. Simulator v0.5.0 blijft geïnstalleerd met beide actieve profielen V1.5. Modbus exc/bad_addr/bad_write/cap=0; HP1-counters 1/1/0, HP2 0/0/0. Ongebufferde controllerlogstream en periodieke readbacks zijn bij het runrapport bewaard. Eerdere reboots/preflightstops worden niet als productiefouten of extra PASS-cases geteld.

Aanvullende eerdere bewijzen: #754 dekt setpoint-validity en testidentiteit; #742 bevat afzonderlijk defrostbewijs. De nieuwe domeincases bouwen voort op de communicatie-/Duo-contracten uit #708/#709, zonder PR-specifieke scenario-identiteit.

  • GitHub CI op actuele head c35b6a98: success (36302233552); docs-metadata success. De draft-firmwareworkflow was skipped; alle gebruikte testoverlays zijn lokaal daadwerkelijk gecompileerd en de defrostkandidaat is fysiek geüpload.

  • Geheugenimpact gemeten op representatieve hardware

  • Geen runtime-geheugenimpact

Heap/stack-impact: Productiefirmware blijft ongewijzigd. De testoverlay hergebruikt bestaande HIL-instrumentatie; de rapporten bewaren free/min/largest internal heap en PSRAM. Dit is geen baseline/candidate-kwalificatie onder worst-case HA/web/API/MQTT-belasting of fysiek thermisch/hydraulisch bewijs.

Onafhankelijke audit van het fysieke rapport, control-observaties, defrostlogstream en eindherstel: 4/4 PASS onderbouwd, geen false-PASS of herstelprobleem gevonden. Claim beperkt tot desktop-HIL met V1.5/V1.5 en synthetische geselecteerde flow.

Ketelassist en permissies (boiler)

Vier uitvoerbare cases toegevoegd aan deze PR: langdurig tekort met assist uit blijft zonder ketel; werkelijk tekort promoveert CM2→CM3 met ontvangen OpenTherm-uitgang; verdwenen tekort geeft stabiele CM3→CM2-handback; causale communicatieuitval met fallback uit blijft zonder ketel. Nieuwe runner scripts/hil/run-boiler.mjs, testoverlay configs/hil/boiler_regression_duo_wifi.yaml, scenario/foutinjectietests en CI-configvalidatie. Productietimers, thresholds en rated boiler power blijven ongewijzigd.

Ontvangen Master CH Enable/Simulated CH active en verse monotone requestcounters zijn verplicht. Rising-edge-counters detecteren ook verboden korte pulsen tussen metingen. Vertraagde publicatie van gewijzigde API-vraag wordt begrensd afgewacht; andere inputs blijven geldig. Cleanup probeert beide permissies en response gates onafhankelijk; herstel-OTA blijft geblokkeerd zonder bevestigde ODU-stilstand en verse ontvangen keteluitgang uit.

Validatie op head 40dfd3f8: 62/62 HIL-hosttests, 13/13 HIL Python-contracttests, docscontrole en diffcontrole geslaagd. ESPHome compile boiler-overlay geslaagd (hash 0xe920fdee). Read-only fysieke boiler-preflight geslaagd op oorspronkelijke controller 0x329dfc03 en simulator v0.5.0: .tmp/hil/2026-09-27T08-13-11-765Z-boiler/report.json. Onafhankelijke cold review van volledige diff: beide bevindingen opgelost, geen resterende concrete bevindingen; zelfstandig 62/62 tests geslaagd.

De vier nieuwe boilercases zijn nog niet fysiek uitgevoerd; geen boiler-OTA gedaan. Bestaande twaalf fysieke PASS-cases hierboven blijven afzonderlijk bewijs. De PR staat weer draft tot de boileruitbreiding fysiek is gevalideerd. CI op deze nieuwe head is nog niet bevestigd.

@jeroen85 jeroen85 changed the title Voeg Duo- en communicatieregressies toe aan HIL Voeg Mono-, Duo- en communicatieregressies toe aan HIL Sep 26, 2026
@jeroen85 jeroen85 changed the title Voeg Mono-, Duo- en communicatieregressies toe aan HIL Voeg Mono-, Duo-, communicatie- en defrostregressies toe aan HIL Sep 27, 2026
@jeroen85
jeroen85 marked this pull request as ready for review September 27, 2026 07:36
@jeroen85 jeroen85 changed the title Voeg Mono-, Duo-, communicatie- en defrostregressies toe aan HIL Voeg Mono-, Duo-, communicatie-, defrost- en ketelregressies toe aan HIL Sep 27, 2026
@jeroen85
jeroen85 marked this pull request as draft September 27, 2026 08:19
@jeroen85 jeroen85 closed this Sep 27, 2026
@jeroen85
jeroen85 deleted the codex/hil-communications-duo branch September 27, 2026 08:46
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant