Browser- & Screenshot-Loop

Der Client sieht das echte confBuild-Ergebnis

Nach einem Commit öffnet der MCP-Server die gespeicherte Projekt-URL im confBuild-Editor, wartet auf die Szene, blendet typische temporäre UI aus und erfasst die 3D-Canvas aus mehreren Blickrichtungen. Die PNGs werden als native MCP-Bildinhalte an Codex oder Claude zurückgegeben. Zusätzlich erhält der Client maschinenlesbare Browser- und Three.js-Diagnosen.

Der Client – nicht der Server – interpretiert die Bilder und entscheidet über den nächsten Patch.

Browsermodi

Modus Verhalten Sinnvoll für
auto Nutzt einen konfigurierten CDP-Browser, sonst einen sichtbaren persistenten Browser, bei Startfehler Headless Empfohlener Standard
headed Startet beziehungsweise verwendet ein sichtbares Chromium-Profil und lässt es während der MCP-Laufzeit offen Nutzer beobachtet die Agentenarbeit parallel
headless Startet einen isolierten unsichtbaren Browser und schließt ihn nach dem Rendern CI, reproduzierbare unbeaufsichtigte Checks
attached Verbindet sich ausschließlich mit CONFBUILD_MCP_CDP_URL Bewusst freigegebene bestehende Debug-Browser-Session

Empfohlen: sichtbarer verwalteter Browser

Mit browserMode: auto oder headed sehen Sie den confBuild-Editor parallel zum Agenten. Das Profil liegt standardmäßig unter:

output/playwright/confbuild-mcp/browser-profile

Es bleibt zwischen Renderaufrufen erhalten, sodass eine Anmeldung und Browserzustände wiederverwendet werden können. Dieser Browser ist von Ihrem normalen Chrome-Profil getrennt.

Exakten vorhandenen Browser anbinden

Ein normal gestarteter Browser stellt keinen sicheren Attach-Endpunkt bereit. Wenn Sie genau eine bereits sichtbare Browser-Session nutzen möchten, muss diese bewusst mit lokalem Chrome DevTools Protocol gestartet und über CONFBUILD_MCP_CDP_URL freigegeben werden.

CONFBUILD_MCP_CDP_URL='http://127.0.0.1:9222' npm run mcp:confbuild

Der Server aktiviert Remote Debugging niemals selbst und versucht nicht, beliebige Nutzerfenster zu übernehmen. Schützen Sie den Debug-Endpunkt, binden Sie ihn nur lokal und verwenden Sie möglichst ein getrenntes Browserprofil. Beim Beenden des MCP-Prozesses wird ein ausdrücklich angebundener Browser nicht geschlossen.

Asynchroner Renderablauf

Browser-Rendering kann länger dauern als ein typischer Tool-Timeout. Deshalb besteht der Ablauf aus zwei Tools:

  1. confbuild_render_project startet den Job und gibt sofort renderJobId zurück.
  2. confbuild_get_render_result wird abgefragt, bis der Job completed ist.

Beispielparameter:

{
  "editSessionId": "edit-…",
  "browserMode": "auto",
  "reuseOpenTab": true,
  "views": ["default", "right", "front", "left"],
  "timeoutMs": 120000
}

Der Server rendert ausschließlich gespeicherte Daten. Bei einer schmutzigen Edit-Session muss der Client erst validieren und committen.

Zurückgegebene Bilder

Standardmäßig entstehen bis zu vier PNGs:

  • default: aktuelle, nach „Zoom all“ angepasste Ausgangsansicht
  • right: nach rechts umlaufende Perspektive
  • front: gegenüberliegende beziehungsweise frontale Orbit-Perspektive
  • left: nach links umlaufende Perspektive

Die Ansichten sind browsergesteuerte Orbit-Presets, keine garantiert orthogonalen CAD-Projektionen. Für technische Zeichnungen oder Maßprüfungen sind die dafür vorgesehenen confBuild-Zeichnungs- und Exportfunktionen erforderlich.

Diagnosedaten

Neben den Bildern liefert der Job unter anderem:

Feld Aussage
meshCount / visibleMeshCount Anzahl aller beziehungsweise sichtbarer Three.js-Meshes
uniqueOutputIds Anzahl erkannter eindeutiger confBuild-Ausgaben
subprojectCount / subsheetCount Erfasste Teilprojekte und Sub-Sheets
attachedCount An Referenzpunkte angebundene Objekte
unresolvedRefposCount Nicht aufgelöste Referenzpositionen
bounds Weltkoordinaten-Minimum, -Maximum und Modellgröße
topLevelOutputIds Stichprobe der obersten Output-IDs
errorText Sichtbare Editor- oder Snackbar-Fehler
browserErrors Letzte Console- und Page-Fehler

Diagnosen ergänzen das Bild, ersetzen es aber nicht. Eine hohe Mesh-Zahl sagt zum Beispiel nichts darüber aus, ob das Objekt erkennbar oder korrekt montiert ist.

Visuelle Prüfliste für den Client

Der Agent sollte jedes Bild prüfen und mindestens diese Kategorien bewerten:

  1. Erkennbarkeit: Entspricht die Silhouette dem Auftrag?
  2. Vollständigkeit: Sind alle geforderten Hauptbaugruppen vorhanden?
  3. Maßstab: Sind Gesamtgröße und Größenverhältnisse plausibel?
  4. Verbindungen: Treffen Bauteile an vorgesehenen Schnittstellen zusammen?
  5. Kollisionen: Gibt es unbeabsichtigte Durchdringungen oder Doppelgeometrie?
  6. Schwebende Teile: Liegen Objekte ohne Verbindung oder außerhalb der Modellgrenzen?
  7. Parametrik: Bleiben sichtbare Muster und Abstände konsistent?
  8. Diagnosen: Sind Fehler, nicht aufgelöste Referenzen oder extreme Bounds vorhanden?

Ein Agent darf „visuell geprüft“ erst melden, wenn der finale Render vollständig zurückgegeben und jedes Bild tatsächlich betrachtet wurde.

Parallel beobachten und manuell eingreifen

Im headed- oder attached-Modus können Sie das Modell während des Loops sehen. Wenn Sie manuell speichern, während der Agent noch auf einer älteren Revision arbeitet, blockiert der Revisionsschutz den nächsten MCP-Commit. Der Client sollte die aktuelle Version neu lesen und seine Änderungen neu aufsetzen.

Vermeiden Sie während einer Screenshotserie starke manuelle Kamera- oder UI-Änderungen. Der Renderer schließt häufige Dialoge und Auswahlzustände, doch eine veränderte Editor-Oberfläche kann die Aufnahme beeinflussen.

Grenzen und Verbesserungen

  • Canvas-Aufnahmen zeigen die 3D-Szene, nicht automatisch Tabellen, Dialoge oder vollständige Browser-Chrome.
  • UI-Selektoren und Maus-Orbits können sich mit Editoränderungen verschieben.
  • Die Ansichten sind visuelle Prüfungen, keine Mess- oder Simulationsnachweise.
  • Eine kleine signierte Browser-Erweiterung könnte künftig einen exakten Nutzer-Tab sicher nominieren.
  • Native Kamera-Presets und ein „Agent Capture Mode“ im Editor würden noch stabilere, UI-freie Bilder liefern.

Nächster Schritt

Die Eingaben für Render- und Polling-Tools stehen in der Tool-Referenz. Fehler bei Anmeldung, Timeout oder CDP-Verbindung behandelt Sicherheit & Fehlerbehebung.

Zurück zur Dokumentation