From e9287545eeee9da17a84205d087ab00aaedd48d8 Mon Sep 17 00:00:00 2001 From: Sucukdeluxe <259325684+Sucukdeluxe@users.noreply.github.com> Date: Tue, 29 Sep 2026 04:19:15 +0200 Subject: [PATCH] Recover interrupted update downloads with bounded verified retries --- .gitignore | 1 + PROJECT_MEMORY.md | 66 -------------- lib/updater.js | 139 +++++++++++++++++------------- renderer/i18n.js | 2 + scripts/verify-public-release.mjs | 1 - 5 files changed, 81 insertions(+), 128 deletions(-) delete mode 100644 PROJECT_MEMORY.md diff --git a/.gitignore b/.gitignore index 121b550..154b271 100644 --- a/.gitignore +++ b/.gitignore @@ -1,6 +1,7 @@ node_modules/ /tests/ /services/backup-api/test/ +PROJECT_MEMORY.md .dev-runner.lock release/ .artifacts/ diff --git a/PROJECT_MEMORY.md b/PROJECT_MEMORY.md deleted file mode 100644 index ea5d800..0000000 --- a/PROJECT_MEMORY.md +++ /dev/null @@ -1,66 +0,0 @@ -# Projekt-Memory - -## Zweck - -Multi-Hoster-Upload ist eine Electron-Desktopanwendung für Windows zum Hochladen von Dateien an mehrere Hoster. Diese Datei enthält ausschließlich öffentlich geeignete Projektinformationen. Zugangsdaten, persönliche Arbeitsumgebungen, konkrete Serverpfade, Sicherungsnachweise und Betriebsprotokolle gehören nicht in das Repository. - -## Aktueller Zustand - -- Veröffentlicht: Version `2.1.51`. -- Einstiegspunkt: `main.js`; Oberfläche: `renderer/`; Fachlogik: `lib/`; optionaler Sicherungsdienst: `services/backup-api/`. -- Version `2.1.50` enthält verbesserte Sicherungsmenüs, getrennte Online-Backup-Bereiche, einheitliche Automatik- und Log-Einstellungen sowie korrigierte Such- und Update-Anzeigen. -- Ordnerüberwachung lässt sich unabhängig von ihrem Aktivierungszustand mit gespeicherten Regeln schreibgeschützt testen. Testscans starten keine Uploads und verändern keine laufende Überwachung. -- Nach dem Release wurden ausschließlich Wartebedingungen zweier Electron-Tests korrigiert. Die Anwendungsversion bleibt unverändert. -- Regressionstests sind in das private Repository `Multi-Hoster-Upload-Tests` ausgelagert. Beide privaten Remotes enthalten Desktop- und Backup-API-Tests. Öffentliche CI führt nur Lint, Abhängigkeitsprüfung und Build aus. Historische Commits und Tags bleiben unverändert. - -## Entscheidungen - -- DoodStream-Webaccounts verwenden ausdrücklich die Web-Sitzung; ein gespeicherter API-Key darf diese Auswahl nicht übersteuern. Parallele Accountchecks teilen ihre OTP-Anforderung. -- Accountchecks melden einzelne Ergebnisse sofort an die Oberfläche. -- Accountbezogene Speicherfehler führen zum nächsten verfügbaren Fallback-Account; vorübergehende Netzwerkfehler bleiben davon getrennt. -- Hoster-Dateigrößenlimits werden in GB eingegeben und kompatibel im bestehenden MB-Format gespeichert. Zu große Dateien werden für den jeweiligen Hoster übersprungen. -- Online-Backups sind clientseitig verschlüsselt. Neue Schlüssel sind standardmäßig unbegrenzt gültig; bestehende Ablaufdaten bleiben erhalten. -- Wiederherstellungsschlüssel bleiben außerhalb des Repositorys und des Sicherungsdienstes. Datensatzformatänderungen benötigen einen datenerhaltenden Kompatibilitätsplan. -- Backup-Importe übertragen Einstellungen; Warteschlange, Verlauf und laufzeitgebundene Zustände bleiben davon getrennt. -- Nicht vorhandene Überwachungspfade bleiben gespeichert; die Überwachung wird bis zur Korrektur deaktiviert. -- Erfolgreiche Uploads erhalten einen persistenten Abschlussnachweis. Bei einem Speicherfehler bleibt die Warteschlange erhalten, um unbeabsichtigte Wiederholungen zu vermeiden. -- Dropdowns benötigen ausreichenden Pfeilabstand und müssen auch in schmalen Fenstern bedienbar bleiben. Kopierbare Inhalte und Eingabefelder behalten ihre Textauswahl. -- Fokusringe erscheinen nur im Tastaturmodus (`html.keyboard-navigation`, gesetzt durch Tab oder Pfeiltasten in Menüs, entfernt durch Mausklick). Automatischer Fokus in Dialogen, Escape und Entf zeigen keinen Ring; Textfelder erhalten beim Fokus keinen farbigen Rahmen. Informationstexte sind nicht markierbar. -- Beschreibungen zu Einstellungen stehen in Info-Tooltips (`.info-tip`), die fixiert positioniert werden und nicht von Containern abgeschnitten werden. -- Meldungen erscheinen als Toast oben rechts mit Zustand `success`, `warning` oder `error`. Online-Backup-Erfolge und -Fehler laufen darüber; der Inline-Status zeigt nur laufende Vorgänge. -- Die Content-Security-Policy bleibt bei `default-src 'self'`; Symbole daher per CSS statt Data-URI. -- Update-Metadaten müssen zu den tatsächlich veröffentlichten Dateinamen, Größen und Prüfsummen passen. Versionsmeldungen zeigen gültige Veröffentlichungszeitpunkte in lokaler Gerätezeit. -- Release-Changelogs sind auf GitHub englisch und auf Forgejo deutsch, bei inhaltlich gleichem Umfang. -- Die aktive Arbeitslinie ist `master`; der zweite Remote verwendet `sync/github-master`. Eine getrennte ältere Historie darf nicht überschrieben werden. - -## Start- und Testbefehle - -Node.js 24 und die im Lockfile festgelegten Abhängigkeiten verwenden. - -```powershell -npm ci -npm start -npm run dev -npm run verify -``` - -Enthält der Projektpfad Shell-Sonderzeichen wie `&`, scheitern die npm-`.cmd`-Shims unter `cmd.exe`. Dann eine lokale, nicht versionierte `.npmrc` mit `script-shell=pwsh` anlegen (über `.git/info/exclude` ausschließen); danach funktionieren alle npm-Skripte. - -## Bekannte Probleme und nächste Schritte - -- Kleine Änderungen: Lint und private Testsuite lokal ausführen (der UI-Smoke läuft dabei unsichtbar offscreen mit), committen und pushen, ohne auf CI zu warten. Den privaten Remote-Lauf (`gh workflow run tests.yml --repo Sucukdeluxe/Multi-Hoster-Upload-Tests -f source_ref=`, mit `-f ui_smoke=true` inklusive Electron-UI-Smoke) nur vor Releases oder nach größeren Umbauten starten und abwarten. Ein erfolgreicher öffentlicher Build ersetzt diesen Testlauf nicht. Lokale Ausführung ist in der privaten README dokumentiert. -- Der DoodStream-Web-Upload funktioniert laut Nutzerrückmeldung vom 26.09.2026 wieder. -- Anzeigefehler auf Windows Server über RDP (Inhalt versetzt, weiße Ränder, gelegentlich beim ersten Start): Nach dem Anzeigen wird einmal ein Neu-Layout erzwungen und `window-content: …` protokolliert. Wirksamkeit auf dem Server noch zu bestätigen. -- Wird eine vollständig abgelehnte Dateiauswahl gemeldet, zeigt der Hinweis die Vorabprüfungsbilanz statt eines kurzen Duplikathinweises. Eine verständlichere Einzeldatei-Meldung wäre möglich. -- Öffentliche Dokumentation auf Architektur, Verhalten und reproduzierbare Entwicklung beschränken. Keine betrieblichen Einzelfalldaten ergänzen. - -## Zuletzt verifiziert - -- Release `2.1.51` (26.09.2026, Tag auf `103139d`): 845 Haupttests einschließlich UI-Smoke lokal und auf dem Windows-Runner, 18 Servertests, Lint und Abhängigkeitsprüfung erfolgreich. Paketinhalt gegen Quellstand geprüft. Beide Plattformen mit je vier Dateien veröffentlicht; Downloads per Größe und SHA-512 bestätigt; der Updater erkennt 2.1.51 ausgehend von 2.1.50. Changelogs beginnen ohne Titelzeile direkt mit dem Einleitungssatz. -- Stand: 22.09.2026. -- Release `2.1.50`: 845 Haupttests und 18 Servertests erfolgreich; Lint und Abhängigkeitsprüfung erfolgreich. Installer, portable Anwendung und Update-Metadaten beider Plattformen einschließlich Download-Prüfsummen geprüft. -- CI-Timingkorrektur: beide betroffenen Tests zehnmal hintereinander erfolgreich. Gesamte lokale Suite und GitHub-CI einschließlich Windows-Build erfolgreich. Tests warten mit Zeitlimit auf verarbeitete Eingaben beziehungsweise den angekommenen Dateikandidaten, ohne Zustandsprüfungen abzuschwächen. -- Öffentliche Dokumentation von konkreten Betriebs-, Sicherungs- und Diagnosedetails bereinigt. Keine Anwendungscodeänderung und keine Umschreibung der Git-Historie; ältere Dokumentfassungen bleiben historisch erreichbar. -- 26.09.2026: Das Recent-Panel wird zusätzlich neu begrenzt, wenn sich Höhen innerhalb der Warteschlangenansicht ändern (z. B. umbrechende Werkzeugleiste). Vorher konnte die Warteschlange bei kleinem Fenster auf 69 px schrumpfen. UI-Smoke lokal dreimal hintereinander mit 303/303 erfolgreich. CI-Actions auf `checkout@v7` und `setup-node@v7` (Node 24) umgestellt. `npm run verify` lokal mit `script-shell=pwsh` erfolgreich. -- 26.09.2026 (UI-Überarbeitung, veröffentlicht als 2.1.51): Sprachwechsel mit 3.314 Verlaufseinträgen von 1,1–1,8 s auf 30–50 ms beschleunigt (gecachte Datumsformatierer, identische Ausgabe). Fokusringe, Textauswahl, Toasts, Online-Backup-Ablauf, Upload-Einstellungen, 14-Tage-Verlaufsoption und Diagnose-Adressfeld überarbeitet. 844 Haupttests, 18 Servertests und Lint erfolgreich; Darstellung per Offscreen-Screenshots bei 1100×750 und 820×560 geprüft. -- 26.09.2026: Schließt sich der Update-Dialog ohne brauchbares Rücksprungziel, landet der Fokus auf dem Update-Button im Header statt auf einem ausgeblendeten Dialogbutton. Private Suite einschließlich UI-Smoke auf dem Windows-Runner zweimal gegen `bbc4a98` erfolgreich; öffentliche CI grün. diff --git a/lib/updater.js b/lib/updater.js index db288c3..a66a3e0 100644 --- a/lib/updater.js +++ b/lib/updater.js @@ -1,6 +1,7 @@ const fs = require('fs'); const path = require('path'); const crypto = require('crypto'); +const { setTimeout: delay } = require('node:timers/promises'); const { app } = require('electron'); const UPDATE_REPO = 'Administrator/Multi-Hoster-Upload'; @@ -239,8 +240,9 @@ function verifyExeHeader(buf) { async function prepareUpdate(onProgress, options = {}) { if (activeAbort) activeAbort.abort(); - activeAbort = new AbortController(); - const signal = activeAbort.signal; + const controller = new AbortController(); + activeAbort = controller; + const signal = controller.signal; const fetchImpl = options.fetchImpl || fetch; const now = typeof options.now === 'function' ? options.now : Date.now; let stagedInstallerPath = ''; @@ -273,68 +275,83 @@ async function prepareUpdate(onProgress, options = {}) { const tmpDir = options.tempDir || app.getPath('temp'); const installerPath = path.join(tmpDir, check.assetName); - const res = await fetchImpl(check.assetUrl, { - method: 'GET', - signal, - redirect: 'follow' - }); - - if (!res.ok) { - throw new Error(`Download fehlgeschlagen: HTTP ${res.status}`); - } - - const totalBytes = manifest.size; - let downloadedBytes = 0; - let lastReportedPercent = -1; - const downloadStartedAt = now(); - const chunks = []; - - const DOWNLOAD_STALL_MS = 45000; - let stallTimer = null; - const reader = res.body.getReader(); - while (true) { - if (signal.aborted) throw new Error('Abgebrochen'); - let chunk; + let fileBuffer; + for (let attempt = 1; attempt <= 3; attempt++) { + signal.throwIfAborted(); + const downloadController = new AbortController(); + const onAbort = () => downloadController.abort(); + signal.addEventListener('abort', onAbort, { once: true }); + let reader; + let stallTimer; + let timedOut = false; + const resetDeadline = () => { + clearTimeout(stallTimer); + stallTimer = setTimeout(() => { + timedOut = true; + downloadController.abort(); + }, options.downloadStallMs ?? 45000); + }; + let retry = false; try { - chunk = await Promise.race([ - reader.read(), - new Promise((_, reject) => { stallTimer = setTimeout(() => reject(new Error('__STALL__')), DOWNLOAD_STALL_MS); }) - ]); - } catch (e) { - if (e && e.message === '__STALL__') { - try { activeAbort.abort(); } catch {} - throw new Error('Download hängt — seit 45 s keine Daten (Netzwerk/Server überlastet). Bitte laufende Uploads stoppen und erneut versuchen.'); - } - throw e; - } finally { - if (stallTimer) { clearTimeout(stallTimer); stallTimer = null; } - } - const { done, value } = chunk; - if (done) break; - chunks.push(value); - downloadedBytes += value.length; - const percent = Math.max(0, Math.min(100, Math.floor((downloadedBytes / totalBytes) * 100))); - if (onProgress && percent !== lastReportedPercent) { - const elapsedMs = Math.max(1, now() - downloadStartedAt); - const bytesPerSecond = Math.round((downloadedBytes * 1000) / elapsedMs); - const etaSeconds = bytesPerSecond > 0 ? Math.ceil(Math.max(0, totalBytes - downloadedBytes) / bytesPerSecond) : null; - lastReportedPercent = percent; - onProgress({ - stage: 'downloading', - percent, - bytesDownloaded: downloadedBytes, - bytesTotal: totalBytes, - bytesPerSecond, - etaSeconds + resetDeadline(); + const res = await fetchImpl(check.assetUrl, { + method: 'GET', signal: downloadController.signal, redirect: 'follow', + cache: 'no-store', headers: { 'Cache-Control': 'no-cache', 'Accept-Encoding': 'identity' } }); - await new Promise(resolve => setImmediate(resolve)); + if (!res.ok) { + const error = new Error(`Download fehlgeschlagen: HTTP ${res.status}`); + error.retryable = [408, 429, 500, 502, 503, 504].includes(res.status); + throw error; + } + reader = res.body.getReader(); + let downloadedBytes = 0; + let lastReportedPercent = -1; + const downloadStartedAt = now(); + const chunks = []; + if (attempt > 1 && onProgress) onProgress({ stage: 'downloading', percent: 0, bytesDownloaded: 0, bytesTotal: manifest.size, bytesPerSecond: 0, etaSeconds: null, attempt }); + while (true) { + signal.throwIfAborted(); + resetDeadline(); + const { done, value } = await reader.read(); + clearTimeout(stallTimer); + if (done) break; + downloadedBytes += value.length; + if (downloadedBytes > manifest.size) throw new Error('Heruntergeladene Datei hat eine abweichende Größe'); + chunks.push(value); + const percent = Math.floor((downloadedBytes / manifest.size) * 100); + if (onProgress && percent !== lastReportedPercent) { + const elapsedMs = Math.max(1, now() - downloadStartedAt); + const bytesPerSecond = Math.round((downloadedBytes * 1000) / elapsedMs); + const etaSeconds = bytesPerSecond > 0 ? Math.ceil(Math.max(0, manifest.size - downloadedBytes) / bytesPerSecond) : null; + lastReportedPercent = percent; + onProgress({ stage: 'downloading', percent, bytesDownloaded: downloadedBytes, bytesTotal: manifest.size, bytesPerSecond, etaSeconds, attempt }); + await new Promise(resolve => setImmediate(resolve)); + } + } + signal.throwIfAborted(); + if (downloadedBytes !== manifest.size) { + const error = new Error('Heruntergeladene Datei ist unvollständig'); + error.retryable = true; + throw error; + } + fileBuffer = Buffer.concat(chunks); + } catch (error) { + signal.throwIfAborted(); + retry = timedOut || error.retryable === true || ['UND_ERR_SOCKET', 'ECONNRESET', 'ETIMEDOUT', 'EPIPE', 'UND_ERR_CONNECT_TIMEOUT', 'UND_ERR_BODY_TIMEOUT'].includes(error.cause?.code || error.code) || /^(terminated|fetch failed)$/i.test(error.message); + if (!retry) throw error; + if (attempt === 3) throw new Error('Update-Download nach 3 Versuchen unterbrochen. Bitte Verbindung prüfen oder den Installer manuell herunterladen.', { cause: error }); + } finally { + clearTimeout(stallTimer); + signal.removeEventListener('abort', onAbort); + downloadController.abort(); + if (reader) { + try { reader.releaseLock?.(); } catch {} + } } + if (!retry) break; + await delay(options.retryDelayMs ?? attempt * 1000, undefined, { signal }); } - - const fileBuffer = Buffer.concat(chunks); - if (fileBuffer.length !== manifest.size) { - throw new Error('Heruntergeladene Datei hat eine abweichende Größe'); - } + signal.throwIfAborted(); // Stage: verifying if (onProgress) onProgress({ stage: 'verifying', percent: 0 }); @@ -372,7 +389,7 @@ async function prepareUpdate(onProgress, options = {}) { if (onProgress) onProgress({ stage: signal.aborted ? 'aborted' : 'error', error: failure.message }); throw failure; } finally { - activeAbort = null; + if (activeAbort === controller) activeAbort = null; } } diff --git a/renderer/i18n.js b/renderer/i18n.js index 6150818..1387e2c 100644 --- a/renderer/i18n.js +++ b/renderer/i18n.js @@ -684,6 +684,8 @@ ['Prüfsummen-Metadaten gehören nicht zum ausgewählten Installer', 'Checksum metadata does not belong to the selected installer'], ['Prüfsummen-Metadaten enthalten eine abweichende Dateigröße', 'Checksum metadata contains a different file size'], ['Heruntergeladene Datei hat eine abweichende Größe', 'The downloaded file has a different size'], + ['Heruntergeladene Datei ist unvollständig', 'The downloaded file is incomplete'], + ['Update-Download nach 3 Versuchen unterbrochen. Bitte Verbindung prüfen oder den Installer manuell herunterladen.', 'Update download interrupted after 3 attempts. Check your connection or download the installer manually.'], ['Die installierte Anwendung ist nicht gültig digital signiert', 'The installed application is not validly digitally signed'], ['Download hängt — seit 45 s keine Daten (Netzwerk/Server überlastet). Bitte laufende Uploads stoppen und erneut versuchen.', 'The download stalled because no data was received for 45 seconds. Stop active uploads and try again.'], ['Datei nicht gefunden', 'File not found'], diff --git a/scripts/verify-public-release.mjs b/scripts/verify-public-release.mjs index 65ba332..73cd1ec 100644 --- a/scripts/verify-public-release.mjs +++ b/scripts/verify-public-release.mjs @@ -10,7 +10,6 @@ const publicActionsDir = `.${['git', 'hub'].join('')}`; const privateActionsDir = `.${['gi', 'tea'].join('')}`; const sourceFiles = [ '.gitignore', - 'PROJECT_MEMORY.md', 'README.md', 'SECURITY.md', 'assets/app_icon.ico',