Recover interrupted update downloads with bounded verified retries
CI / verify (push) Canceled after 0s

This commit is contained in:
Sucukdeluxe committed 2026-09-29 04:19:15 +02:00
1 parent 2b1e01a0e8
commit e9287545ee
5 files changed
+81 -128

No files matched your search

+1
View File
@@ -1,6 +1,7 @@
node_modules/
/tests/
/services/backup-api/test/
PROJECT_MEMORY.md
.dev-runner.lock
release/
.artifacts/
-66
View File
@@ -1,66 +0,0 @@
# Projekt-Memory
## Zweck
Multi-Hoster-Upload ist eine Electron-Desktopanwendung für Windows zum Hochladen von Dateien an mehrere Hoster. Diese Datei enthält ausschließlich öffentlich geeignete Projektinformationen. Zugangsdaten, persönliche Arbeitsumgebungen, konkrete Serverpfade, Sicherungsnachweise und Betriebsprotokolle gehören nicht in das Repository.
## Aktueller Zustand
- Veröffentlicht: Version `2.1.51`.
- Einstiegspunkt: `main.js`; Oberfläche: `renderer/`; Fachlogik: `lib/`; optionaler Sicherungsdienst: `services/backup-api/`.
- Version `2.1.50` enthält verbesserte Sicherungsmenüs, getrennte Online-Backup-Bereiche, einheitliche Automatik- und Log-Einstellungen sowie korrigierte Such- und Update-Anzeigen.
- Ordnerüberwachung lässt sich unabhängig von ihrem Aktivierungszustand mit gespeicherten Regeln schreibgeschützt testen. Testscans starten keine Uploads und verändern keine laufende Überwachung.
- Nach dem Release wurden ausschließlich Wartebedingungen zweier Electron-Tests korrigiert. Die Anwendungsversion bleibt unverändert.
- Regressionstests sind in das private Repository `Multi-Hoster-Upload-Tests` ausgelagert. Beide privaten Remotes enthalten Desktop- und Backup-API-Tests. Öffentliche CI führt nur Lint, Abhängigkeitsprüfung und Build aus. Historische Commits und Tags bleiben unverändert.
## Entscheidungen
- DoodStream-Webaccounts verwenden ausdrücklich die Web-Sitzung; ein gespeicherter API-Key darf diese Auswahl nicht übersteuern. Parallele Accountchecks teilen ihre OTP-Anforderung.
- Accountchecks melden einzelne Ergebnisse sofort an die Oberfläche.
- Accountbezogene Speicherfehler führen zum nächsten verfügbaren Fallback-Account; vorübergehende Netzwerkfehler bleiben davon getrennt.
- Hoster-Dateigrößenlimits werden in GB eingegeben und kompatibel im bestehenden MB-Format gespeichert. Zu große Dateien werden für den jeweiligen Hoster übersprungen.
- Online-Backups sind clientseitig verschlüsselt. Neue Schlüssel sind standardmäßig unbegrenzt gültig; bestehende Ablaufdaten bleiben erhalten.
- Wiederherstellungsschlüssel bleiben außerhalb des Repositorys und des Sicherungsdienstes. Datensatzformatänderungen benötigen einen datenerhaltenden Kompatibilitätsplan.
- Backup-Importe übertragen Einstellungen; Warteschlange, Verlauf und laufzeitgebundene Zustände bleiben davon getrennt.
- Nicht vorhandene Überwachungspfade bleiben gespeichert; die Überwachung wird bis zur Korrektur deaktiviert.
- Erfolgreiche Uploads erhalten einen persistenten Abschlussnachweis. Bei einem Speicherfehler bleibt die Warteschlange erhalten, um unbeabsichtigte Wiederholungen zu vermeiden.
- Dropdowns benötigen ausreichenden Pfeilabstand und müssen auch in schmalen Fenstern bedienbar bleiben. Kopierbare Inhalte und Eingabefelder behalten ihre Textauswahl.
- Fokusringe erscheinen nur im Tastaturmodus (`html.keyboard-navigation`, gesetzt durch Tab oder Pfeiltasten in Menüs, entfernt durch Mausklick). Automatischer Fokus in Dialogen, Escape und Entf zeigen keinen Ring; Textfelder erhalten beim Fokus keinen farbigen Rahmen. Informationstexte sind nicht markierbar.
- Beschreibungen zu Einstellungen stehen in Info-Tooltips (`.info-tip`), die fixiert positioniert werden und nicht von Containern abgeschnitten werden.
- Meldungen erscheinen als Toast oben rechts mit Zustand `success`, `warning` oder `error`. Online-Backup-Erfolge und -Fehler laufen darüber; der Inline-Status zeigt nur laufende Vorgänge.
- Die Content-Security-Policy bleibt bei `default-src 'self'`; Symbole daher per CSS statt Data-URI.
- Update-Metadaten müssen zu den tatsächlich veröffentlichten Dateinamen, Größen und Prüfsummen passen. Versionsmeldungen zeigen gültige Veröffentlichungszeitpunkte in lokaler Gerätezeit.
- Release-Changelogs sind auf GitHub englisch und auf Forgejo deutsch, bei inhaltlich gleichem Umfang.
- Die aktive Arbeitslinie ist `master`; der zweite Remote verwendet `sync/github-master`. Eine getrennte ältere Historie darf nicht überschrieben werden.
## Start- und Testbefehle
Node.js 24 und die im Lockfile festgelegten Abhängigkeiten verwenden.
```powershell
npm ci
npm start
npm run dev
npm run verify
```
Enthält der Projektpfad Shell-Sonderzeichen wie `&`, scheitern die npm-`.cmd`-Shims unter `cmd.exe`. Dann eine lokale, nicht versionierte `.npmrc` mit `script-shell=pwsh` anlegen (über `.git/info/exclude` ausschließen); danach funktionieren alle npm-Skripte.
## Bekannte Probleme und nächste Schritte
- Kleine Änderungen: Lint und private Testsuite lokal ausführen (der UI-Smoke läuft dabei unsichtbar offscreen mit), committen und pushen, ohne auf CI zu warten. Den privaten Remote-Lauf (`gh workflow run tests.yml --repo Sucukdeluxe/Multi-Hoster-Upload-Tests -f source_ref=<Commit>`, mit `-f ui_smoke=true` inklusive Electron-UI-Smoke) nur vor Releases oder nach größeren Umbauten starten und abwarten. Ein erfolgreicher öffentlicher Build ersetzt diesen Testlauf nicht. Lokale Ausführung ist in der privaten README dokumentiert.
- Der DoodStream-Web-Upload funktioniert laut Nutzerrückmeldung vom 26.09.2026 wieder.
- Anzeigefehler auf Windows Server über RDP (Inhalt versetzt, weiße Ränder, gelegentlich beim ersten Start): Nach dem Anzeigen wird einmal ein Neu-Layout erzwungen und `window-content: …` protokolliert. Wirksamkeit auf dem Server noch zu bestätigen.
- Wird eine vollständig abgelehnte Dateiauswahl gemeldet, zeigt der Hinweis die Vorabprüfungsbilanz statt eines kurzen Duplikathinweises. Eine verständlichere Einzeldatei-Meldung wäre möglich.
- Öffentliche Dokumentation auf Architektur, Verhalten und reproduzierbare Entwicklung beschränken. Keine betrieblichen Einzelfalldaten ergänzen.
## Zuletzt verifiziert
- Release `2.1.51` (26.09.2026, Tag auf `103139d`): 845 Haupttests einschließlich UI-Smoke lokal und auf dem Windows-Runner, 18 Servertests, Lint und Abhängigkeitsprüfung erfolgreich. Paketinhalt gegen Quellstand geprüft. Beide Plattformen mit je vier Dateien veröffentlicht; Downloads per Größe und SHA-512 bestätigt; der Updater erkennt 2.1.51 ausgehend von 2.1.50. Changelogs beginnen ohne Titelzeile direkt mit dem Einleitungssatz.
- Stand: 22.09.2026.
- Release `2.1.50`: 845 Haupttests und 18 Servertests erfolgreich; Lint und Abhängigkeitsprüfung erfolgreich. Installer, portable Anwendung und Update-Metadaten beider Plattformen einschließlich Download-Prüfsummen geprüft.
- CI-Timingkorrektur: beide betroffenen Tests zehnmal hintereinander erfolgreich. Gesamte lokale Suite und GitHub-CI einschließlich Windows-Build erfolgreich. Tests warten mit Zeitlimit auf verarbeitete Eingaben beziehungsweise den angekommenen Dateikandidaten, ohne Zustandsprüfungen abzuschwächen.
- Öffentliche Dokumentation von konkreten Betriebs-, Sicherungs- und Diagnosedetails bereinigt. Keine Anwendungscodeänderung und keine Umschreibung der Git-Historie; ältere Dokumentfassungen bleiben historisch erreichbar.
- 26.09.2026: Das Recent-Panel wird zusätzlich neu begrenzt, wenn sich Höhen innerhalb der Warteschlangenansicht ändern (z. B. umbrechende Werkzeugleiste). Vorher konnte die Warteschlange bei kleinem Fenster auf 69 px schrumpfen. UI-Smoke lokal dreimal hintereinander mit 303/303 erfolgreich. CI-Actions auf `checkout@v7` und `setup-node@v7` (Node 24) umgestellt. `npm run verify` lokal mit `script-shell=pwsh` erfolgreich.
- 26.09.2026 (UI-Überarbeitung, veröffentlicht als 2.1.51): Sprachwechsel mit 3.314 Verlaufseinträgen von 1,1–1,8 s auf 30–50 ms beschleunigt (gecachte Datumsformatierer, identische Ausgabe). Fokusringe, Textauswahl, Toasts, Online-Backup-Ablauf, Upload-Einstellungen, 14-Tage-Verlaufsoption und Diagnose-Adressfeld überarbeitet. 844 Haupttests, 18 Servertests und Lint erfolgreich; Darstellung per Offscreen-Screenshots bei 1100×750 und 820×560 geprüft.
- 26.09.2026: Schließt sich der Update-Dialog ohne brauchbares Rücksprungziel, landet der Fokus auf dem Update-Button im Header statt auf einem ausgeblendeten Dialogbutton. Private Suite einschließlich UI-Smoke auf dem Windows-Runner zweimal gegen `bbc4a98` erfolgreich; öffentliche CI grün.
+78 -61
View File
@@ -1,6 +1,7 @@
const fs = require('fs');
const path = require('path');
const crypto = require('crypto');
const { setTimeout: delay } = require('node:timers/promises');
const { app } = require('electron');
const UPDATE_REPO = 'Administrator/Multi-Hoster-Upload';
@@ -239,8 +240,9 @@ function verifyExeHeader(buf) {
async function prepareUpdate(onProgress, options = {}) {
if (activeAbort) activeAbort.abort();
activeAbort = new AbortController();
const signal = activeAbort.signal;
const controller = new AbortController();
activeAbort = controller;
const signal = controller.signal;
const fetchImpl = options.fetchImpl || fetch;
const now = typeof options.now === 'function' ? options.now : Date.now;
let stagedInstallerPath = '';
@@ -273,68 +275,83 @@ async function prepareUpdate(onProgress, options = {}) {
const tmpDir = options.tempDir || app.getPath('temp');
const installerPath = path.join(tmpDir, check.assetName);
const res = await fetchImpl(check.assetUrl, {
method: 'GET',
signal,
redirect: 'follow'
});
if (!res.ok) {
throw new Error(`Download fehlgeschlagen: HTTP ${res.status}`);
}
const totalBytes = manifest.size;
let downloadedBytes = 0;
let lastReportedPercent = -1;
const downloadStartedAt = now();
const chunks = [];
const DOWNLOAD_STALL_MS = 45000;
let stallTimer = null;
const reader = res.body.getReader();
while (true) {
if (signal.aborted) throw new Error('Abgebrochen');
let chunk;
let fileBuffer;
for (let attempt = 1; attempt <= 3; attempt++) {
signal.throwIfAborted();
const downloadController = new AbortController();
const onAbort = () => downloadController.abort();
signal.addEventListener('abort', onAbort, { once: true });
let reader;
let stallTimer;
let timedOut = false;
const resetDeadline = () => {
clearTimeout(stallTimer);
stallTimer = setTimeout(() => {
timedOut = true;
downloadController.abort();
}, options.downloadStallMs ?? 45000);
};
let retry = false;
try {
chunk = await Promise.race([
reader.read(),
new Promise((_, reject) => { stallTimer = setTimeout(() => reject(new Error('__STALL__')), DOWNLOAD_STALL_MS); })
]);
} catch (e) {
if (e && e.message === '__STALL__') {
try { activeAbort.abort(); } catch {}
throw new Error('Download hängt — seit 45 s keine Daten (Netzwerk/Server überlastet). Bitte laufende Uploads stoppen und erneut versuchen.');
}
throw e;
} finally {
if (stallTimer) { clearTimeout(stallTimer); stallTimer = null; }
}
const { done, value } = chunk;
if (done) break;
chunks.push(value);
downloadedBytes += value.length;
const percent = Math.max(0, Math.min(100, Math.floor((downloadedBytes / totalBytes) * 100)));
if (onProgress && percent !== lastReportedPercent) {
const elapsedMs = Math.max(1, now() - downloadStartedAt);
const bytesPerSecond = Math.round((downloadedBytes * 1000) / elapsedMs);
const etaSeconds = bytesPerSecond > 0 ? Math.ceil(Math.max(0, totalBytes - downloadedBytes) / bytesPerSecond) : null;
lastReportedPercent = percent;
onProgress({
stage: 'downloading',
percent,
bytesDownloaded: downloadedBytes,
bytesTotal: totalBytes,
bytesPerSecond,
etaSeconds
resetDeadline();
const res = await fetchImpl(check.assetUrl, {
method: 'GET', signal: downloadController.signal, redirect: 'follow',
cache: 'no-store', headers: { 'Cache-Control': 'no-cache', 'Accept-Encoding': 'identity' }
});
await new Promise(resolve => setImmediate(resolve));
if (!res.ok) {
const error = new Error(`Download fehlgeschlagen: HTTP ${res.status}`);
error.retryable = [408, 429, 500, 502, 503, 504].includes(res.status);
throw error;
}
reader = res.body.getReader();
let downloadedBytes = 0;
let lastReportedPercent = -1;
const downloadStartedAt = now();
const chunks = [];
if (attempt > 1 && onProgress) onProgress({ stage: 'downloading', percent: 0, bytesDownloaded: 0, bytesTotal: manifest.size, bytesPerSecond: 0, etaSeconds: null, attempt });
while (true) {
signal.throwIfAborted();
resetDeadline();
const { done, value } = await reader.read();
clearTimeout(stallTimer);
if (done) break;
downloadedBytes += value.length;
if (downloadedBytes > manifest.size) throw new Error('Heruntergeladene Datei hat eine abweichende Größe');
chunks.push(value);
const percent = Math.floor((downloadedBytes / manifest.size) * 100);
if (onProgress && percent !== lastReportedPercent) {
const elapsedMs = Math.max(1, now() - downloadStartedAt);
const bytesPerSecond = Math.round((downloadedBytes * 1000) / elapsedMs);
const etaSeconds = bytesPerSecond > 0 ? Math.ceil(Math.max(0, manifest.size - downloadedBytes) / bytesPerSecond) : null;
lastReportedPercent = percent;
onProgress({ stage: 'downloading', percent, bytesDownloaded: downloadedBytes, bytesTotal: manifest.size, bytesPerSecond, etaSeconds, attempt });
await new Promise(resolve => setImmediate(resolve));
}
}
signal.throwIfAborted();
if (downloadedBytes !== manifest.size) {
const error = new Error('Heruntergeladene Datei ist unvollständig');
error.retryable = true;
throw error;
}
fileBuffer = Buffer.concat(chunks);
} catch (error) {
signal.throwIfAborted();
retry = timedOut || error.retryable === true || ['UND_ERR_SOCKET', 'ECONNRESET', 'ETIMEDOUT', 'EPIPE', 'UND_ERR_CONNECT_TIMEOUT', 'UND_ERR_BODY_TIMEOUT'].includes(error.cause?.code || error.code) || /^(terminated|fetch failed)$/i.test(error.message);
if (!retry) throw error;
if (attempt === 3) throw new Error('Update-Download nach 3 Versuchen unterbrochen. Bitte Verbindung prüfen oder den Installer manuell herunterladen.', { cause: error });
} finally {
clearTimeout(stallTimer);
signal.removeEventListener('abort', onAbort);
downloadController.abort();
if (reader) {
try { reader.releaseLock?.(); } catch {}
}
}
if (!retry) break;
await delay(options.retryDelayMs ?? attempt * 1000, undefined, { signal });
}
const fileBuffer = Buffer.concat(chunks);
if (fileBuffer.length !== manifest.size) {
throw new Error('Heruntergeladene Datei hat eine abweichende Größe');
}
signal.throwIfAborted();
// Stage: verifying
if (onProgress) onProgress({ stage: 'verifying', percent: 0 });
@@ -372,7 +389,7 @@ async function prepareUpdate(onProgress, options = {}) {
if (onProgress) onProgress({ stage: signal.aborted ? 'aborted' : 'error', error: failure.message });
throw failure;
} finally {
activeAbort = null;
if (activeAbort === controller) activeAbort = null;
}
}
+2
View File
@@ -684,6 +684,8 @@
['Prüfsummen-Metadaten gehören nicht zum ausgewählten Installer', 'Checksum metadata does not belong to the selected installer'],
['Prüfsummen-Metadaten enthalten eine abweichende Dateigröße', 'Checksum metadata contains a different file size'],
['Heruntergeladene Datei hat eine abweichende Größe', 'The downloaded file has a different size'],
['Heruntergeladene Datei ist unvollständig', 'The downloaded file is incomplete'],
['Update-Download nach 3 Versuchen unterbrochen. Bitte Verbindung prüfen oder den Installer manuell herunterladen.', 'Update download interrupted after 3 attempts. Check your connection or download the installer manually.'],
['Die installierte Anwendung ist nicht gültig digital signiert', 'The installed application is not validly digitally signed'],
['Download hängt — seit 45 s keine Daten (Netzwerk/Server überlastet). Bitte laufende Uploads stoppen und erneut versuchen.', 'The download stalled because no data was received for 45 seconds. Stop active uploads and try again.'],
['Datei nicht gefunden', 'File not found'],
-1
View File
@@ -10,7 +10,6 @@ const publicActionsDir = `.${['git', 'hub'].join('')}`;
const privateActionsDir = `.${['gi', 'tea'].join('')}`;
const sourceFiles = [
'.gitignore',
'PROJECT_MEMORY.md',
'README.md',
'SECURITY.md',
'assets/app_icon.ico',