Recover interrupted update downloads with bounded verified retries
CI / verify (push) Canceled after 0s
CI / verify (push) Canceled after 0s
This commit is contained in:
1 parent
2b1e01a0e8
commit
e9287545ee
5 files changed
+81
-128
No files matched your search
@@ -1,6 +1,7 @@
|
||||
node_modules/
|
||||
/tests/
|
||||
/services/backup-api/test/
|
||||
PROJECT_MEMORY.md
|
||||
.dev-runner.lock
|
||||
release/
|
||||
.artifacts/
|
||||
|
||||
@@ -1,66 +0,0 @@
|
||||
# Projekt-Memory
|
||||
|
||||
## Zweck
|
||||
|
||||
Multi-Hoster-Upload ist eine Electron-Desktopanwendung für Windows zum Hochladen von Dateien an mehrere Hoster. Diese Datei enthält ausschließlich öffentlich geeignete Projektinformationen. Zugangsdaten, persönliche Arbeitsumgebungen, konkrete Serverpfade, Sicherungsnachweise und Betriebsprotokolle gehören nicht in das Repository.
|
||||
|
||||
## Aktueller Zustand
|
||||
|
||||
- Veröffentlicht: Version `2.1.51`.
|
||||
- Einstiegspunkt: `main.js`; Oberfläche: `renderer/`; Fachlogik: `lib/`; optionaler Sicherungsdienst: `services/backup-api/`.
|
||||
- Version `2.1.50` enthält verbesserte Sicherungsmenüs, getrennte Online-Backup-Bereiche, einheitliche Automatik- und Log-Einstellungen sowie korrigierte Such- und Update-Anzeigen.
|
||||
- Ordnerüberwachung lässt sich unabhängig von ihrem Aktivierungszustand mit gespeicherten Regeln schreibgeschützt testen. Testscans starten keine Uploads und verändern keine laufende Überwachung.
|
||||
- Nach dem Release wurden ausschließlich Wartebedingungen zweier Electron-Tests korrigiert. Die Anwendungsversion bleibt unverändert.
|
||||
- Regressionstests sind in das private Repository `Multi-Hoster-Upload-Tests` ausgelagert. Beide privaten Remotes enthalten Desktop- und Backup-API-Tests. Öffentliche CI führt nur Lint, Abhängigkeitsprüfung und Build aus. Historische Commits und Tags bleiben unverändert.
|
||||
|
||||
## Entscheidungen
|
||||
|
||||
- DoodStream-Webaccounts verwenden ausdrücklich die Web-Sitzung; ein gespeicherter API-Key darf diese Auswahl nicht übersteuern. Parallele Accountchecks teilen ihre OTP-Anforderung.
|
||||
- Accountchecks melden einzelne Ergebnisse sofort an die Oberfläche.
|
||||
- Accountbezogene Speicherfehler führen zum nächsten verfügbaren Fallback-Account; vorübergehende Netzwerkfehler bleiben davon getrennt.
|
||||
- Hoster-Dateigrößenlimits werden in GB eingegeben und kompatibel im bestehenden MB-Format gespeichert. Zu große Dateien werden für den jeweiligen Hoster übersprungen.
|
||||
- Online-Backups sind clientseitig verschlüsselt. Neue Schlüssel sind standardmäßig unbegrenzt gültig; bestehende Ablaufdaten bleiben erhalten.
|
||||
- Wiederherstellungsschlüssel bleiben außerhalb des Repositorys und des Sicherungsdienstes. Datensatzformatänderungen benötigen einen datenerhaltenden Kompatibilitätsplan.
|
||||
- Backup-Importe übertragen Einstellungen; Warteschlange, Verlauf und laufzeitgebundene Zustände bleiben davon getrennt.
|
||||
- Nicht vorhandene Überwachungspfade bleiben gespeichert; die Überwachung wird bis zur Korrektur deaktiviert.
|
||||
- Erfolgreiche Uploads erhalten einen persistenten Abschlussnachweis. Bei einem Speicherfehler bleibt die Warteschlange erhalten, um unbeabsichtigte Wiederholungen zu vermeiden.
|
||||
- Dropdowns benötigen ausreichenden Pfeilabstand und müssen auch in schmalen Fenstern bedienbar bleiben. Kopierbare Inhalte und Eingabefelder behalten ihre Textauswahl.
|
||||
- Fokusringe erscheinen nur im Tastaturmodus (`html.keyboard-navigation`, gesetzt durch Tab oder Pfeiltasten in Menüs, entfernt durch Mausklick). Automatischer Fokus in Dialogen, Escape und Entf zeigen keinen Ring; Textfelder erhalten beim Fokus keinen farbigen Rahmen. Informationstexte sind nicht markierbar.
|
||||
- Beschreibungen zu Einstellungen stehen in Info-Tooltips (`.info-tip`), die fixiert positioniert werden und nicht von Containern abgeschnitten werden.
|
||||
- Meldungen erscheinen als Toast oben rechts mit Zustand `success`, `warning` oder `error`. Online-Backup-Erfolge und -Fehler laufen darüber; der Inline-Status zeigt nur laufende Vorgänge.
|
||||
- Die Content-Security-Policy bleibt bei `default-src 'self'`; Symbole daher per CSS statt Data-URI.
|
||||
- Update-Metadaten müssen zu den tatsächlich veröffentlichten Dateinamen, Größen und Prüfsummen passen. Versionsmeldungen zeigen gültige Veröffentlichungszeitpunkte in lokaler Gerätezeit.
|
||||
- Release-Changelogs sind auf GitHub englisch und auf Forgejo deutsch, bei inhaltlich gleichem Umfang.
|
||||
- Die aktive Arbeitslinie ist `master`; der zweite Remote verwendet `sync/github-master`. Eine getrennte ältere Historie darf nicht überschrieben werden.
|
||||
|
||||
## Start- und Testbefehle
|
||||
|
||||
Node.js 24 und die im Lockfile festgelegten Abhängigkeiten verwenden.
|
||||
|
||||
```powershell
|
||||
npm ci
|
||||
npm start
|
||||
npm run dev
|
||||
npm run verify
|
||||
```
|
||||
|
||||
Enthält der Projektpfad Shell-Sonderzeichen wie `&`, scheitern die npm-`.cmd`-Shims unter `cmd.exe`. Dann eine lokale, nicht versionierte `.npmrc` mit `script-shell=pwsh` anlegen (über `.git/info/exclude` ausschließen); danach funktionieren alle npm-Skripte.
|
||||
|
||||
## Bekannte Probleme und nächste Schritte
|
||||
|
||||
- Kleine Änderungen: Lint und private Testsuite lokal ausführen (der UI-Smoke läuft dabei unsichtbar offscreen mit), committen und pushen, ohne auf CI zu warten. Den privaten Remote-Lauf (`gh workflow run tests.yml --repo Sucukdeluxe/Multi-Hoster-Upload-Tests -f source_ref=<Commit>`, mit `-f ui_smoke=true` inklusive Electron-UI-Smoke) nur vor Releases oder nach größeren Umbauten starten und abwarten. Ein erfolgreicher öffentlicher Build ersetzt diesen Testlauf nicht. Lokale Ausführung ist in der privaten README dokumentiert.
|
||||
- Der DoodStream-Web-Upload funktioniert laut Nutzerrückmeldung vom 26.09.2026 wieder.
|
||||
- Anzeigefehler auf Windows Server über RDP (Inhalt versetzt, weiße Ränder, gelegentlich beim ersten Start): Nach dem Anzeigen wird einmal ein Neu-Layout erzwungen und `window-content: …` protokolliert. Wirksamkeit auf dem Server noch zu bestätigen.
|
||||
- Wird eine vollständig abgelehnte Dateiauswahl gemeldet, zeigt der Hinweis die Vorabprüfungsbilanz statt eines kurzen Duplikathinweises. Eine verständlichere Einzeldatei-Meldung wäre möglich.
|
||||
- Öffentliche Dokumentation auf Architektur, Verhalten und reproduzierbare Entwicklung beschränken. Keine betrieblichen Einzelfalldaten ergänzen.
|
||||
|
||||
## Zuletzt verifiziert
|
||||
|
||||
- Release `2.1.51` (26.09.2026, Tag auf `103139d`): 845 Haupttests einschließlich UI-Smoke lokal und auf dem Windows-Runner, 18 Servertests, Lint und Abhängigkeitsprüfung erfolgreich. Paketinhalt gegen Quellstand geprüft. Beide Plattformen mit je vier Dateien veröffentlicht; Downloads per Größe und SHA-512 bestätigt; der Updater erkennt 2.1.51 ausgehend von 2.1.50. Changelogs beginnen ohne Titelzeile direkt mit dem Einleitungssatz.
|
||||
- Stand: 22.09.2026.
|
||||
- Release `2.1.50`: 845 Haupttests und 18 Servertests erfolgreich; Lint und Abhängigkeitsprüfung erfolgreich. Installer, portable Anwendung und Update-Metadaten beider Plattformen einschließlich Download-Prüfsummen geprüft.
|
||||
- CI-Timingkorrektur: beide betroffenen Tests zehnmal hintereinander erfolgreich. Gesamte lokale Suite und GitHub-CI einschließlich Windows-Build erfolgreich. Tests warten mit Zeitlimit auf verarbeitete Eingaben beziehungsweise den angekommenen Dateikandidaten, ohne Zustandsprüfungen abzuschwächen.
|
||||
- Öffentliche Dokumentation von konkreten Betriebs-, Sicherungs- und Diagnosedetails bereinigt. Keine Anwendungscodeänderung und keine Umschreibung der Git-Historie; ältere Dokumentfassungen bleiben historisch erreichbar.
|
||||
- 26.09.2026: Das Recent-Panel wird zusätzlich neu begrenzt, wenn sich Höhen innerhalb der Warteschlangenansicht ändern (z. B. umbrechende Werkzeugleiste). Vorher konnte die Warteschlange bei kleinem Fenster auf 69 px schrumpfen. UI-Smoke lokal dreimal hintereinander mit 303/303 erfolgreich. CI-Actions auf `checkout@v7` und `setup-node@v7` (Node 24) umgestellt. `npm run verify` lokal mit `script-shell=pwsh` erfolgreich.
|
||||
- 26.09.2026 (UI-Überarbeitung, veröffentlicht als 2.1.51): Sprachwechsel mit 3.314 Verlaufseinträgen von 1,1–1,8 s auf 30–50 ms beschleunigt (gecachte Datumsformatierer, identische Ausgabe). Fokusringe, Textauswahl, Toasts, Online-Backup-Ablauf, Upload-Einstellungen, 14-Tage-Verlaufsoption und Diagnose-Adressfeld überarbeitet. 844 Haupttests, 18 Servertests und Lint erfolgreich; Darstellung per Offscreen-Screenshots bei 1100×750 und 820×560 geprüft.
|
||||
- 26.09.2026: Schließt sich der Update-Dialog ohne brauchbares Rücksprungziel, landet der Fokus auf dem Update-Button im Header statt auf einem ausgeblendeten Dialogbutton. Private Suite einschließlich UI-Smoke auf dem Windows-Runner zweimal gegen `bbc4a98` erfolgreich; öffentliche CI grün.
|
||||
+78
-61
@@ -1,6 +1,7 @@
|
||||
const fs = require('fs');
|
||||
const path = require('path');
|
||||
const crypto = require('crypto');
|
||||
const { setTimeout: delay } = require('node:timers/promises');
|
||||
const { app } = require('electron');
|
||||
|
||||
const UPDATE_REPO = 'Administrator/Multi-Hoster-Upload';
|
||||
@@ -239,8 +240,9 @@ function verifyExeHeader(buf) {
|
||||
|
||||
async function prepareUpdate(onProgress, options = {}) {
|
||||
if (activeAbort) activeAbort.abort();
|
||||
activeAbort = new AbortController();
|
||||
const signal = activeAbort.signal;
|
||||
const controller = new AbortController();
|
||||
activeAbort = controller;
|
||||
const signal = controller.signal;
|
||||
const fetchImpl = options.fetchImpl || fetch;
|
||||
const now = typeof options.now === 'function' ? options.now : Date.now;
|
||||
let stagedInstallerPath = '';
|
||||
@@ -273,68 +275,83 @@ async function prepareUpdate(onProgress, options = {}) {
|
||||
const tmpDir = options.tempDir || app.getPath('temp');
|
||||
const installerPath = path.join(tmpDir, check.assetName);
|
||||
|
||||
const res = await fetchImpl(check.assetUrl, {
|
||||
method: 'GET',
|
||||
signal,
|
||||
redirect: 'follow'
|
||||
});
|
||||
|
||||
if (!res.ok) {
|
||||
throw new Error(`Download fehlgeschlagen: HTTP ${res.status}`);
|
||||
}
|
||||
|
||||
const totalBytes = manifest.size;
|
||||
let downloadedBytes = 0;
|
||||
let lastReportedPercent = -1;
|
||||
const downloadStartedAt = now();
|
||||
const chunks = [];
|
||||
|
||||
const DOWNLOAD_STALL_MS = 45000;
|
||||
let stallTimer = null;
|
||||
const reader = res.body.getReader();
|
||||
while (true) {
|
||||
if (signal.aborted) throw new Error('Abgebrochen');
|
||||
let chunk;
|
||||
let fileBuffer;
|
||||
for (let attempt = 1; attempt <= 3; attempt++) {
|
||||
signal.throwIfAborted();
|
||||
const downloadController = new AbortController();
|
||||
const onAbort = () => downloadController.abort();
|
||||
signal.addEventListener('abort', onAbort, { once: true });
|
||||
let reader;
|
||||
let stallTimer;
|
||||
let timedOut = false;
|
||||
const resetDeadline = () => {
|
||||
clearTimeout(stallTimer);
|
||||
stallTimer = setTimeout(() => {
|
||||
timedOut = true;
|
||||
downloadController.abort();
|
||||
}, options.downloadStallMs ?? 45000);
|
||||
};
|
||||
let retry = false;
|
||||
try {
|
||||
chunk = await Promise.race([
|
||||
reader.read(),
|
||||
new Promise((_, reject) => { stallTimer = setTimeout(() => reject(new Error('__STALL__')), DOWNLOAD_STALL_MS); })
|
||||
]);
|
||||
} catch (e) {
|
||||
if (e && e.message === '__STALL__') {
|
||||
try { activeAbort.abort(); } catch {}
|
||||
throw new Error('Download hängt — seit 45 s keine Daten (Netzwerk/Server überlastet). Bitte laufende Uploads stoppen und erneut versuchen.');
|
||||
}
|
||||
throw e;
|
||||
} finally {
|
||||
if (stallTimer) { clearTimeout(stallTimer); stallTimer = null; }
|
||||
}
|
||||
const { done, value } = chunk;
|
||||
if (done) break;
|
||||
chunks.push(value);
|
||||
downloadedBytes += value.length;
|
||||
const percent = Math.max(0, Math.min(100, Math.floor((downloadedBytes / totalBytes) * 100)));
|
||||
if (onProgress && percent !== lastReportedPercent) {
|
||||
const elapsedMs = Math.max(1, now() - downloadStartedAt);
|
||||
const bytesPerSecond = Math.round((downloadedBytes * 1000) / elapsedMs);
|
||||
const etaSeconds = bytesPerSecond > 0 ? Math.ceil(Math.max(0, totalBytes - downloadedBytes) / bytesPerSecond) : null;
|
||||
lastReportedPercent = percent;
|
||||
onProgress({
|
||||
stage: 'downloading',
|
||||
percent,
|
||||
bytesDownloaded: downloadedBytes,
|
||||
bytesTotal: totalBytes,
|
||||
bytesPerSecond,
|
||||
etaSeconds
|
||||
resetDeadline();
|
||||
const res = await fetchImpl(check.assetUrl, {
|
||||
method: 'GET', signal: downloadController.signal, redirect: 'follow',
|
||||
cache: 'no-store', headers: { 'Cache-Control': 'no-cache', 'Accept-Encoding': 'identity' }
|
||||
});
|
||||
await new Promise(resolve => setImmediate(resolve));
|
||||
if (!res.ok) {
|
||||
const error = new Error(`Download fehlgeschlagen: HTTP ${res.status}`);
|
||||
error.retryable = [408, 429, 500, 502, 503, 504].includes(res.status);
|
||||
throw error;
|
||||
}
|
||||
reader = res.body.getReader();
|
||||
let downloadedBytes = 0;
|
||||
let lastReportedPercent = -1;
|
||||
const downloadStartedAt = now();
|
||||
const chunks = [];
|
||||
if (attempt > 1 && onProgress) onProgress({ stage: 'downloading', percent: 0, bytesDownloaded: 0, bytesTotal: manifest.size, bytesPerSecond: 0, etaSeconds: null, attempt });
|
||||
while (true) {
|
||||
signal.throwIfAborted();
|
||||
resetDeadline();
|
||||
const { done, value } = await reader.read();
|
||||
clearTimeout(stallTimer);
|
||||
if (done) break;
|
||||
downloadedBytes += value.length;
|
||||
if (downloadedBytes > manifest.size) throw new Error('Heruntergeladene Datei hat eine abweichende Größe');
|
||||
chunks.push(value);
|
||||
const percent = Math.floor((downloadedBytes / manifest.size) * 100);
|
||||
if (onProgress && percent !== lastReportedPercent) {
|
||||
const elapsedMs = Math.max(1, now() - downloadStartedAt);
|
||||
const bytesPerSecond = Math.round((downloadedBytes * 1000) / elapsedMs);
|
||||
const etaSeconds = bytesPerSecond > 0 ? Math.ceil(Math.max(0, manifest.size - downloadedBytes) / bytesPerSecond) : null;
|
||||
lastReportedPercent = percent;
|
||||
onProgress({ stage: 'downloading', percent, bytesDownloaded: downloadedBytes, bytesTotal: manifest.size, bytesPerSecond, etaSeconds, attempt });
|
||||
await new Promise(resolve => setImmediate(resolve));
|
||||
}
|
||||
}
|
||||
signal.throwIfAborted();
|
||||
if (downloadedBytes !== manifest.size) {
|
||||
const error = new Error('Heruntergeladene Datei ist unvollständig');
|
||||
error.retryable = true;
|
||||
throw error;
|
||||
}
|
||||
fileBuffer = Buffer.concat(chunks);
|
||||
} catch (error) {
|
||||
signal.throwIfAborted();
|
||||
retry = timedOut || error.retryable === true || ['UND_ERR_SOCKET', 'ECONNRESET', 'ETIMEDOUT', 'EPIPE', 'UND_ERR_CONNECT_TIMEOUT', 'UND_ERR_BODY_TIMEOUT'].includes(error.cause?.code || error.code) || /^(terminated|fetch failed)$/i.test(error.message);
|
||||
if (!retry) throw error;
|
||||
if (attempt === 3) throw new Error('Update-Download nach 3 Versuchen unterbrochen. Bitte Verbindung prüfen oder den Installer manuell herunterladen.', { cause: error });
|
||||
} finally {
|
||||
clearTimeout(stallTimer);
|
||||
signal.removeEventListener('abort', onAbort);
|
||||
downloadController.abort();
|
||||
if (reader) {
|
||||
try { reader.releaseLock?.(); } catch {}
|
||||
}
|
||||
}
|
||||
if (!retry) break;
|
||||
await delay(options.retryDelayMs ?? attempt * 1000, undefined, { signal });
|
||||
}
|
||||
|
||||
const fileBuffer = Buffer.concat(chunks);
|
||||
if (fileBuffer.length !== manifest.size) {
|
||||
throw new Error('Heruntergeladene Datei hat eine abweichende Größe');
|
||||
}
|
||||
signal.throwIfAborted();
|
||||
|
||||
// Stage: verifying
|
||||
if (onProgress) onProgress({ stage: 'verifying', percent: 0 });
|
||||
@@ -372,7 +389,7 @@ async function prepareUpdate(onProgress, options = {}) {
|
||||
if (onProgress) onProgress({ stage: signal.aborted ? 'aborted' : 'error', error: failure.message });
|
||||
throw failure;
|
||||
} finally {
|
||||
activeAbort = null;
|
||||
if (activeAbort === controller) activeAbort = null;
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
@@ -684,6 +684,8 @@
|
||||
['Prüfsummen-Metadaten gehören nicht zum ausgewählten Installer', 'Checksum metadata does not belong to the selected installer'],
|
||||
['Prüfsummen-Metadaten enthalten eine abweichende Dateigröße', 'Checksum metadata contains a different file size'],
|
||||
['Heruntergeladene Datei hat eine abweichende Größe', 'The downloaded file has a different size'],
|
||||
['Heruntergeladene Datei ist unvollständig', 'The downloaded file is incomplete'],
|
||||
['Update-Download nach 3 Versuchen unterbrochen. Bitte Verbindung prüfen oder den Installer manuell herunterladen.', 'Update download interrupted after 3 attempts. Check your connection or download the installer manually.'],
|
||||
['Die installierte Anwendung ist nicht gültig digital signiert', 'The installed application is not validly digitally signed'],
|
||||
['Download hängt — seit 45 s keine Daten (Netzwerk/Server überlastet). Bitte laufende Uploads stoppen und erneut versuchen.', 'The download stalled because no data was received for 45 seconds. Stop active uploads and try again.'],
|
||||
['Datei nicht gefunden', 'File not found'],
|
||||
|
||||
@@ -10,7 +10,6 @@ const publicActionsDir = `.${['git', 'hub'].join('')}`;
|
||||
const privateActionsDir = `.${['gi', 'tea'].join('')}`;
|
||||
const sourceFiles = [
|
||||
'.gitignore',
|
||||
'PROJECT_MEMORY.md',
|
||||
'README.md',
|
||||
'SECURITY.md',
|
||||
'assets/app_icon.ico',
|
||||
|
||||
Reference in new issue
Block a user