pdf-ocr-hotfolder/CHANGELOG.md

# Changelog

## [0.5.0] - 2026-09-22

### Added
- Der Installer weist einen Archiv-Pfad ab, der auf `incoming/`, `outgoing/`,
  `working/` oder `error/` der Instanz zeigt — im Eingang wuerde das Original
  sonst endlos neu aufgegriffen.
- **`install.sh` fragt beim Anlegen einer Instanz die OCR-Sprachen ab**
  (`Tesseract-Sprachen [deu+eng]:`). Die Wahl gilt bewusst **pro Instanz** —
  ein Hotfolder `buchhaltung` kann mit `deu` laufen, ein Hotfolder `export` mit
  `deu+eng+fra`. Der Installer weist vorher darauf hin, dass jede zusaetzliche
  Sprache Laufzeit **und** Erkennungsqualitaet kostet, die Liste also eng
  gehalten werden sollte. Das Eingabeformat wird geprueft (Sprachcodes mit `+`
  verbunden, `chi_sim` & Co. erlaubt); bei Unsinn wird erneut gefragt statt
  abzubrechen.
- **Sprachpakete werden nachinstalliert.** Jeder eingegebene Code wird gegen
  `tesseract --list-langs` geprueft. Fehlt eine Sprachdatei, bietet der
  Installer das passende apt-Paket an (`tesseract-ocr-<code>`, Unterstrich wird
  zum Bindestrich: `chi_sim` → `tesseract-ocr-chi-sim`). Lehnt der User ab oder
  laesst sich das Paket nicht installieren, warnt der Installer, dass OCR mit
  dieser Sprache **bei jeder Datei** scheitern wuerde, und fragt die Sprachen
  erneut ab — so kann die Sprache einfach wieder rausgeworfen werden. Ist
  `tesseract` nicht aufrufbar, wird die Pruefung uebersprungen und die Eingabe
  unveraendert uebernommen.
- **Abfrage `Original nach erfolgreichem OCR archivieren? [j/N]:`** — Default
  nein, also weiterhin `original_on_success = "delete"`. Bei ja wird der
  Archiv-Pfad abgefragt (Vorschlag `<basis>/archive`), angelegt und auf den
  Service-User gechownt; ein Archiv ausserhalb des Instanz-Basis-Pfads bekommt
  ein eigenes `chown -R`.

### Changed
- Die Instanz-Config wird weiterhin per `sed` aus `config.example.toml`
  erzeugt, substituiert jetzt aber zusaetzlich `[ocr].languages`,
  `[output].original_on_success` und `[output].archive_dir` — bisher waren das
  die Beispiel-Defaults, `archive_dir` musste von Hand nachgetragen werden.
  Die Ausdruecke sind am Zeilenanfang verankert (`^key[[:space:]]*=`), damit die
  deutschen Kommentarzeilen ueber den Keys unangetastet bleiben, und
  Pfad-Variablen laufen durch `sed_escape_repl()` (maskiert `\`, `&`, `|`) —
  Pfade mit Sonderzeichen landen damit korrekt in der Config.
- Nach dem sed-Lauf liest der Installer die drei Keys aus der erzeugten Config
  zurueck und vergleicht sie mit der Eingabe. Erst wenn das passt, nennt die
  Abschluss-Zusammenfassung zusaetzlich die gewaehlten **Sprachen** und (bei
  Archivierung) das **Archiv-Verzeichnis**; sonst gibt es eine Warnung.

## [0.4.1] - 2026-09-22

### Fixed
- **veraPDF-FAIL hat das Original immer gelöscht.** Schlug die PDF/A-Validierung
  fehl, wanderte das OCR-Ergebnis nach `error/` und das Original wurde per
  `unlink()` entfernt — unabhängig von `[output].original_on_success`. Wer
  `archive` konfiguriert hatte, verlor die Datei also ausgerechnet im
  Fehlerfall. Der FAIL-Pfad nutzt jetzt dieselbe `_dispose_original()`-Logik
  wie der Erfolgsfall: `archive` legt das Original samt
  Timestamp-Kollisionsschutz im `archive_dir` ab, `delete` verhält sich wie
  bisher. Die Log-Meldung nennt jetzt beides — wohin das OCR-Ergebnis ging und
  was mit dem Original passiert ist.

### Removed
- Das nie benutzte Logverzeichnis `/var/log/pdf-ocr-hotfolder/` wird nicht mehr
  vom Installer angelegt und ist aus README und Briefing entfernt. Es hat nie
  ein Logfile enthalten: `_setup_logging()` nutzt `logging.basicConfig()` ohne
  FileHandler, der Dienst loggt nach stdout → journald. **journald ist damit die
  einzige Log-Quelle** (`journalctl -u pdf-ocr-hotfolder@<instanz> -f`).
  Weder Installer noch Updater fassen das Verzeichnis an: ein vorhandenes,
  leeres `/var/log/pdf-ocr-hotfolder/` kann auf bestehenden Installationen
  gefahrlos von Hand entfernt werden (`sudo rmdir /var/log/pdf-ocr-hotfolder`).

### Added
- 3 neue Tests für den veraPDF-FAIL-Pfad (`delete`, `archive`,
  Archiv-Namenskollision); veraPDF wird dabei gemockt. Suite jetzt 95 Tests.

## [0.4.0] - 2026-09-22

### Added
- `[ocr].timeout` ist jetzt wirksam: der Wert wird als `tesseract_timeout`
  (Sekunden pro Seite) an ocrmypdf durchgereicht. Bisher war der Key zwar
  dokumentiert, wurde aber nirgends gelesen.
- `check_output_config()` validiert zusätzlich `[output].name_mode`. Ein Tippfehler
  führt jetzt beim Start zum Abbruch mit Exit-Code 2, statt erst pro Datei
  zuzuschlagen — und zwar bisher **nach** dem Verschieben nach `working/`,
  wo die Datei dann liegen blieb.
- Neue Exception `ConfigError` in `pdf_ocr_hotfolder.config` — fehlende
  `[paths]`-Sektion oder ein fehlender Pfad-Eintrag liefern eine deutsche
  Fehlermeldung mit Datei- und Key-Nennung statt eines nackten `KeyError`-Tracebacks.
  Die CLI bricht damit sauber mit Exit-Code 2 ab.
- `pytest.ini` mit `testpaths = tests`, damit `pytest` aus dem Repo-Root läuft.
- 35 neue Tests: Fehlerzählung (Exception, Upload, Stabilitäts-Timeout),
  Config-Fehlermeldungen, `tesseract_timeout`-Durchreichung (ocrmypdf gemockt)
  und `upload_folder()`.

### Changed
- **`[ocr].timeout` hat eine neue Bedeutung — für bestehende Installationen relevant!**
  Der Wert ist kein (nie implementiertes) Gesamt-Timeout pro PDF mehr, sondern
  das Limit **pro Seite** für Tesseract. Der Default sinkt entsprechend von
  `1800` auf `300`. Wer den alten Wert `1800` in seiner `config.toml` stehen hat,
  gibt Tesseract damit 30 Minuten **je Seite** — bitte auf einen Seiten-Wert
  anpassen (Richtwert 300).
  `0` bedeutet "kein eigenes Limit": der Wert wird dann gar nicht erst
  durchgereicht, weil ocrmypdf `tesseract_timeout=0` als "OCR komplett
  überspringen" interpretiert.
- `_dispatch_uploads()` liefert jetzt die Namen der fehlgeschlagenen Upload-Ziele
  zurück; die doppelte `enabled`-Prüfung (Service + Uploader) ist entfallen —
  die Uploader prüfen das selbst.
- `upload_folder()` kopiert mit `shutil.copyfile()` statt
  `read_bytes()`/`write_bytes()` — große PDFs landen nicht mehr komplett im
  Speicher. Die Selbst-Ziel-Erkennung bleibt unverändert.

### Fixed
- `OcrConfig.pdfa_level` hatte im Code noch den Default `"2"`, obwohl
  `config.example.toml` seit 0.2.2 bewusst `""` setzt (Ghostscript-Bug, Issue #3).
  Eine Config ohne `[ocr]`-Sektion bzw. ohne den Key lief damit ungewollt in
  PDF/A. Default im Code jetzt ebenfalls `""`.
- Eine Exception **nach** dem OCR (z.B. ein fehlgeschlagener
  `shutil.move()` nach `outgoing/`) wurde nur im Worker-Callback geloggt.
  `error_count` blieb 0 und `--once` lieferte trotz Fehlschlag Exit-Code 0.
  Jede Exception aus `process_pdf()` zählt jetzt als Fehler, wird geloggt,
  löst eine Fehler-Mail aus und die Datei wandert — soweit noch auffindbar
  (`incoming/` oder `working/`) — nach `error/`.
- Fehlgeschlagene Uploads waren folgenlos: die Rückgabewerte der Uploader wurden
  verworfen, es ging sogar eine Erfolgs-Mail raus. Jetzt zählt mindestens ein
  fehlgeschlagenes Ziel als Fehler und die E-Mail geht als **FEHLER** raus, mit
  Nennung der betroffenen Ziele. Das OCR-PDF bleibt bewusst in `outgoing/`
  liegen (das OCR selbst war ja erfolgreich) — das steht so auch im Log.
- Lief der Stabilitäts-Check einer Datei in den 60-Sekunden-Timeout, gab es nur
  ein `log.warning`; `--once` meldete Exit-Code 0. Jetzt `log.error` +
  `error_count`. Die Datei bleibt bewusst in `incoming/` liegen und wird beim
  nächsten Lauf erneut versucht. Eine zwischenzeitlich *verschwundene* Datei
  wird davon unterschieden und zählt weiterhin nicht als Fehler.

## [0.3.1] - 2026-04-10

### Fixed
- **Issue #4**: LXC/Container-Kompatibilität — systemd-Hardening (`PrivateTmp`, `ProtectSystem`, etc.)
  verursacht Error 226/NAMESPACE in LXC-Containern. Installer erkennt Container-Umgebung automatisch
  und bietet ein Drop-in an. Zusätzlich liegt `systemd/lxc-compat.conf` als Vorlage im Repo.
- **Issue #5**: `WorkingDirectory=/opt/pdf-ocr-hotfolder` in der systemd Template-Unit ergänzt —
  ohne diesen Eintrag konnte das Python-Modul nicht gefunden werden.
- **Issue #6**: Auf Debian 12 bietet der Installer bei betroffenen Ghostscript-Versionen (10.0.0–10.02.0)
  jetzt automatisch an, bookworm-backports zu aktivieren und GS zu upgraden (statt nur zu warnen).

## [0.3.0] - 2026-04-09

### Added
- Neue Config-Sektion `[output]` mit:
  - `name_mode` — Platzierung des Tags im Dateinamen: `"prefix"`, `"suffix"` (vor Extension), `"none"`
  - `name_tag` — verbatim einzufügender String, z.B. `"OCR_"` oder `"_OCR"`
  - `original_on_success` — `"delete"` (alter Default) oder `"archive"`
  - `archive_dir` — Zielverzeichnis für `"archive"`, mit Kollisions-Schutz (Timestamp-Suffix)
- Runtime-Validierung der Output-Config in `check_output_config()`
- 20 neue Tests für `build_output_name()`, `check_output_config()` und `process_pdf()`
  mit allen Kombinationen aus Modus + Original-Behandlung

### Changed
- `process_pdf()` nimmt jetzt `output_cfg: OutputConfig` als Pflicht-Argument

## [0.2.2] - 2026-04-09

### Fixed
- **Issue #3**: Ghostscript 10.0.0–10.02.0 (Debian 12 default) zerschießen OCR mit PDF/A + `skip_text=true`.
  - `config.example.toml`: `pdfa_level = ""` als sicherer Default
  - Runtime-Preflight: Prüft `gs --version` wenn `pdfa_level` gesetzt ist, bricht mit klarer Fehlermeldung ab
  - `install.sh`: warnt bei betroffenen GS-Versionen mit Upgrade-Hinweis auf bookworm-backports

### Added
- `is_ghostscript_broken()` / `detect_ghostscript_version()` in `pdf_ocr_hotfolder.service`
- 19 weitere pytest-Tests für GS-Versions-Detection (parametrisiert) und Preflight-Kombinationen

## [0.2.1] - 2026-04-09

### Fixed
- **Issue #1**: Preflight-Check beim Start prüft jetzt `tesseract` und `gs` (Ghostscript). Fehlt eine Abhängigkeit, beendet sich der Service sofort mit Exit-Code 2 und klarer Fehlermeldung statt erst bei der ersten Datei.
- **Issue #2**: `--once`-Modus liefert jetzt Exit-Code `1`, sobald **mindestens ein** PDF fehlgeschlagen ist. Exit-Code `0` nur bei vollständigem Erfolg (inkl. "keine Dateien vorhanden"). Exit-Code `2` bei Preflight-Fehler.

### Added
- Public API: `HotfolderService.run_once()`, `.success_count`, `.error_count`, `.ensure_dirs()`
- `check_preflight()` / `PreflightError` in `pdf_ocr_hotfolder.service`
- pytest-Test-Suite (`tests/`) mit 11 Tests — deckt alle Szenarien aus Issue #1 und #2 ab
- `ocrmypdf`-Import in `processor.py` ist jetzt lazy (Tests ohne ocrmypdf-Installation möglich)

## [0.2.0] - 2026-04-08

### Added
- **Multi-Instanz-Support** via systemd Template-Unit `pdf-ocr-hotfolder@<name>.service`
- Pro Instanz: eigene Config (`/etc/pdf-ocr-hotfolder/<name>.toml`), eigene Datenverzeichnisse (`/var/lib/pdf-ocr-hotfolder/<name>/…`), optional eigener Service-User via Drop-in
- **Instanz-Manager in `install.sh`**: erkennt bestehende Instanzen bei Re-Run, fragt nach weiteren, listet Namen + Status
- `update.sh` stoppt/startet automatisch **alle** laufenden Instanzen

### Changed
- Single-Unit `pdf-ocr-hotfolder.service` durch Template-Unit `pdf-ocr-hotfolder@.service` ersetzt
- Installer fragt nicht mehr einmalig nach Service-User, sondern **pro Instanz**

### Removed
- Alte Single-Config unter `/etc/pdf-ocr-hotfolder/config.toml` — wird nicht mehr erzeugt

## [0.1.0] - 2026-04-08

### Added
- Initiale Version (Komplettes Rewrite des alten Bash-Tools `pdf-tool`)
- Python-Implementation auf Basis von `ocrmypdf` (Library, kein Subprozess)
- Hotfolder-Watcher mit `watchdog` (created/moved/closed Events)
- File-Stability-Check (wartet bis Scanner fertig geschrieben hat)
- ThreadPool für parallele PDF-Verarbeitung (`max_workers`)
- Upload-Targets: lokaler Ordner, Nextcloud (WebDAV via `requests`), SFTP (`paramiko`)
- E-Mail-Notify (`smtplib`, immer / nur Fehler / nie)
- Optional veraPDF-Validierung
- TOML-Konfiguration (`tomllib` aus stdlib, Python ≥3.11)
- systemd-Unit mit Hardening-Optionen
- `install.sh` mit interaktivem Service-User-Prompt
  (lokal anlegen oder bestehenden lokalen/AD-User übernehmen)
- `update.sh` mit Backup, Code-Sync und Service-Reload
- README.md, AI_AGENT_BRIEFING.md