Docling-Prozess

Warnung

Dieser Dienst befindet sich derzeit in der Beta-Phase und wird regelmäßig aktualisiert.
Das gilt auch für die Dokumentation.

Der RAG-Dienst bietet Nutzern eine effiziente Möglichkeit, PDF-Dokumente über Docling hochzuladen und zu verarbeiten.
Das System konvertiert hochgeladene PDFs in Markdown-Format und annotiert sie automatisch.
Die erweiterte Markdown-Ausgabe, auch als Markdown Plus bezeichnet, enthält Metadaten und strukturelle Anmerkungen, die die Dokumentenverarbeitung und Anpassung verbessern.

Dieser Dienst verwendet eine abgeänderte Fork der Docling-API mit zahlreichen Anpassungen, die in Zukunft veröffentlicht werden.

Verarbeitungsablauf

  1. Datei-Upload: Nutzer laden ihre PDF-Dokumente über die RAG-Oberfläche hoch.
  2. Konvertierungsprozess: Sobald die PDF-Datei hochgeladen ist, kann der Nutzer sie in das Markdown-Plus-Format konvertieren, indem er auf „Indexgenerierung“ → „Index generieren“ klickt. Dieser Vorgang konvertiert auch die Dateien.
  3. Anmerkungen und Metadaten: Die Markdown-Plus-Ausgabe wird automatisch mit strukturellen Markern versehen.
  4. Durch Klicken auf das „Datei-Info“-Symbol rechts können Nutzer die annotierte Markdown-Datei herunterladen, Split-Marker anpassen und erneut hochladen, um die Verarbeitung fortzusetzen.
    In der RAG-Manager-Oberfläche sind die Dateidetails dargestellt. Docling-Dateiinformationen: JSON-Version mit automatischen Anmerkungen, Download-Optionen verfügbar.

    Das Fenster „Datei-Details“ zeigt alle Dateiinformationen sowie die Möglichkeit, entweder die JSON- oder die Markdown-Plus-Datei herunterzuladen. Außerdem gibt es die Option, eine aktualisierte Markdown-Plus-Datei hochzuladen.

  5. Validierung: Beim erneuten Hochladen wird ein Validierungsprozess durchgeführt, um sicherzustellen, dass die Seiteneinteilung intakt bleibt.

Markdown Plus-Anmerkungen

Docling generiert eine strukturierte und annotierte Markdown-Datei unter Verwendung der folgenden Marker:

1. Seitenumbruch-Marker

  • Format: [Seite (Nummer)]: #

  • Zweck: Zeigt den Beginn einer neuen Seite im ursprünglichen PDF-Dokument an.

  • Beispiel:

    [Seite 1]: #

2. Vertikaler Positionsmarker

  • Format: [Y: (Zahl)]: #

  • Zweck: Repräsentiert die ungefähre vertikale Position eines Elements auf der Seite (die Seitenhöhe wird auf 1000 Zeilen skaliert).

  • Details:

    • Jede Seite ist in fünf Abschnitte unterteilt.
    • Wenn in einem bestimmten Abschnitt kein kontinuierliches Element (wie eine Tabelle oder ein Bild) vorhanden ist, wird ein Y-Marker zugewiesen.

  • Beispiel:

    [Y: 300]: #

3. Spaltungs-Marker

  • Format: [Spalten]: #

  • Zweck: Definiert Segmentierungspunkte im Dokument für die nachfolgende Verarbeitung.

  • Nutzung:

    • Die Spaltungs-Marker leiten die Dokumenten-Chunking für nachgeschaltete Anwendungen.
    • Nutzer können die Spaltungs-Marker in der Markdown-Plus-Datei vor dem erneuten Hochladen manuell anpassen.

  • Beispiel:

    [Spalten]: #

Metadaten-Kopfzeile

Jede annotierte Markdown-Datei enthält einen Kopfzeilenabschnitt mit Metadaten zum Dokument, darunter:

  1. Autor
  2. Titel
  3. Beschreibung
  4. Dateiname
  5. Erweiterung
  6. Anzahl der Seiten
  7. Version

Beispiel:

---
Autor: jkunkel1
Titel: Titel der Datei
Beschreibung: ''
Dateiname: Dateiname
Erweiterung: pdf
Anzahl der Seiten: 20
Version: 1.0
---

Nutzerinteraktion mit annotierter Markdown-Datei

  1. Markdown Plus herunterladen: Nutzer können die annotierte Markdown-Datei für die Überprüfung exportieren.
  2. Spaltungs-Marker bearbeiten: Falls gewünscht, können Nutzer die [Spalten]: #-Marker manuell bearbeiten, um die Segmentierung anzupassen.
  3. Geänderte Datei erneut hochladen: Das System überprüft, ob die Seiteneinteilung unverändert bleibt, bevor es die Dokumentverarbeitung fortsetzt.