Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion de/15.10/config/admin-index-backup.rst
Original file line number Diff line number Diff line change
Expand Up @@ -307,7 +307,7 @@ Zu sichernde Dateien
- Vorschaubilder (bei Bedarf)

.. note::
Bei der RPM/DEB-Paketversion befinden sich im Verzeichnis ``/etc/fess/`` neben ``fess_config.properties`` auch Konfigurationsdateien wie ``fess_env_crawler.properties`` und weitere ``fess_env_*.properties``-Dateien sowie ``tika.xml``. Es wird empfohlen, das gesamte Verzeichnis ``/etc/fess/`` zu sichern. Die Datei ``system.properties`` wird als ``/etc/fess/system.properties`` erstellt bzw. aktualisiert, wenn Einstellungen unter "System > Allgemein" in der Verwaltungsoberfläche gespeichert werden.
Bei der RPM/DEB-Paketversion befinden sich im Verzeichnis ``/etc/fess/`` neben ``fess_config.properties`` auch Konfigurationsdateien wie ``fess_env_crawler.properties`` und weitere ``fess_env_*.properties``-Dateien. Es wird empfohlen, das gesamte Verzeichnis ``/etc/fess/`` zu sichern. Die Datei ``system.properties`` wird als ``/etc/fess/system.properties`` erstellt bzw. aktualisiert, wenn Einstellungen unter "System > Allgemein" in der Verwaltungsoberfläche gespeichert werden.

Beispiel für das Backup von Konfigurationsdateien
---------------------------------------------------
Expand Down
4 changes: 3 additions & 1 deletion de/15.10/config/crawler-advanced.rst
Original file line number Diff line number Diff line change
Expand Up @@ -369,14 +369,16 @@ Konfigurationsbeispiel
::

# Auszuschließende Metadaten
crawler.metadata.content.excludes=resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,X-FESS.*
crawler.metadata.content.excludes=resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,tk:.*,X-FESS.*

# Metadaten-Namen-Mapping
crawler.metadata.name.mapping=\
title=title:string\n\
Title=title:string\n\
dc:title=title:string

Metadatennamen, die mit ``tk:``, ``X-TIKA:`` oder ``zip:`` beginnen, entfernt |Fess|, bevor sie das Dokument erreichen, unabhängig davon, ob sie in ``crawler.metadata.content.excludes`` stehen. Sie lassen sich daher weder in ``crawler.metadata.name.mapping`` noch in Skripten verwenden. Tika 4 hat außerdem viele weitere Metadatennamen umbenannt; zur Auswirkung auf ``crawler.metadata.name.mapping`` siehe :ref:`upgrade-1510-tika-metadata`.

HTML-Crawler-Konfiguration
==========================

Expand Down
30 changes: 13 additions & 17 deletions de/15.10/config/crawler-ocr.rst
Original file line number Diff line number Diff line change
Expand Up @@ -42,6 +42,8 @@ Tesseract installieren
Installieren Sie Tesseract auf dem Host, auf dem |Fess| läuft.
Um japanischen Text zu erkennen, benötigen Sie außerdem die japanischen Trainingsdaten (traineddata).

Der Befehl ``tesseract`` (und ImageMagick, falls Sie es verwenden) muss im ``PATH`` des |Fess|-Crawler-Prozesses gefunden werden. Den Pfad von ``tesseract`` können Sie nicht mehr in ``tika.xml`` festlegen, da |Fess| 15.10 diese Datei nicht liest.

Debian / Ubuntu::

$ sudo apt-get install tesseract-ocr tesseract-ocr-jpn
Expand Down Expand Up @@ -151,12 +153,17 @@ Legen Sie die Datei im Konfigurationsverzeichnis von |Fess| ab, das im Klassenpf
- RPM/DEB-Paket: ``/etc/fess/``

In ``tesseract.properties`` schreiben Sie Eigenschaften der Tika-Klasse ``TesseractOCRConfig``.
Zuverlässig angewendet werden nur einfache Schlüssel wie ``language`` und ``timeoutSeconds``.
Zuverlässig angewendet werden nur einfache Schlüssel wie ``language`` und ``timeoutMillis``.

::

language=jpn
timeoutSeconds=300
timeoutMillis=300000

``timeoutMillis`` ist in Millisekunden angegeben (die globale Einstellung ``crawler.document.ocr.timeout`` ist in Sekunden angegeben).
Den Schlüssel ``timeoutSeconds`` von Tika 3 wandelt |Fess| in ``timeoutMillis`` um (Wert mal 1000) und schreibt eine Warnung in ``fess-crawler.log``.
Ein Schlüssel, den ``TesseractOCRConfig`` nicht setzen kann, wird ignoriert; |Fess| schreibt dafür eine Warnung in dieselbe Logdatei.
``tesseractPath``, ``tessdataPath`` und ``imageMagickPath`` haben in dieser Datei keine Wirkung.

Für diese Crawl-Konfiguration hat dies Vorrang vor den oben beschriebenen globalen Einstellungen.

Expand All @@ -172,21 +179,11 @@ Betriebshinweise
Hinweise zum Upgrade
====================

Bis 15.8 schloss die mitgelieferte ``tika.xml`` ``org.apache.tika.parser.ocr.TesseractOCRParser`` aus.
Ab 15.10 schließt die mitgelieferte ``tika.xml`` diesen Parser nicht mehr aus.

Wenn Sie eine angepasste ``tika.xml`` weiterverwenden, entfernen Sie die folgende Zeile:

::

<parser-exclude class="org.apache.tika.parser.ocr.TesseractOCRParser"/>

Bleibt diese Zeile bestehen, bleibt OCR auch mit ``crawler.document.ocr.enabled=true`` ausgeschaltet.

Der Speicherort von ``tika.xml`` ist wie folgt:
Bis 15.8 schloss die mitgelieferte ``tika.xml`` ``org.apache.tika.parser.ocr.TesseractOCRParser`` aus, sodass OCR auch mit ``crawler.document.ocr.enabled=true`` ausgeschaltet blieb.
Die ``tika.xml`` von 15.9 schloss diesen Parser nicht mehr aus.
15.10 verwendet Apache Tika 4, das keine XML-Konfigurationsdatei hat. |Fess| liefert ``tika.xml`` nicht mehr mit und liest sie nicht. OCR wird über ``crawler.document.ocr.enabled`` eingeschaltet. Ausgeschaltet bleibt OCR außerdem, wenn die Tesseract-Properties-Datei der Crawl-Konfiguration ``skipOcr=true`` setzt, wenn der Befehl ``tesseract`` fehlt oder wenn die OCR-Einstellungen ungültig sind.

- ZIP-Paket: ``app/WEB-INF/conf/tika.xml``
- RPM/DEB-Paket: ``/etc/fess/tika.xml``
Zu einer ``tika.xml``, die von einer früheren Version übrig ist, und zu den Properties-Dateien einer Crawl-Konfiguration siehe :ref:`upgrade-1510-tika`.

OCR überprüfen
==============
Expand All @@ -199,5 +196,4 @@ Erscheint das Bild nicht, prüfen Sie Folgendes:

- ``tesseract --list-langs`` listet die verwendete Sprache auf
- ``crawler.document.ocr.enabled`` ist ``true``
- ``tika.xml`` schließt ``TesseractOCRParser`` nicht mehr aus
- ``fess-crawler.log`` des Crawls zeigt ``OCR is enabled`` (die Warnung ``Tesseract OCR is not available`` bedeutet, dass |Fess| Tesseract nicht verwenden kann)
2 changes: 1 addition & 1 deletion de/15.10/config/properties.rst
Original file line number Diff line number Diff line change
Expand Up @@ -507,7 +507,7 @@ Index
- ``cpu``
* - crawler.metadata.content.excludes
- Metadatenfelder, die vom Dokumentinhalt ausgeschlossen werden.
- ``resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,X-FESS.*``
- ``resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,tk:.*,X-FESS.*``
* - crawler.metadata.name.mapping
- Zuordnung für Dokument-Metadatennamen.
- | ``title=title:string``
Expand Down
57 changes: 57 additions & 0 deletions de/15.10/install/upgrade.rst
Original file line number Diff line number Diff line change
Expand Up @@ -571,6 +571,63 @@ Bei Major-Version-Upgrades wird die Neuerstellung des Index empfohlen.
Da bei der Neuindizierung der Index mit dem neuen Mapping neu erstellt wird, schlägt dieser
Vorgang bei OpenSearch ohne k-NN-Plugin fehl. Beachten Sie die Hinweise in Schritt 4.

Upgrade von 15.9 auf 15.10
==========================

Die Änderungen in diesem Abschnitt betreffen jedes Upgrade auf 15.10. Wenn Sie von 15.8 oder früher aktualisieren, lesen Sie im Anschluss auch den Abschnitt „Upgrade von 15.8 auf 15.10“.

.. _upgrade-1510-tika:

Apache Tika 4 und ``tika.xml``
------------------------------

15.9.0 verwendete Apache Tika 3.3.2, 15.10 verwendet Apache Tika 4.1.0.
Tika 4 hat keine XML-Konfigurationsdatei. |Fess| 15.10 baut den Tika-Parser deshalb im Code auf und liest ``tika.xml`` nicht mehr.
Die ZIP- und RPM/DEB-Pakete sowie die Docker-Images von 15.10 enthalten die Datei nicht.

Einstellungen, die Sie in ``tika.xml`` vorgenommen haben, etwa ``parser-exclude``, werden nicht mehr angewendet: Ein dort ausgeschlossener Parser läuft wieder.
Liegt im Konfigurationsverzeichnis noch eine ``tika.xml`` aus einer früheren Version, ignoriert |Fess| sie und schreibt beim Start eine Warnung in ``fess.log``. Löschen Sie die Datei.

- ZIP-Paket: ``app/WEB-INF/conf/tika.xml``
- RPM/DEB-Paket: ``/etc/fess/tika.xml``

.. _upgrade-1510-tika-metadata:

Metadatennamen
--------------

Tika 4 hat viele Metadatennamen umbenannt. So heißt ``pdf:charsPerPage`` jetzt ``pdf:chars-per-page``, ``access_permission:*`` jetzt ``access-permission:*`` und ``Message:*`` jetzt ``message:*``.
Namen, die der ``LegacyKeyMigrationFilter`` von Tika kennt, setzt |Fess| auf die Namen von Tika 3 zurück. Ein Eintrag in ``crawler.metadata.name.mapping``, der einen dieser Namen verwendet, funktioniert daher weiter.
Einen Namen, den der Filter nicht umsetzt, gibt |Fess| mit dem Namen von Tika 4 weiter. So heißt ``protected`` einer Excel-Datei jetzt ``msoffice:excel:protected-worksheet``. Verwendet ein Eintrag in ``crawler.metadata.name.mapping`` einen solchen Namen, ändern Sie ihn auf den Namen von Tika 4.

Metadaten, die Tika 4 neu hinzufügt, werden wie alle anderen Metadaten behandelt: Sie werden zum Inhalt hinzugefügt, sofern ``crawler.metadata.content.excludes`` ihren Namen nicht erfasst.

Die Ausnahme sind Namen, die mit ``tk:``, ``X-TIKA:`` oder ``zip:`` beginnen und die Tika für die interne Verwaltung nutzt (``X-TIKA:Parsed-By`` von Tika 3 heißt jetzt ``tk:parsed-by``). |Fess| entfernt sie, bevor sie das Dokument erreichen. Sie werden nicht auf die Namen von Tika 3 zurückgesetzt und auch nicht zum Inhalt hinzugefügt, unabhängig davon, ob ``crawler.metadata.content.excludes`` sie aufführt. Wenn Sie Namen wie ``X-TIKA:*`` oder ``tk:*`` in ``crawler.metadata.name.mapping`` zuordnen oder in einem Skript verwenden, erhalten Sie diese Werte nicht mehr.

Tesseract- und PDF-Properties-Dateien einer Crawl-Konfiguration
---------------------------------------------------------------

Wenn eine Crawl-Konfiguration ``config.tika.tesseract.config`` oder ``config.tika.pdf.config`` setzt, prüfen Sie die Properties-Dateien, da Tika 4 einige Eigenschaften umbenannt oder entfernt hat.
Für jeden Schlüssel, den |Fess| nicht anwenden kann, schreibt es eine Warnung in ``fess-crawler.log`` und ignoriert den Schlüssel.

- ``timeoutSeconds`` der Tesseract-Datei heißt jetzt ``timeoutMillis``. |Fess| wandelt ``timeoutSeconds`` in ``timeoutMillis`` um (Wert mal 1000); schreiben Sie künftig aber ``timeoutMillis`` in Millisekunden. ``crawler.document.ocr.timeout`` bleibt in Sekunden.
- Eigenschaften der PDF-Datei wie ``ocrStrategy``, ``ocrDPI``, ``ocrImageType``, ``ocrImageFormatName``, ``ocrImageQuality``, ``ocrRenderingStrategy``, ``accessChecker`` und ``renderer`` wurden aus ``PDFParserConfig`` von Tika 4 entfernt. |Fess| ignoriert sie und schreibt eine Warnung in ``fess-crawler.log``. OCR bei PDFs folgt dann dem Standard von Tika 4: automatisch, das heißt, Seiten mit wenig Text werden per OCR verarbeitet, wenn ``tesseract`` verfügbar und OCR in |Fess| aktiviert ist.
- Den Ort von ``tesseract`` können Sie nicht mehr in ``tika.xml`` festlegen, und ``tesseractPath``, ``tessdataPath`` und ``imageMagickPath`` in der Tesseract-Datei haben keine Wirkung. ``tesseract`` (und ImageMagick, falls Sie es verwenden) muss im ``PATH`` des Crawler-Prozesses gefunden werden.

Erkennung der Zeichenkodierung
------------------------------

Die Namen der Zeichenkodierung, die Tika 4 für Textdateien meldet, können von 15.9 abweichen. So meldet Tika 4 Shift_JIS als ``windows-31j``, ISO-8859-1 als ``windows-1252`` und EUC-JP als ``x-eucJP-Open``.

Änderungen für Plugin-Entwickler
--------------------------------

Die folgenden Änderungen betreffen Plugins, die Klassen von ``fess-crawler`` verwenden. Erstellen Sie ein solches Plugin für 15.10 neu (siehe :ref:`upgrade-plugin-versions`).

- ``ExtractData`` implementiert die Tika-Schnittstellen (``TikaCoreProperties``, ``HttpHeaders`` usw.) nicht mehr. Die String-Konstanten ``CONTENT_TYPE`` und ``CONTENT_ENCODING`` deklariert ``ExtractData`` selbst. ``RESOURCE_NAME_KEY`` ist weiterhin ``"resourceName"``.
- ``TikaExtractor.setTikaConfig`` und die Komponente ``tikaConfig`` in ``fess.xml`` wurden entfernt.
- Bei der Log-Stufe ``debug`` übergibt ``CrawlJob`` dem Crawler nicht mehr ``-Dorg.apache.tika.service.error.warn=true``, weil Tika 4 diese Eigenschaft nicht liest.

Upgrade von 15.8 auf 15.10
=========================

Expand Down
2 changes: 1 addition & 1 deletion en/15.10/config/admin-index-backup.rst
Original file line number Diff line number Diff line change
Expand Up @@ -307,7 +307,7 @@ Files to Back Up
- Thumbnail images (as needed)

.. note::
In the RPM/DEB package installation, the ``/etc/fess/`` directory contains not only ``fess_config.properties`` but also other configuration files such as ``fess_env_crawler.properties`` and other ``fess_env_*.properties`` files, as well as ``tika.xml``. It is recommended to back up the entire ``/etc/fess/`` directory. The ``system.properties`` file is created and updated as ``/etc/fess/system.properties`` when settings are saved in the administration screen under "System > General".
In the RPM/DEB package installation, the ``/etc/fess/`` directory contains not only ``fess_config.properties`` but also other configuration files such as ``fess_env_crawler.properties`` and other ``fess_env_*.properties`` files. It is recommended to back up the entire ``/etc/fess/`` directory. The ``system.properties`` file is created and updated as ``/etc/fess/system.properties`` when settings are saved in the administration screen under "System > General".

Configuration File Backup Example
----------------------------------
Expand Down
4 changes: 3 additions & 1 deletion en/15.10/config/crawler-advanced.rst
Original file line number Diff line number Diff line change
Expand Up @@ -371,14 +371,16 @@ Configuration Example
::

# Metadata to exclude
crawler.metadata.content.excludes=resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,X-FESS.*
crawler.metadata.content.excludes=resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,tk:.*,X-FESS.*

# Metadata name mapping
crawler.metadata.name.mapping=\
title=title:string\n\
Title=title:string\n\
dc:title=title:string

Metadata names that start with ``tk:``, ``X-TIKA:`` or ``zip:`` are removed by |Fess| before they reach the document, whether or not they are listed in ``crawler.metadata.content.excludes``. They therefore cannot be used in ``crawler.metadata.name.mapping`` or in scripts. Tika 4 also renamed many other metadata names; for the effect on ``crawler.metadata.name.mapping``, see :ref:`upgrade-1510-tika-metadata`.

HTML Crawler Settings
=====================

Expand Down
30 changes: 13 additions & 17 deletions en/15.10/config/crawler-ocr.rst
Original file line number Diff line number Diff line change
Expand Up @@ -42,6 +42,8 @@ Installing Tesseract
Install Tesseract on the host where |Fess| runs.
To recognize Japanese text, you also need the Japanese trained data (traineddata).

The ``tesseract`` command (and ImageMagick, if you use it) must be found on the ``PATH`` of the |Fess| crawler process. The path of ``tesseract`` can no longer be set in ``tika.xml``, which |Fess| 15.10 does not read.

Debian / Ubuntu::

$ sudo apt-get install tesseract-ocr tesseract-ocr-jpn
Expand Down Expand Up @@ -151,12 +153,17 @@ Place the file in the |Fess| configuration directory, which is on the crawler's
- RPM/DEB package: ``/etc/fess/``

In ``tesseract.properties``, write Tika ``TesseractOCRConfig`` properties.
Only simple keys such as ``language`` and ``timeoutSeconds`` are reliably applied.
Only simple keys such as ``language`` and ``timeoutMillis`` are reliably applied.

::

language=jpn
timeoutSeconds=300
timeoutMillis=300000

``timeoutMillis`` is in milliseconds (the global ``crawler.document.ocr.timeout`` is in seconds).
|Fess| converts the ``timeoutSeconds`` key of Tika 3 into ``timeoutMillis`` (the value multiplied by 1000) and writes a warning to ``fess-crawler.log``.
A key that ``TesseractOCRConfig`` cannot set is ignored, with a warning in the same log.
``tesseractPath``, ``tessdataPath`` and ``imageMagickPath`` have no effect in this file.

For that crawl configuration, this takes precedence over the global settings above.

Expand All @@ -172,21 +179,11 @@ Operational Notes
Upgrade Notes
=============

Up to 15.8, the bundled ``tika.xml`` excluded ``org.apache.tika.parser.ocr.TesseractOCRParser``.
From 15.10, the bundled ``tika.xml`` no longer excludes this parser.

If you kept a customized ``tika.xml``, remove the following line:

::

<parser-exclude class="org.apache.tika.parser.ocr.TesseractOCRParser"/>

If this line remains, OCR stays off even with ``crawler.document.ocr.enabled=true``.

The location of ``tika.xml`` is as follows:
Up to 15.8, the bundled ``tika.xml`` excluded ``org.apache.tika.parser.ocr.TesseractOCRParser``, so OCR stayed off even with ``crawler.document.ocr.enabled=true``.
The ``tika.xml`` of 15.9 no longer excluded it.
15.10 uses Apache Tika 4, which has no XML configuration file. |Fess| no longer ships ``tika.xml`` and does not read it. OCR is enabled by ``crawler.document.ocr.enabled``. It also stays off if the Tesseract properties file of the crawl configuration sets ``skipOcr=true``, if there is no ``tesseract`` command, or if the OCR settings are invalid.

- ZIP package: ``app/WEB-INF/conf/tika.xml``
- RPM/DEB package: ``/etc/fess/tika.xml``
For a ``tika.xml`` left from an earlier version and for the properties file of a crawl configuration, see :ref:`upgrade-1510-tika`.

Verifying OCR
=============
Expand All @@ -199,5 +196,4 @@ If the image does not appear, check the following:

- ``tesseract --list-langs`` lists the language you use
- ``crawler.document.ocr.enabled`` is ``true``
- ``tika.xml`` does not still exclude ``TesseractOCRParser``
- ``fess-crawler.log`` of the crawl shows ``OCR is enabled`` (a ``Tesseract OCR is not available`` warning means that |Fess| cannot use Tesseract)
2 changes: 1 addition & 1 deletion en/15.10/config/properties.rst
Original file line number Diff line number Diff line change
Expand Up @@ -507,7 +507,7 @@ Index
- ``cpu``
* - crawler.metadata.content.excludes
- Metadata fields to exclude from document content.
- ``resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,X-FESS.*``
- ``resourceName,X-Parsed-By,Content-Encoding.*,Content-Type.*,X-TIKA.*,tk:.*,X-FESS.*``
* - crawler.metadata.name.mapping
- Mapping for document metadata names.
- | ``title=title:string``
Expand Down
Loading
Loading