Zeichensätze
Unterstützung für UTF-8 und Einzel-Byte Zeichensätze
Zend_Search_Lucene arbeitet intern mit dem UTF-8 Zeichensatz.
Indexdateien speichern Unicode Daten in Java's "modifiziertem UTF-8 Codierung". Der Kern
von Zend_Search_Lucene unterstützt diesen Zeichensatz mit einer
Ausnahme komplett.
Zend_Search_Lucene unterstützt nur Basic Multilingual
Plane (BMP) Zeichen (von 0x0000 bis 0xFFFF) und unterstützt keine "zusätzlichen
Zeichen" (Zeichen deren Codepunkte größer als 0xFFFF sind).
Java 2 zeigt diese Werte als Paare von Zeichen (16-bit) Werten an, der erste vom
High-Surrogate Bereich (0xD800-0xDBFF), den zweiten vom Low-Surrogate Bereich
(0xDC00-0xDFFF). Dann werden Sie als normale UTF-8 Zeichen mit sechs Bytes
kodiert. Die Standard UTF-8 Repräsentation verwendet vier Bytes für zusätzliche
Zeichen.
Die Codierung der aktuellen Eingabedaten dann über die API von
Zend_Search_Lucene spezifiziert werden. Daten werden automatisch
in die UTF-8 Codierung konvertiert.
Standard Textanalysator
Trotzdem verwendet der standardmäßige Textanalysator (welche auch im Anfrageparser
arbeitet) ctype_alpha() für das analysieren von Text und Anfragen.
ctype_alpha() ist nicht UTf-8 kompatibel, weswegen der Analysator Text zuerst in die
'ASCII//TRANSLIT' Codierung konvertiert bevor er indiziert. Die selbe Bearbeitung wird
transparent während des Parsens der Abfrage durchgeführt
Konvertierungen in 'ASCII//TRANSLIT' sind abhängig von dem aktuellen
Gebietsschema und OS.
Der Standardanalysator behandelt Zahlen nicht als Teile von Ausdrücken. Wenn Wörter
nicht durch Zahlen unterbrochen werden sollen kann der entsprechende 'Num'
Analysator verwendet werden.
UTF-8 kompatibler Textanalysator
Zend_Search_Lucene enthält auch ein Set von UTF-8 kompatiblen
Analysatoren: Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8,
Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num,
Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8_CaseInsensitive,
Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive.
Jeder dieser Analysatoren kenn mit Code wie dem folgenden eingeschaltet werden:
Die UTF-8 kompatiblen Analysatoren wurden in Zend Framework 1.5 verbessert. Frühere
Versionen der Analysatoren nahmen an das alle nicht-Ascii Zeichen Buchstaben sind.
Die neuen Analysatoren haben ein genaueres Verhalten.
Deswegen kann es notwendig sein den Index neu zu erstellen um Daten und Suchanfragen
auf die gleiche Art und Weise in Ausdrücke zerlegt zu haben, weil sonst andererseits
die Suchmaschine falsche Ergebnissets zurückgeben könnte.
Alle diese Analysatoren benötigen die PCRE (Perl-kompatible reguläre Ausdrücke)
Bibliothek kompiliert mit eingeschalteter UTF-8 Unterstützung. PCRE UTF-8 Unterstützung
ist für die PCRE Bibliotheks Quellcodes die mit den PHP Quellcodes
gekoppelt sind, eingeschaltet, aber wenn eine andere Bibliothek als die vom
PHP Quellcode verwendet wird, ist der Status der UTF-8 Unterstützung
abhängig vom eigenen Betriebsystem.
Der folgende Code kann verwendet werden um zu prüfen ob PCRE UTF-8 Unterstützung
eingeschaltet ist:
Groß-/Kleinschreibungs-unabhängige Versionen von UTF-8 kompatiblen Analysatoren
erfordern das die mbstring Erweiterung
aktiviert ist.
Wenn man die mbstring Erweiterung nicht einschalten will, und trotzdem
Groß-/Kleinschreibungs unabhängige Suchen benötigt, kann die folgende Vorgehensweise
verwendet werden: Quelldaten vor der Indizierung und Abfragestring for der Suche
normalisieren indem diese zur Kleinschreibung konvertiert werden:
addField(Zend_Search_Lucene_Field::UnStored('contents',
strtolower($contents)));
// Titel Feld für das Durchsuchen (indiziert, nicht gespeichert)
$doc->addField(Zend_Search_Lucene_Field::UnStored('title',
strtolower($title)));
// Titel Feld für das Empfangen (nicht indiziert, gespeichert)
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('_title', $title));
]]>
find(strtolower($query));
]]>