repo_zf1/documentation/manual/fr/module_specs/Zend_Search_Lucene-Charset.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- EN-Revision: 15157 -->
<!-- Reviewed: no -->
<sect1 id="zend.search.lucene.charset">
    <title>Jeu de caractères</title>

    <sect2 id="zend.search.lucene.charset.description">
        <title>Support UTF-8 et caractères sur un octet</title>

        <para>
            <classname>Zend_Search_Lucene</classname> utilise l'UTF-8 en interne. Les fichiers
            d'index stockent des données Unicode dans le "format UTF-8 modifié" de Java.
            <classname>Zend_Search_Lucene</classname> supporte totalement ce format, à une exception
            près. <footnote>
                <para>
                    Zend_Search_Lucene supporte seulement les caractères Basic Multilingual
                    Plane (BMP) (de 0x0000 à 0xFFFF) et ne supporte pas les "caractères
                    supplémentaires" (caractères dont les codes sont supérieurs à 0xFFFF).
                </para>

                <para>
                    Java 2 représente ces caractères comme une paire de char (16-bit), le
                    premier depuis l'échelle haute (0xD800-0xDBFF), le second pour l'échelle basse
                    (0xDC00-0xDFFF). Ils sont alors encodés comme des caractères UTF-8 standards sur
                    six octets. La représentation UTF-8 standard utilise elle 4 octets pour les
                    caractères supplémentaires.
                </para>
                </footnote>
            </para>

        <para>
            L'encodage des caractères d'entrée peut être spécifié grâce à l'API de
            <classname>Zend_Search_Lucene</classname>. Les données seront converties automatiquement
            en UTF-8.
        </para>
    </sect2>

    <sect2 id="zend.search.lucene.charset.default_analyzer">
        <title>Analyseur de texte par défaut</title>

        <para>
            Cependant, l'analyseur de texte par défaut (aussi utilisé par l'analyseur de
            requête) utilise <code>ctype_alpha()</code>.
        </para>

        <para>
            <code>ctype_alpha()</code> n'est pas compatible UTF-8, donc l'analyseur convertit
            le texte vers "ASCII//TRANSLIT" avant l'indexation. Le même processus est utilisé de
            manière transparente lors du requêtage. <footnote>
                <para>
                    La conversion vers 'ASCII//TRANSLIT' peut dépendre de la locale courante
                    ou de l'OS.
                </para>
                </footnote>
            </para>

        <note>
            <title></title>

            <para>
                L'analyseur par défaut isole les chiffres. Utilisez le parseur "Num" si vous
                voulez que les chiffres soient considérés comme des mots.
            </para>
        </note>
    </sect2>

    <sect2 id="zend.search.lucene.charset.utf_analyzer">
        <title>Analyseurs de texte compatibles UTF-8</title>

        <para>
            <classname>Zend_Search_Lucene</classname> contient aussi des analyseurs
            compatibles UTF-8 :
            <classname>Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8</classname>,
            <classname>Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num</classname>,
            <classname>Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8_CaseInsensitive</classname>,
            <classname>Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive</classname>.
        </para>

        <para>
            N'importe quel analyseur peut être activé avec un code comme celui-ci:
            <programlisting language="php"><![CDATA[
Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());
]]></programlisting>
            </para>

        <warning>
            <title></title>

            <para>
                Les analyseurs UTF-8 ont été améliorés dans Zend Framework 1.5. Les anciennes
                versions considéraient les caractères non-ASCII comme des lettres. Les nouveaux
                analyseurs sont quant à eux plus précis sur ce point.
            </para>

            <para>
                Ceci pourrait vous obliger à reconstruire votre index afin que vos données et
                vos requêtes de recherche soient au même format. Des résultats faux peuvent
                apparaître sinon.
            </para>
        </warning>

        <para>
            Tous ces analyseurs nécessitent que la libraire PCRE (Perl-compatible regular
            expressions) soit compilée avec le support d'UTF-8. Ce support d'UTF-8 pour PCRE est
            activé par défaut dans les sources des libraires PCRE livrées avec PHP, mais si vous
            avez utilisé des librairies partagées pour la compilation de PHP, alors le support
            d'UTF-8 peut dépendre de l'OS.
        </para>

        <para>
            Utilisez ce code pour vérifier si le support d'UTF-8 est assuré pour PCRE :
            <programlisting language="php"><![CDATA[
if (@preg_match('/\pL/u', 'a') == 1) {
    echo "support UTF-8 pour PCRE activé.\n";
} else {
    echo "support UTF-8 pour PCRE désactivé.\n";
}
]]></programlisting></para>

        <para>
            Les analyseurs UTF-8 insensibles à la casse ont aussi besoin de l'extension <ulink
            url="http://www.php.net/manual/en/ref.mbstring.php">mbstring</ulink> pour être
            activés.
        </para>

        <para>
            Si vous voulez les analyseurs UTF-8 insensibles à la casse, mais que vous n'avez
            pas mbstring, normalisez alors vos données avant de les indexer ainsi que vos requêtes
            avant vos recherches, ceci en les tranformant en casse minuscule : <programlisting
            role="php"><![CDATA[
// Indexation
setlocale(LC_CTYPE, 'de_DE.iso-8859-1');

...

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

...

$doc = new Zend_Search_Lucene_Document();

$doc->addField(Zend_Search_Lucene_Field::UnStored(
                    'contents', strtolower($contents))
              );

// champ titre (indexed, unstored)
$doc->addField(Zend_Search_Lucene_Field::UnStored(
                    'title', strtolower($title))
              );

// champ titre (unindexed, stored)
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('_title', $title));
]]></programlisting> <programlisting language="php"><![CDATA[
// Recherche
setlocale(LC_CTYPE, 'de_DE.iso-8859-1');

...

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

...

$hits = $index->find(strtolower($query));
]]></programlisting></para>
        </sect2>
    </sect1>