Zend_Search_Lucene-Searching.xml 23 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <!-- Reviewed: no -->
  3. <!-- EN-Revision: 15103 -->
  4. <sect1 id="zend.search.lucene.searching">
  5. <title>インデックスの検索</title>
  6. <sect2 id="zend.search.lucene.searching.query_building">
  7. <title>クエリの作成</title>
  8. <para>
  9. インデックスを検索するには二通りの方法があります。
  10. クエリパーサを使用して文字列からクエリを作成する方法と、
  11. <classname>Zend_search_Lucene</classname> API を使用して独自のクエリを作成する方法です。
  12. </para>
  13. <para>
  14. 提供されているクエリパーサを使用する前に、以下の点を考慮してください。
  15. <orderedlist>
  16. <listitem>
  17. <para>
  18. プログラムで生成したクエリ文字列をクエリパーサに渡そうとしているなら、
  19. クエリ API を使用してクエリを直接作成すべきです。言い換えると、
  20. クエリパーサというのは人間が入力したテキストのために設計されたものであり、
  21. プログラムが生成したテキストのためのものではないのです。
  22. </para>
  23. </listitem>
  24. <listitem>
  25. <para>
  26. トークン化されていないフィールドについては、
  27. クエリパーサを使用するよりも直接クエリに追加するほうが適しています。
  28. フィールドの値がアプリケーションによって生成されるのなら、
  29. フィールドのクエリ条件についても自動処理で作成すべきです。
  30. クエリパーサが使用している解析器は、人間が入力したテキストを
  31. 単語に分解するために設計されています。
  32. 日付やキーワードなどのプログラムが生成した値は、
  33. クエリ API で追加しなければなりません。
  34. </para>
  35. </listitem>
  36. <listitem>
  37. <para>
  38. 検索フォームにおいては、
  39. テキストで入力された内容はクエリパーサを使用すべきでしょう。
  40. その他のフィールド、例えば範囲指定やキーワードなどについては、
  41. クエリ API に直接渡すようにしましょう。
  42. 限られた内容、例えばプルダウンメニューで選択するフィールドは、
  43. クエリ文字列に追加すべきではありません。
  44. その代わりに、TermQuery 条件として使用します。
  45. </para>
  46. </listitem>
  47. <listitem>
  48. <para>
  49. 論理クエリにより、複数のクエリをひとつにまとめることができます。
  50. これは、クエリ文字列で定義されるユーザ検索に条件を追加するための最良な方法です。
  51. </para>
  52. </listitem>
  53. </orderedlist>
  54. </para>
  55. <para>
  56. どちらの方法を使用したとしても、インデックスを検索する API メソッドは同じです。
  57. </para>
  58. <programlisting role="php"><![CDATA[
  59. $index = Zend_Search_Lucene::open('/data/my_index');
  60. $index->find($query);
  61. ]]>
  62. </programlisting>
  63. <para>
  64. <classname>Zend_Search_Lucene::find()</classname> メソッドは、
  65. 入力の型を自動的に判別し、クエリパーサを使用して文字列から
  66. <classname>Zend_Search_Lucene_Search_Query</classname> オブジェクトを作成します。
  67. </para>
  68. <para>
  69. 重要なのは、クエリパーサは標準の解析器を使用してクエリ文字列をトークン化するということです。
  70. インデックス化されたテキストに対するすべての変換は、クエリ文字列エントリに対しても行われます。
  71. </para>
  72. <para>
  73. 小文字変換を行うことで大文字小文字を区別しない検索を行えるようにしたり、
  74. ストップワードを取り除いたりといったさまざまなことを行います。
  75. </para>
  76. <para>
  77. それに対して、API メソッドは単語の変換やフィルタリングを行いません。これは、
  78. コンピュータが生成したフィールドやトークン化されていないフィールドに適しています。
  79. </para>
  80. <sect3 id="zend.search.lucene.searching.query_building.parsing">
  81. <title>クエリのパース</title>
  82. <para>
  83. <classname>Zend_Search_Lucene_Search_QueryParser::parse()</classname>
  84. メソッドを使用してクエリ文字列をパースし、
  85. クエリオブジェクトに格納します。
  86. </para>
  87. <para>
  88. このオブジェクトをクエリ作成 API メソッドで使用し、
  89. ユーザが入力したクエリと機械が生成したクエリを結合します。
  90. </para>
  91. <para>
  92. 実際のところ、これが
  93. トークン化されたいないフィールドを検索する唯一の方法となることもあります。
  94. <programlisting role="php"><![CDATA[
  95. $userQuery = Zend_Search_Lucene_Search_QueryParser::parse($queryStr);
  96. $pathTerm = new Zend_Search_Lucene_Index_Term(
  97. '/data/doc_dir/' . $filename, 'path'
  98. );
  99. $pathQuery = new Zend_Search_Lucene_Search_Query_Term($pathTerm);
  100. $query = new Zend_Search_Lucene_Search_Query_Boolean();
  101. $query->addSubquery($userQuery, true /* required */);
  102. $query->addSubquery($pathQuery, true /* required */);
  103. $hits = $index->find($query);
  104. ]]>
  105. </programlisting>
  106. </para>
  107. <para>
  108. <classname>Zend_Search_Lucene_Search_QueryParser::parse()</classname>
  109. メソッドはオプションのパラメータでエンコーディングを受け取ることができます。
  110. ここで、クエリ文字列のエンコーディングを指定します。
  111. <programlisting role="php"><![CDATA[
  112. $userQuery = Zend_Search_Lucene_Search_QueryParser::parse($queryStr,
  113. 'iso-8859-5');
  114. ]]>
  115. </programlisting>
  116. </para>
  117. <para>
  118. エンコーディングを省略した場合は、現在のロケールを使用します。
  119. </para>
  120. <para>
  121. デフォルトのクエリ文字列エンコーディングを
  122. <classname>Zend_Search_Lucene_Search_QueryParser::setDefaultEncoding()</classname>
  123. メソッドで指定することもできます。
  124. <programlisting role="php"><![CDATA[
  125. Zend_Search_Lucene_Search_QueryParser::setDefaultEncoding('iso-8859-5');
  126. ...
  127. $userQuery = Zend_Search_Lucene_Search_QueryParser::parse($queryStr);
  128. ]]>
  129. </programlisting>
  130. </para>
  131. <para>
  132. <classname>Zend_Search_Lucene_Search_QueryParser::getDefaultEncoding()</classname>
  133. は、デフォルトのクエリ文字列エンコーディングを返します
  134. (空文字列は "現在のロケール" を表します)。
  135. </para>
  136. </sect3>
  137. </sect2>
  138. <sect2 id="zend.search.lucene.searching.results">
  139. <title>検索結果</title>
  140. <para>
  141. 検索結果は <classname>Zend_Search_Lucene_Search_QueryHit</classname> オブジェクトの配列となります。
  142. 各オブジェクトは、2 つのプロパティを保持しています。
  143. <code>$hit->document</code> がインデックス内のドキュメント番号、
  144. <code>$hit->score</code> が検索結果のスコアを表します。
  145. 結果はスコア順に並べられます (スコアの高い結果が最初になります)。
  146. </para>
  147. <para>
  148. <classname>Zend_Search_Lucene_Search_QueryHit</classname> オブジェクトでは、
  149. 検索結果としてヒットした <classname>Zend_Search_Lucene_Document</classname>
  150. の各フィールドも公開しています。
  151. この例で、ヒットしたドキュメントには
  152. title と author の 2 つのフィールドが含まれています。
  153. </para>
  154. <programlisting role="php"><![CDATA[
  155. $index = Zend_Search_Lucene::open('/data/my_index');
  156. $hits = $index->find($query);
  157. foreach ($hits as $hit) {
  158. echo $hit->score;
  159. echo $hit->title;
  160. echo $hit->author;
  161. }
  162. ]]>
  163. </programlisting>
  164. <para>
  165. 保存されたフィールドは、常に UTF-8 エンコーディングで返されます。
  166. </para>
  167. <para>
  168. オプションで、
  169. <classname>Zend_Search_Lucene_Search_QueryHit</classname> から元の <classname>Zend_Search_Lucene_Document</classname>
  170. を取得することができます。
  171. 保存されたドキュメントを取得するには、
  172. インデックスオブジェクトの <code>getDocument()</code>
  173. メソッドを使用し、その <code>getFieldValue()</code>
  174. メソッドでフィールドの値を取得します。
  175. </para>
  176. <programlisting role="php"><![CDATA[
  177. $index = Zend_Search_Lucene::open('/data/my_index');
  178. $hits = $index->find($query);
  179. foreach ($hits as $hit) {
  180. // ヒットした結果の Zend_Search_Lucene_Document オブジェクトを返します
  181. echo $document = $hit->getDocument();
  182. // Zend_Search_Lucene_Document から
  183. // Zend_Search_Lucene_Field オブジェクトを返します
  184. echo $document->getField('title');
  185. // Zend_Search_Lucene_Field オブジェクトを値を文字列で返します
  186. echo $document->getFieldValue('title');
  187. // getFieldValue() と同じです
  188. echo $document->title;
  189. }
  190. ]]>
  191. </programlisting>
  192. <para>
  193. <classname>Zend_Search_Lucene_Document</classname> オブジェクトで使用可能なフィールドは、
  194. インデックス化の際に決まります。ドキュメントのフィールドは、
  195. インデックス化用アプリケーション (例えば LuceneIndexCreation.jar)
  196. によってインデックス化、あるいはインデックス化して保存されます。
  197. </para>
  198. <para>
  199. ドキュメントを識別するフィールド (例では 'path')
  200. もインデックス化して取得できるようにしなければならないことに注意しましょう。
  201. </para>
  202. </sect2>
  203. <sect2 id="zend.search.lucene.searching.results-limiting">
  204. <title>結果の制限</title>
  205. <para>
  206. 検索処理の中でいちばん時間がかかるのが、スコアの計算です。
  207. 検索結果の数が多い (数万件程度) 場合、これには数秒程度かかることもあります。
  208. </para>
  209. <para>
  210. <classname>Zend_Search_Lucene</classname> では、結果セットの件数を制限するためのメソッドとして
  211. <code>getResultSetLimit()</code> と
  212. <code>setResultSetLimit()</code> を用意しています。
  213. <programlisting role="php"><![CDATA[
  214. $currentResultSetLimit = Zend_Search_Lucene::getResultSetLimit();
  215. Zend_Search_Lucene::setResultSetLimit($newLimit);
  216. ]]>
  217. </programlisting>
  218. 0 (デフォルト値) は、'制限しない' という意味です。
  219. </para>
  220. <para>
  221. このメソッドが返す結果は、'スコアの高いほうから N 件' ではなく
  222. あくまで '最初の N 件'
  223. <footnote><para>
  224. しかし、返される結果はスコア順 (あるいはその他指定した順)
  225. で並べ替えられています。
  226. </para></footnote>
  227. です。
  228. </para>
  229. </sect2>
  230. <sect2 id="zend.search.lucene.searching.results-scoring">
  231. <title>結果の重み付け</title>
  232. <para>
  233. <classname>Zend_Search_Lucene</classname> は、Java Lucene と同じ重み付けアルゴリズムを使用します。
  234. 検索結果に一致したものが、デフォルトで重み順に並べ替えられます。スコアの高いものが先頭となり、
  235. スコアの高いもののほうが低いものよりクエリにマッチするようになります。
  236. </para>
  237. <para>
  238. 大雑把に言うと、文書の中に検索語句が頻繁に登場するほどスコアが高くなります。
  239. </para>
  240. <para>
  241. 検索結果のスコアを取得するには <code>score</code> プロパティを使用します。
  242. </para>
  243. <programlisting role="php"><![CDATA[
  244. $hits = $index->find($query);
  245. foreach ($hits as $hit) {
  246. echo $hit->id;
  247. echo $hit->score;
  248. }
  249. ]]>
  250. </programlisting>
  251. <para>
  252. 重みを計算するために使用されるのが
  253. <classname>Zend_Search_Lucene_Search_Similarity</classname> クラスです。詳細は
  254. <link linkend="zend.search.lucene.extending.scoring">拡張性
  255. - 重み付けのアルゴリズム</link> を参照ください。
  256. </para>
  257. </sect2>
  258. <sect2 id="zend.search.lucene.searching.sorting">
  259. <title>検索結果の並べ替え</title>
  260. <para>
  261. 検索結果は、デフォルトではスコアで並べ替えられます。
  262. これを変更するには、並べ替え用の (ひとつあるいは複数の)
  263. フィールドと並べ替えの形式、そして並べ替えの方向をパラメータで指定します。
  264. </para>
  265. <para>
  266. <code>$index->find()</code> のコール時に、オプションのパラメータを指定することができます。
  267. <programlisting role="php"><![CDATA[
  268. $index->find($query [, $sortField [, $sortType [, $sortOrder]]]
  269. [, $sortField2 [, $sortType [, $sortOrder]]]
  270. ...);
  271. ]]>
  272. </programlisting>
  273. </para>
  274. <para>
  275. <code>$sortField</code> は、結果の並べ替えを行う保存されたフィールドの名前です。
  276. </para>
  277. <para>
  278. <code>$sortType</code> は省略可能です。
  279. <code>SORT_REGULAR</code> (通常の並べ替え。デフォルト)、
  280. <code>SORT_NUMERIC</code> (数値として並べ替え)、
  281. <code>SORT_STRING</code> (文字列として並べ替え) のいずれかとなります。
  282. </para>
  283. <para>
  284. <code>$sortOrder</code> は省略可能です。
  285. <code>SORT_ASC</code> (昇順で並べ替え。デフォルト)、
  286. <code>SORT_DESC</code> (降順で並べ替え) のいずれかとなります。
  287. </para>
  288. <para>
  289. 例を以下に示します。
  290. <programlisting role="php"><![CDATA[
  291. $index->find($query, 'quantity', SORT_NUMERIC, SORT_DESC);
  292. ]]>
  293. </programlisting>
  294. <programlisting role="php"><![CDATA[
  295. $index->find($query, 'fname', SORT_STRING, 'lname', SORT_STRING);
  296. ]]>
  297. </programlisting>
  298. <programlisting role="php"><![CDATA[
  299. $index->find($query, 'name', SORT_STRING, 'quantity', SORT_NUMERIC, SORT_DESC);
  300. ]]>
  301. </programlisting>
  302. </para>
  303. <para>
  304. デフォルト以外の並び順を使用する際には注意しましょう。
  305. 並べ替えのためにはドキュメント全体をインデックスから読み込む必要があり、
  306. 検索のパフォーマンスが著しく低下してしまいます。
  307. </para>
  308. </sect2>
  309. <sect2 id="zend.search.lucene.searching.highlighting">
  310. <title>検索結果の強調</title>
  311. <para>
  312. Zend_Search_Lucene では、2 とおりの方法で検索結果を強調させることができます。
  313. </para>
  314. <para>
  315. まず最初の方法が、<classname>Zend_Search_Lucene_Document_Html</classname> クラス
  316. (詳細は <link linkend="zend.search.lucene.index-creation.html-documents">HTML ドキュメントの節</link>
  317. を参照ください) を用いて次のようにすることです。
  318. <programlisting role="php"><![CDATA[
  319. /**
  320. * テキストを指定した色で強調する
  321. *
  322. * @param string|array $words
  323. * @param string $colour
  324. * @return string
  325. */
  326. public function highlight($words, $colour = '#66ffff');
  327. ]]>
  328. </programlisting>
  329. <programlisting role="php"><![CDATA[
  330. /**
  331. * テキストを、指定したビューヘルパーあるいはコールバック関数で強調する
  332. *
  333. * @param string|array $words 強調したい単語。配列あるいは文字列で指定します
  334. * @param callback $callback コールバックメソッド。テキストの変換 (強調) に使用します
  335. * @param array $params コールバックのパラメータとして渡す配列
  336. * (最初の必須パラメータは、強調させる HTML 片となります)
  337. * @return string
  338. * @throws Zend_Search_Lucene_Exception
  339. */
  340. public function highlightExtended($words, $callback, $params = array())
  341. ]]>
  342. </programlisting>
  343. </para>
  344. <para>
  345. 強調方法をカスタマイズするには <code>highlightExtended()</code>
  346. メソッドにコールバックを指定して使用します。このコールバックは、ひとつ以上のパラメータを受け取ります
  347. <footnote><para>最初のパラメータは強調対象の HTML 片、
  348. そしてその他のパラメータはコールバックの振る舞いによって変わります。
  349. 返り値は、強調済みの HTML 片となります。</para></footnote>。
  350. あるいは、<classname>Zend_Search_Lucene_Document_Html</classname> クラスを継承して
  351. <code>applyColour($stringToHighlight, $colour)</code> メソッドを再定義することもできます。
  352. このメソッドは、デフォルトの強調コールバックとして用いられるものです。
  353. <footnote>
  354. <para>
  355. どちらの場合についても、返される HTML は自動的に正しい XHTML 形式に変換されます。
  356. </para>
  357. </footnote>
  358. </para>
  359. <para>
  360. <link linkend="zend.view.helpers">ビューヘルパー</link> も、ビュースクリプトのコンテキストでコールバックとして使えます。
  361. <programlisting role="php"><![CDATA[
  362. $doc->highlightExtended('word1 word2 word3...', array($this, 'myViewHelper'));
  363. ]]>
  364. </programlisting>
  365. </para>
  366. <para>
  367. 強調した結果を取得するには <classname>Zend_Search_Lucene_Document_Html->getHTML()</classname> メソッドを使用します。
  368. </para>
  369. <note>
  370. <para>
  371. 強調処理は、現在の解析器を使って行われます。つまり、解析器が理解するすべての形式の単語が強調されます。
  372. </para>
  373. <para>
  374. たとえば、大文字小文字を区別しない解析器を使っている場合に 'text' を強調するよう指定すると、
  375. 'text' や 'Text' そして 'TEXT' といった単語も強調されます。
  376. </para>
  377. <para>
  378. 同様に、語幹抽出機能を持つ解析器を使っている場合に 'indexed' を強調するよう指定すると、
  379. 'index' や 'indexing' そして 'indices' といった単語も強調されます。
  380. </para>
  381. <para>
  382. 一方、現在の解析器が処理をスキップするような単語
  383. (短い単語に対するフィルタが解析器に適用されている場合など)
  384. は、なにも強調されません。
  385. </para>
  386. </note>
  387. <para>
  388. もうひとつの方法は、
  389. <classname>Zend_Search_Lucene_Search_Query->highlightMatches(string $inputHTML[, Zend_Search_Lucene_Search_Highlighter_Interface $highlighter])</classname>
  390. メソッドを使うことです。
  391. <programlisting role="php"><![CDATA[
  392. $query = Zend_Search_Lucene_Search_QueryParser::parse($queryStr);
  393. $highlightedHTML = $query->highlightMatches($sourceHTML);
  394. ]]>
  395. </programlisting>
  396. </para>
  397. <para>
  398. オプションの 2 番目のパラメータは、
  399. <classname>Zend_Search_Lucene_Search_Highlighter_Interface</classname>
  400. インターフェイスを実装したオブジェクトです。
  401. <programlisting role="php"><![CDATA[
  402. interface Zend_Search_Lucene_Search_Highlighter_Interface
  403. {
  404. /**
  405. * 強調対象の文書を設定します
  406. *
  407. * @param Zend_Search_Lucene_Document_Html $document
  408. */
  409. public function setDocument(Zend_Search_Lucene_Document_Html $document);
  410. /**
  411. * 強調対象の文書を取得します
  412. *
  413. * @return Zend_Search_Lucene_Document_Html $document
  414. */
  415. public function getDocument();
  416. /**
  417. * 指定した単語を強調します (サブクエリ単位でこのメソッドが起動されます)
  418. *
  419. * @param string|array $words 強調したい単語。配列あるいは文字列で指定します
  420. */
  421. public function highlight($words);
  422. }
  423. ]]>
  424. </programlisting>
  425. ここでの <classname>Zend_Search_Lucene_Document_Html</classname> オブジェクトは、
  426. <classname>Zend_Search_Lucene_Search_Query->highlightMatches()</classname> メソッドに渡された
  427. HTML から作成されるオブジェクトです。
  428. </para>
  429. <para>
  430. <code>$highlighter</code> パラメータを省略すると、
  431. <classname>Zend_Search_Lucene_Search_Highlighter_Default</classname>
  432. オブジェクトのインスタンスを作成してそれを使用します。
  433. </para>
  434. <para>
  435. <code>highlight()</code> メソッドはサブクエリ単位で起動されるので、
  436. サブクエリ単位で異なる強調処理を行うことができます。
  437. </para>
  438. <para>
  439. 実際のところ、デフォルトの処理は定義済みの色テーブルを使用しているだけです。
  440. 自前の強調処理を実装することもできますし、デフォルトの処理を継承して色テーブルだけを再定義することもできます。
  441. </para>
  442. </sect2>
  443. </sect1>