Japanese Text and Attachment Search Test 日本語テキスト及び添付検索テスト

Word Search Test File Contents

なお、平安時代末期に成立したと見られる『源氏物語絵巻』には、絵に添えられた詞書として『源氏物語』の本文と見られるものが記されており、その中には現在知られている『源氏物語』の本文と大筋で同じながら現在発見されているどの写本にも見られない本文が含まれている。この本文は、現在確認されている限りで最も古い時代に記された『源氏物語』の本文ということになるが、「絵巻の詞書」というその性質上もともとの本文の要約である可能性などもあるため本来の『源氏物語』本文をどの程度忠実に写し取っているのか解らないとして本文研究の資料としては使用できないとされている。

Excel Search Test File Contents

『源氏物語』の原文は、専門的な教育なしには、現代人にはかなり難しいもので、瀬戸内寂聴訳が、近年、ベストセラーになったように、むしろ現代語訳で親しんでいる人々の方が多いと言える。数ある日本の古典文学の中でも、恐らくその豊かな内容の故に、最も現代語訳が試みられており、また訳者に作家が多いのも特徴である。

Powerpoint Search Test File Contents

古い時代に作られ現在まで伝わっている実際の写本は、出来上がった写本が完成当時の姿をそのまま伝えられていることは少なく、一部が欠けてしまったり、その欠けた部分を補うために別の写本と組み合わせたり、別系統の本文を持った写本と校合されていることも少なくない。またこのような状態の写本を元にしてそのまま写した写本を作成したために最初に完成した時点ですでに巻ごとに異なった系統の本文になったと見られる写本も存在する。 

PDF Search Test File Contents

The PDF is a print of the file listing only, so searches on the filenames, if working, should generate a "hit" for this file.  

PDFにはファイル名の一覧が入っているので、PDF内容検索が上手く行っていれば、ファイル名を検索すると、ヒットするはず。

Zip File Contents

The zip contains all the test search files.  

Zipファイルは、テストファイル全てを含んでいる。 

Test Results 結果

Toward Resolution 添付検索問題の改善に向けて

Lucene search in Deki Wiki is set up to index attachments by converting them to text using "filters". The filters are installed as packages during the Deki Wiki install process, and then somehow copied to /var/www/deki-hayes/bin/filters, where they are referenced by the startup xml file /var/www/deki-hayes/config/mindtouch.deki.startup.xml. Refer to the snip below.

Deki Wikiの検索エンジンは、フィルターを使い添付をテキストに変換して、インデックスしてます。Deki Wikiのインストール時、vwTextやpdf2textをパッケージとして導入して、/var/www/deki-hayes/bin/filtersにどうにかコピーされます。起動時、/var/www/deki-hayes/config/mindtouch.deki.startup.xmlと言う、スタートアップXMLよりロードされます。startup.xmlの一部を、以下をご参照。

<indexer>
     <path.store>/usr/local/var/luceneindex</path.store>
        <filter-path extension="doc">/var/www/deki-hayes/bin/filters/wvText</filter-path>
        <filter-path extension="pdf">/var/www/deki-hayes/bin/filters/pdf2text</filter-path>
        <filter-path extension="xhtml">/var/www/deki-hayes/filters/html2text</filter-path>
        <filter-path extension="html">/var/www/deki-hayes/bin/filters/html2text</filter-path>
        <filter-path extension="htm">/var/www/deki-hayes/bin/filters/html2text</filter-path>
        <filter-path extension="docx">/var/www/deki-hayes/bin/filters/docx2txt</filter-path>
        <filter-path extension="odt">/var/www/deki-hayes/bin/filters/odt2txt</filter-path>
        <filter-path extension="odp">/var/www/deki-hayes/bin/filters/odp2txt</filter-path>
        <filter-path extension="ppt">/var/www/deki-hayes/bin/filters/ppt2txt</filter-path>
        <filter-path extension="pptx">/var/www/deki-hayes/bin/filters/pptx2txt</filter-path>
        <filter-path extension="xls">/var/www/deki-hayes/bin/filters/xls2txt</filter-path>
        <filter-path extension="pl"></filter-path>
        <filter-path extension="c"></filter-path>
        <filter-path extension="h"></filter-path>
        <filter-path extension="inc"></filter-path>
        <filter-path extension="php"></filter-path>
        <filter-path extension="cs"></filter-path>
        <filter-path extension="txt"></filter-path>
        <filter-path extension="csv"></filter-path>
        <filter-path extension="xml"></filter-path>
        <filter-path extension="xsl"></filter-path>
        <filter-path extension="xslt"></filter-path>
</indexer>

Wikiページ自体でLucene検査は、ザッとテストした結果動いてそうだが、添付は中途半端。フィルターを、ちゃんと日本語を認識するように、設定しないと行けないだろう。

Resolution Strategies 改善策