`

oracle Text 全文检索功能对中文分词的支持情况

阅读更多
[转载]oracle Text 全文检索功能对中文分词的支持情况


下面例子在XE中测试通过。

准备工作:

CREATE   TABLE issues (
    ID         NUMBER,
    summary       VARCHAR(120),
    description   CLOB,
    author     VARCHAR(80),
    ot_version VARCHAR(10)
);


INSERT INTO issues
     VALUES (1, 'Jane', 'Text does not make tea',
             'Oracle Text is unable to make morning tea', 1);

INSERT INTO issues
     VALUES (2, 'John', 'It comes in the wrong color',
             'I want to have Text in pink', 1);

INSERT INTO issues
     VALUES (3, 'Mike', 'I come from china', '所以我讲中文', 1);
--下面两句话很难解析的
INSERT INTO issues
     VALUES (4, 'Mike', 'I come from china', '吉林省长春市的人民', 1);

INSERT INTO issues
     VALUES (5, 'Mike', 'I come from china',
             '我们要积极地主动作好计划生育工作', 1);

-- define datastore preference for issues

BEGIN
   --ctx_ddl.drop_preference ('issue_lexer');
   ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB');
   ctx_ddl.create_preference ('issue_lexer', 'CHINESE_LEXER');
END;
/

-- index issues 没有指定任何lexer
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT;

--进行查询
SELECT *
  FROM issues
WHERE contains (author, '中文', 1) > 0;



会返回no rows selected。

说明:不使用lexer参数,oracle Text无法对中文进行有效检索。

接下来我们使用oracle和网上各位仁兄推荐的CHINESE_LEXER看看,执行下列语句:
DROP   INDEX issue_index;

-- index issues
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT
  PARAMETERS ('lexer issue_lexer');

SELECT *
  FROM issues
WHERE contains (author, '中文', 1) > 0;

会返回一条记录。

再执行下列查询语句:
SELECT *
  FROM issues
WHERE contains (author, '作好', 1) > 0;

SELECT *
  FROM issues
WHERE contains (author, '吉林', 1) > 0;


都没有任何返回结果。

执行下列语句:

SELECT *
  FROM issues
WHERE contains (author, '中文', 1) > 0;




有一个返回结果。

说明:CHINESE_LEXER对中文分词进行了优化,能够识别大部分中文单词,但是毕竟有很多单词难以区分。比如说,‘我们要积极地主动作好计划生育工作’被oracle 解释为:“我们要 积极 地主 动作 好  计划生育 工作”;'吉林省长春市的人民'解释为:“吉林省 长春市 的 人民”。不过效率方面自然很高。

再看看CHINESE_VGRAM_LEXER:
执行下列语句


BEGIN
   ctx_ddl.drop_preference ('issue_lexer');
   ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB');
   ctx_ddl.create_preference ('issue_lexer', 'CHINESE_VGRAM_LEXER');
END;
/

-- index issues 没有指定任何lexer
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT
  PARAMETERS ('lexer issue_lexer');

--进行查询
SELECT *
  FROM issues
WHERE contains (author, '中文', 1) > 0;

SELECT *
  FROM issues
WHERE contains (author, '作好', 1) > 0;

SELECT *
  FROM issues
WHERE contains (author, '吉林', 1) > 0;

SELECT *
  FROM issues
WHERE contains (author, '计划生育', 1) > 0;

SELECT *
  FROM issues
WHERE contains (author, '地主', 1) > 0;



都有返回结果。

说明:CHINESE_VGRAM_LEXER使用的保守分词方法,不求有功但求无过。对所有的词都可以查询到。不过效率方面就有不足了。

所有的分词结果都可以在表DR$ISSUE_INDEX$I中看到。
例子中CHINESE_VGRAM_LEXER会创建39行数据,而CHINESE_LEXER只创建23行数据。

结论:oracle Text进行中文搜索必须指定lexer 参数。如果追求效率那么使用CHINESE_LEXER,如果追求准确度那么使用CHINESE_VGRAM_LEXER。

1.2设置

首先检查数据库中是否有CTXSYS用户和CTXAPP脚色。如果没有这个用户和角色,意味着你的数据库创建时未安装intermedia功能。你必须修改数据库以安装这项功能。

还可以检查服务器是否有对PLSExtProc服务的监听。



参考文章:
http://www.oracle.com/technology/global/cn/pub/articles/asplund-textsearch.html
http://www.vckbase.com/document/viewdoc/?id=1173
http://epub.itpub.net/4/1.htm


分享到:
评论

相关推荐

    JAVA上百实例源码以及开源项目

     util实现Java图片水印添加功能,有添加图片水印和文字水印,可以设置水印位置,透明度、设置对线段锯齿状边缘处理、水印图片的路径,水印一般格式是gif,png,这种图片可以设置透明度、水印旋转等,可以参考代码...

    JAVA上百实例源码以及开源项目源代码

     util实现Java图片水印添加功能,有添加图片水印和文字水印,可以设置水印位置,透明度、设置对线段锯齿状边缘处理、水印图片的路径,水印一般格式是gif,png,这种图片可以设置透明度、水印旋转等,可以参考代码...

    java开源包1

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包11

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包2

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包3

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包6

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包5

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包10

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包4

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包8

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包7

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包9

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    java开源包101

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

    Java资源包01

    JCaptcha4Struts2 是一个 Struts2的插件,用来增加验证码的支持,使用时只需要用一个 JSP 标签 (<jcaptcha:image label="Type the text "/> ) 即可,直接在 struts.xml 中进行配置,使用强大的 JCaptcha来生成验证码...

Global site tag (gtag.js) - Google Analytics