Hightman 论坛 - 所有版面

php扩展问题

Mon, 30 Aug 2010 11:01:18 +0800

php.ini 加了scws.so的地址，重启php出现
PHP Warning: PHP Startup: scws: Unable to initialize module
Module compiled with module API=20050922, debug=0, thread-safety=0
PHP compiled with module API=20060613, debug=0, thread-safety=0
These options need to match
in Unknown on line 0

php版本:
linux centos PHP Version 5.2.13

无法打开类型为 xdb 数据文件是什么问题？

Sat, 28 Aug 2010 12:13:27 +0800

今天换服务器上出现这个问题

代码:

Warning: XDB::Open(dict.xdb) failed. in D:\99dy\include\scws\xdb_r.class.php on line 44

Fatal error: 无法打开类型为 xdb 数据文件 `include/scws/dict/dict.xdb` in D:\99dy\include\scws\dict.class.php on line 155

是什么原因？

SCWS不支持英文和中英文混合分词吗？

Tue, 24 Aug 2010 18:50:37 +0800

我现在想要做屏蔽词，只载入自定义的屏蔽词库，但好像英文及中英文混合分词都无效。
譬如：
$so = scws_new();
$so->set_charset('utf8');
$so->set_dict('words.txt',SCWS_XDICT_TXT);
$so->set_ignore(true);
$so->send_text("GMhello指导员");
echo '

';

while ($tmp = $so->get_result())

{

	var_dump($tmp);

}

$so->close();



在words.txt只定义如下内容

GM	1.0	1.0	*

hello指导员	1.0	1.0	*



而输出结果为：

array(1) {

  [0]=>

  array(5) {

    ["word"]=>

    string(7) "GMhello"

    ["off"]=>

    int(0)

    ["len"]=>

    int(7)

    ["idf"]=>

    float(4.86477518082)

    ["attr"]=>

    string(2) "en"

  }

}



"GM"和"hello"被合并了且"attr"变成了"en"而不是定义的"*"，而"hello指导员"被拆分了。

实际上我只载入了我自定义的词库。

如果我只用全中文的分词是正常的。

不知道SCWS是不是不支持英文的分词啊。

麻烦站长解释一下“透过scws_get_result()取数据时自行排除单个字”

Fri, 20 Aug 2010 19:00:46 +0800

今天刚安装好了，用了很舒服。但有些分好的词都带有某些不重要的字。

如“我的秘密花园”里面的‘我’，‘的’我是都想去掉的。看了你的回帖，但是摸不着头脑是如何通过透过scws_get_result()取数据时自行排除...

还请站长指教一二，或者有经验的朋友指点一下啊。

非常感谢！

Hightman您好，我的分词怎么不对啊

Wed, 18 Aug 2010 21:11:52 +0800

终于编译了，也设置成功，字典位置也很正确，可是分词却不对！！
No. WordString Attr Weight(times)
-------------------------------------------------
01. 权利 nr 7.00(2)
02. 陈凯歌 nr 3.50(1)
03. 包括导 nr 3.50(1)
04. 权人 nr 3.50(1)
05. 权归电 nr 3.50(1)
06. 成小 nr 3.50(1)
07. 成半个 nr 3.50(1)
08. 连环画 nr 3.50(1)
09. 权利人 nr 3.50(1)
10. 许可又 nr 3.50(1)

-------------------------------------------------
陈凯歌/nr 权人/nr 权归电/nr

包括导/nr 成小/nr 连环画/nr 成半个/nr

一个/mt 权利/nr 权利/nr 权利人/nr 许可又/nr

一九八零年/mt

这是怎么回事啊

一个题外话，请教hightman大侠编写php扩展的经验

Wed, 18 Aug 2010 19:05:15 +0800

最近在研究PHP扩展的开发，看了一些资料，发现没有一篇文章、一份资料能非常全面的把PHP扩展开发讲明白，hightman写的scws的php扩展非常好，可以分享一下参考了哪些资料，还有经验总结么？

SCWS切分的字符串是否有长度限制？

Wed, 18 Aug 2010 18:58:54 +0800

在linux下装了scws1.1.2，并且装了php5的扩展，但是发现在分词时对于较长的字符串会自动截取前多少个字符进行切分，不知这是不是一个BUG？

为什么我编译SCWS-1.1.1失败

Wed, 18 Aug 2010 09:56:14 +0800

checking for pow... yes
checking for realpath... yes
checking for strcasecmp... yes
checking for strchr... yes
checking for strdup... yes
checking for strrchr... yes
checking for strndup... yes
checking for strtok_r... yes
checking for mmap... yes
checking for struct flock... yes
configure: creating ./config.status
config.status: creating Makefile
config.status: WARNING: 'Makefile.in' seems to ignore the --datarootdir setting
config.status: creating libscws/Makefile
config.status: WARNING: 'libscws/Makefile.in' seems to ignore the --datarootdir setting
config.status: creating etc/Makefile
config.status: WARNING: 'etc/Makefile.in' seems to ignore the --datarootdir setting
config.status: creating cli/Makefile
config.status: WARNING: 'cli/Makefile.in' seems to ignore the --datarootdir setting
config.status: creating config.h
config.status: config.h is unchanged
config.status: executing depfiles commands
-bash: make: command not found
-bash: make: command not found

Centos系统！

安装scws-1.1.2 时 php扩展出现问题。

Wed, 11 Aug 2010 12:18:27 +0800

1) 进入源码目录的 phpext/ 目录 ( cd ~/scws-1.1.1 )
2) 执行 phpize （在PHP安装目录的bin/目录下）
3) 执行 ./configure --with-scws=/usr/local/scws
执行第3步时出现

checking for gawk... no
checking for nawk... nawk
checking if nawk is broken... no
checking for scws support... yes, shared
checking for scws_new in -lscws... no
configure: error: wrong scws lib version or lib not found

环境： Freebsd 8.0

scws_has_word的逻辑问题

Thu, 29 Jul 2010 13:10:26 +0800

引用:int scws_has_word(scws_t s, char *xattr)
{
int off, cnt, xmode = SCWS_NA;
scws_res_t res, cur;
char *word;
word_attr *at = NULL;

if (!s || !s->txt)
return 0;

__PARSE_XATTR__;

// save the offset. (cnt -> return_value)
off = s->off;
cnt = s->off = 0;
while (!cnt && (cur = res = scws_get_result(s)) != NULL)
{
do
{
/* check attribute filter */
if (at != NULL)
{
if ((xmode == SCWS_NA) && _attr_belong(cur->attr, at))
cnt = 1;

if ((xmode == SCWS_YEA) && !_attr_belong(cur->attr, at))
cnt = 1;
}
}
while (!cnt && (cur = cur->next) != NULL);
scws_free_result(res);
}
s->off = off;
return cnt;
}

如果xattr是NULL，返回的将会是0
另外，scws_get_words返回的包括标点，不知道是否是设计的原意？

新手問題

Thu, 29 Jul 2010 12:50:07 +0800

1. 請問idf怎麼算呀?這有什麼意思?

2. send_text之後,PHP中怎麼看到tf呢?

请问xdb里的tf idf是那来的计数据呢?

有没有添加单个或多个词的函数？

Wed, 28 Jul 2010 18:19:20 +0800

正如之前的帖子描述，scws_has_word这个函数可以用来检测非法词。当前我的项目中禁止词是放在数据库里面（为了方便增删改），如果每次加载词典都要把禁止词写到临时文件，然后添加，觉得有点过于麻烦。是否可以提供添加单个或多个词的函数？

PSCWS4支持文本词典实现自定义词库吗？

Wed, 28 Jul 2010 14:40:31 +0800

如题，是不是不可以呀？我没找到对应的api

SCWS在IIS环境无法正常加载？

Wed, 21 Jul 2010 22:14:44 +0800

我在WINDOWS XP + APACHE + PHP5环境加载正常，但在WINDOWS 2003 + IIS 6.0 + PHP5（这个配置环境正常，可以顺利运行其他PHP代码，执行MYSQL操作）却无法正常加载

我在输入php -m的时候见不到scws的踪影，因正式工作环境是后者，所以想像开发者确认下是不是IIS环境不能支持？

分词切分

Wed, 21 Jul 2010 16:36:28 +0800

坛主你好！
请问现在的分词有把停用词和高频词过滤掉么？看不到在那一块儿。

求救PSCWS4问题

Wed, 21 Jul 2010 10:59:13 +0800

这是我的代码：

PHP 代码:

// 加入头文件
require 'pscws/pscws4.class.php';
header("Content-Type:text/html;charset=utf-8");    
// 建立分词类对像, 参数为字符集, 默认为 gbk, 可在后面调用 set_charset 改变
$pscws = new PSCWS4('utf-8');

$pscws->set_ignore('yes');
$pscws->set_dict('E:/scws/etc/dict.utf8.xdb');
$pscws->set_rule('E:/scws/etc/rules_cht.utf8.ini');

// 分词调用 send_text() 将待分词的字符串传入, 紧接着循环调用 get_result() 方法取回一系列分好的词
// 直到 get_result() 返回 false 为止
// 返回的词是一个关联数组, 包含: word 词本身, idf 逆词率(重), off 在text中的偏移, len 长度, attr 词性
//
$text = "中国航天官员应邀到美国与太空总署官员开会";
$pscws->send_text($text);
while ($some = $pscws->get_result())
{
   foreach ($some as $word)
   {
       echo $word['word'].'=>'.$word['attr'].'
';

   }
   flush();
}
$pscws->close();

?>

网页上的显示结果却是：
航天=>nr
?员庽>nr
?员=>nr

有高手帮解决初级问题吗>?

Tue, 20 Jul 2010 19:12:40 +0800

我编译后没有实现分词功能,只分字了.图片如下
[attachment=1200]

只实现了分字,并没实现分词!!!!!

我自己找到原因了,哈哈.原来是字典没加载成功.

我从这个帖子找到原因的
http://www.hightman.cn/bbs/showthread.php?tid=37

论坛BUG

Thu, 15 Jul 2010 01:54:34 +0800

对不起撒，无意中发现的BUG，看我另外的帖子，标题导致BUG

【已解决】【感谢hightman帅哥的耐心解答，我是个人站长，要是我做起来了一定赞助您撒，�

Wed, 14 Jul 2010 12:40:31 +0800

正确写法，官方多写了一个T吧，那个代码反正我试验是错误的！

PHP 代码:

$cws->add_dict(ini_get("scws.default.fpath").'/dict.xdb'); 
$cws->add_dict("./dict_extra.txt", SCWS_XDICT_TXT); 

在说说词分词测试：
我的网址：http://sjz.haojishu.com/tools/222.php
官方网址：http://www.ftphp.com/scws/demo/v48.php

同时输入下边的词，大家看看：
石家庄河北师大播音主持培训中心高考暑假班招生啦

选项选择这些：
二元清除标点只看统计打钩并写 2

官方结果明显正确，为啥我安装的不一样的呢？

在说第三点：删除词条：
输入：陈凯歌是个帅哥吗

我限制了删除了陈凯歌但是实际没有效果啊，
代码可以直接查看，限制词典位置在：
http://sjz.haojishu.com/tools/dict_extra.txt
见鬼啊！

如何使分词結果不包含一个單字的词?..

Tue, 06 Jul 2010 18:29:53 +0800

如題..

请问如何使分词結果不包含單一个中文字的词? 不考慮词性.只要是單个中文字都不要,应該從哪里去設置最簡便?