<![CDATA[Hightman 论坛 - 所有版面]]> http://www.hightman.cn/bbs/ Thu, 11 Mar 2010 08:30:23 +0800 MyBB <![CDATA[求助：数据库ip更改了，如何链接上数据库？]]> http://www.hightman.cn/bbs/showthread.php?tid=721 Sun, 07 Mar 2010 00:19:01 +0800 http://www.hightman.cn/bbs/showthread.php?tid=721 由于网络整顿，空间商将我的源码空间ip更换成a，而数据库空间的ip更换成了b，
这样访问主页的时候，提示数据库链接错误，我如何修改才能正常链接数据库？或者怎样做才能正常打开网站？

“D:\wwwroot\guizumi\wwwroot\” 是我的虚拟空间

页面提示如下：
Warning: mysql_connect() [function.mysql-connect]: Can't connect to MySQL server on '61.152.175.9' (10060) in D:\wwwroot\guizumi\wwwroot\_lib\my_Mysql.class.php on line 69

Fatal error: Can't connect to mysql server: sq_123@61.152.175.9. in D:\wwwroot\guizumi\wwwroot\_lib\my_Common.inc.php on line 76]]> 由于网络整顿，空间商将我的源码空间ip更换成a，而数据库空间的ip更换成了b，
这样访问主页的时候，提示数据库链接错误，我如何修改才能正常链接数据库？或者怎样做才能正常打开网站？

“D:\wwwroot\guizumi\wwwroot\” 是我的虚拟空间

页面提示如下：
Warning: mysql_connect() [function.mysql-connect]: Can't connect to MySQL server on '61.152.175.9' (10060) in D:\wwwroot\guizumi\wwwroot\_lib\my_Mysql.class.php on line 69

Fatal error: Can't connect to mysql server: sq_123@61.152.175.9. in D:\wwwroot\guizumi\wwwroot\_lib\my_Common.inc.php on line 76]]> <![CDATA[发布scws-1.1.1 修正内存泄露的bug(同时修复php的xdb导入导出)]]> http://www.hightman.cn/bbs/showthread.php?tid=719 Thu, 04 Mar 2010 18:56:07 +0800 http://www.hightman.cn/bbs/showthread.php?tid=719 backluck的报告)

下载地址
http://www.ftphp.com/scws/down/scws-1.1.1.tar.bz2

附带修正了 php写的 xdb 导入导出工具, 下载
http://www.ftphp.com/scws/down/phptool_for_scws_xdb.zip]]> backluck的报告)

下载地址
http://www.ftphp.com/scws/down/scws-1.1.1.tar.bz2

附带修正了 php写的 xdb 导入导出工具, 下载
http://www.ftphp.com/scws/down/phptool_for_scws_xdb.zip]]> <![CDATA[为什么程序消耗的内存越来越大]]> http://www.hightman.cn/bbs/showthread.php?tid=716 Tue, 02 Mar 2010 17:21:40 +0800 http://www.hightman.cn/bbs/showthread.php?tid=716 #include <stdlib.h>
int main()
{
scws_t s;
scws_res_t res, cur;
char *text = "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言";

int i;
if (!(s = scws_new())) {
printf("error, can't init the scws_t!\n");
exit(-1);
}
scws_set_charset(s, "gbk");
scws_set_dict(s, "/usr/local/scws/etc/dict.xdb", SCWS_XDICT_XDB);
scws_set_rule(s, "/usr/local/scws/etc/rules.ini");

for(i = 0; i < 1000000; i++){
scws_send_text(s, text, strlen(text));
while (res = cur = scws_get_result(s))
{
while (cur != NULL)
{
printf("Word: %.*s/%s (IDF = %4.2f)\n",
cur->len, text+cur->off, cur->attr, cur->idf);
cur = cur->next;
}
scws_free_result(res);
}
}
scws_free(s);
return 0;
}
//上面的程序消耗的内存越来越大，不解]]> #include <stdlib.h>
int main()
{
scws_t s;
scws_res_t res, cur;
char *text = "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言";

int i;
if (!(s = scws_new())) {
printf("error, can't init the scws_t!\n");
exit(-1);
}
scws_set_charset(s, "gbk");
scws_set_dict(s, "/usr/local/scws/etc/dict.xdb", SCWS_XDICT_XDB);
scws_set_rule(s, "/usr/local/scws/etc/rules.ini");

for(i = 0; i < 1000000; i++){
scws_send_text(s, text, strlen(text));
while (res = cur = scws_get_result(s))
{
while (cur != NULL)
{
printf("Word: %.*s/%s (IDF = %4.2f)\n",
cur->len, text+cur->off, cur->attr, cur->idf);
cur = cur->next;
}
scws_free_result(res);
}
}
scws_free(s);
return 0;
}
//上面的程序消耗的内存越来越大，不解]]> <![CDATA[[特别提供] 纯PHP编写的sqlite词典工具！！]]> http://www.hightman.cn/bbs/showthread.php?tid=714 Sat, 27 Feb 2010 15:59:31 +0800 http://www.hightman.cn/bbs/showthread.php?tid=714 原因：我希望给网站提供分词功能，但是，我只能用php方式，也不能修改服务器的设置（合租的服务器，windows环境），所以我只能用scws23了，但是词库我希望自己修改添加，但是XDB，这个格式我用了hightman提供的导入导出工具，就像本网站的PHP的XDB导入导出工具里面提到的，我花了一些时间DEBUG后也用不了（导出txt总是内存溢出，而由txt生成的XDB在scws23也无效）！最后，我放弃了XDB，但是嘛，直接用TXT也不好，内存占用太大，效率也低。后面，我分析了一下demo程序，就借用作者的程序形成了sqlite的工具了，毕竟sqlite是PHP5开始默认支持的轻量级文本数据库引擎，也是不错的东西（关键是php5环境一般都支持）

附件是用txt生成sqlite词库的程序，用命令行方式运行！
php make_sqlite.php dict.sqlite dict.txt
参数第一个 dict.sqlite是词库的名称
参数第二个 dict.txt是输入词库的文本文件（本网站本网站的PHP的XDB导入导出工具作者提供了一个繁体UTF8的，一定要转换为GBK）

注意：： 本程序只支持GBK！！我没有用mbstring进行代码转换的！
如果你是utf8，自己修改程序去吧，也不复杂（utf8的一个汉字是3个字符，记住！）
重申一下附件 make_sqlite.php 是命令行运行的，生成词库（当然已有的新添加词也可以，只要你是原有的库再导入就是添加了）
========================
为便于使用，提供的
附件 make_sqlite_web.php 是网站运行的，主要是提供一个工具用于你随时添加词（当然原来没有词库就是新生成了）
========================
实际应用的效果：
证券动态新闻 对里面的新闻信息分词加亮
资料库 对里面文章部分的分词加亮
百科知道 对问题的分词加亮

希望对大家有用！

本程序调试运行是在：windows2003 IIS6 + PHP5.3 FASTCGI 和 windows2003 IIS6 + PHP5.2 ISAPI 运行正常]]> 原因：我希望给网站提供分词功能，但是，我只能用php方式，也不能修改服务器的设置（合租的服务器，windows环境），所以我只能用scws23了，但是词库我希望自己修改添加，但是XDB，这个格式我用了hightman提供的导入导出工具，就像本网站的PHP的XDB导入导出工具里面提到的，我花了一些时间DEBUG后也用不了（导出txt总是内存溢出，而由txt生成的XDB在scws23也无效）！最后，我放弃了XDB，但是嘛，直接用TXT也不好，内存占用太大，效率也低。后面，我分析了一下demo程序，就借用作者的程序形成了sqlite的工具了，毕竟sqlite是PHP5开始默认支持的轻量级文本数据库引擎，也是不错的东西（关键是php5环境一般都支持）

附件是用txt生成sqlite词库的程序，用命令行方式运行！
php make_sqlite.php dict.sqlite dict.txt
参数第一个 dict.sqlite是词库的名称
参数第二个 dict.txt是输入词库的文本文件（本网站本网站的PHP的XDB导入导出工具作者提供了一个繁体UTF8的，一定要转换为GBK）

注意：： 本程序只支持GBK！！我没有用mbstring进行代码转换的！
如果你是utf8，自己修改程序去吧，也不复杂（utf8的一个汉字是3个字符，记住！）
重申一下附件 make_sqlite.php 是命令行运行的，生成词库（当然已有的新添加词也可以，只要你是原有的库再导入就是添加了）
========================
为便于使用，提供的
附件 make_sqlite_web.php 是网站运行的，主要是提供一个工具用于你随时添加词（当然原来没有词库就是新生成了）
========================
实际应用的效果：
证券动态新闻 对里面的新闻信息分词加亮
资料库 对里面文章部分的分词加亮
百科知道 对问题的分词加亮

希望对大家有用！

本程序调试运行是在：windows2003 IIS6 + PHP5.3 FASTCGI 和 windows2003 IIS6 + PHP5.2 ISAPI 运行正常]]> <![CDATA[词库]]> http://www.hightman.cn/bbs/showthread.php?tid=713 Thu, 25 Feb 2010 13:19:24 +0800 http://www.hightman.cn/bbs/showthread.php?tid=713 <![CDATA[[2010] SCWS-1.1.1 发布，支持文本词典实现自定义词库啦！！]]> http://www.hightman.cn/bbs/showthread.php?tid=712 Fri, 29 Jan 2010 14:07:23 +0800 http://www.hightman.cn/bbs/showthread.php?tid=712
--
scws-1.1.1 发布于 2010-3-4
这是一个bug修正版，1.1.0 中存在内存泄露的重大bug。
--
scws-1.1.0 发布于 2010-1-29
项目主页：http://www.ftphp.com/scws
项目演示：http://www.ftphp.com/scws/demo/v4.php（含自定词汇功能）
TF/IDF简易查询计算器：http://www.ftphp.com/scws/demo/get_tfidf.php (用于新词添加时不知怎么设tf,idf的话)
基于SCWS自动分类演示：http://www.ftphp.com/scws/demo/a.php（输入一段文字系统自动给出最合适的分类建议）

-- 新增或变动的 API --
1. [libscws] scws_set_dict(scws_t s, const char *fpath, int mode); scws_add_dict(scws_t s, const char *fpath, int mode);
scws_set_dict 为原有功能，scws_add_dict 是新增功能，2者功能相当接近，只是 scws_set_dict 会把 scws handler 现存的词库表
清空，并设为当前的词库，而 scws_add_dict 只是将该词库添加到 scws handler 的词库表中，并优先使用。

scws_add_dict 添加的词库，越后面添加的查询优先级越高，即相当于可以覆盖前面的词库。
参数 mode 包括三个值：SCWS_XDICT_XDB, SCWS_XDICT_MEM, SCWS_XDICT_TXT,
TXT意未着 fpath 指向的词库文件为纯文本文件, 可以通过按位与(|)与另2项链接表示是否强制将词库加载到内存.
除TXT外只支持XDB格式的词库了。

2个函数的返回值均为 int，成功为1 失败是0。此外，词库的字符集必须和 scws_set_charset()指定的相匹配，以免出错。

** 详解 TXT 词库的写法 (TXT词库目前已兼容 cli/scws_gen_dict 所用的文本词库) **
1) 每行一条记录，以 # 或 分号开头的相当于注释，忽略跳过。
2) 每行由4个字段组成，依次为“词语"(由中文字或3个以下的字母合成), "TF", "IDF", "词性"， 字段时间用空格或制表符分开，数量不限，可自行对齐以美化。
3) 除“词语”外，其它字段可忽略不写。若忽略，TF和IDF默认值为 1.0 而 词性为 "@"
4) 由于 txt 库动态加载（内部监测文件修改时间自动转换成 xdb 存于系统临时目录），故建议TXT词库不要过大！
5) 删除词作法，请将词性设为“!“，则表示该词设为无效，即使在其它核心库中存在该词也视为无效。

2. [libscws] 新增 int scws_has_word(const char *xattr); 和 scws_top_t scws_get_words(const char *xattr); 两个函数
1. 参数 xattr 和 scws_get_tops 的参数是一样的，指定词性，多个词性之间用逗号(,)分隔，若以 ~ 开头则表示不在该词性列表中即可。
2. 两个函数均应在 scws_send_text 之后调用，scws_has_word 用于判断文本中是否包含 xattr 词性的词汇，常用于脏词判断，将脏词统一设为一个词性。
3. scws_get_words 返回词性属于 xattr 的词汇列表，返回顺序为词出现的先后顺序，词的结构和 get_tops 一样，包含 weight, times 的统计。

3. 以后上新或改动的 api 同步反应在 php 扩展中，对应的原型如下：
函数调用形式：bool scws_set_dict(Resource scws_handler, string filepath[, int mode = SCWS_XDICT_XDB]);
bool scws_add_dict(Resource scws_handler, string filepath[, int mode = SCWS_XDICT_XDB]);
bool scws_has_word(Resource scws_handler, string xattr);
Array scws_get_words(Resource scws_handler, string xattr); 若不存在返回空数组，而不是 false

对象调用形式：bool scws->set_dict(string filepath[, int mode = SCWS_XDICT_XDB]);
bool scws->add_dict(string filepath[, int mode = SCWS_XDICT_XDB]);
bool scws->has_word(string xattr);
Array scws->get_words(string xattr); 若不存在返回空数组，而不是 false

特别注意，原 scws 在不指定任何词库的情况下会自动搜索 ini(scws.default.fpath) 底下的 dict.xdb/dict.utf8.xdb，如果调用过 add_dict 或 set_dict
则不会再触发该功能，故采用额外词库时原核心词库必须显式地调用才行。

-- [color]新功能用法示例[/color] (php为例) --
1. 自定义词库，含新增核心库不存在的词汇及删除核心库存在词汇的功能
1) 创建相应字符集的词库文件 dict_extra.txt
2) TF/IDF 参考值查询，为方便大家我作了一个工具自动查询！！( http://www.ftphp.com/scws/demo/get_tfidf.php)
3) 切记要删除的词用 ! 作为词性，比如以下文件：
代码:
; dict_extra.txt
我是新增词     2.0
再试一个       1.0       1.0    @
; 以下词为删除项
删除           1.0      1.0    !
4) 然后将 dict_extra.txt 在原核心库后加载，如：
$cws->add_dict(init_get("scws.default.fpath").'/dict.xdb');
$cws->add_dict("/path/to/dict_extra.txt", SCWS_XDICT_TXT);
...

2. 非法关键词的判断及获取（可用于过滤。。）
1) 将非法词汇收集整理，作成 txt 格式文件，统一将其属性设为 '*' 即可
2) 按步骤最后加载黑词词库
3) 在 $cws->send_text($text); 之后
调用 $cws->has_word("*"); 来判断是否包含黑词, 该函数效率较高, 只要判断到一个黑词即返回true
调用 $cws->get_words("*"); 则可以获取黑词清单，显式地告诉用户它的内容包含了哪些非法词汇。。。]]>
--
scws-1.1.1 发布于 2010-3-4
这是一个bug修正版，1.1.0 中存在内存泄露的重大bug。
--
scws-1.1.0 发布于 2010-1-29
项目主页：http://www.ftphp.com/scws
项目演示：http://www.ftphp.com/scws/demo/v4.php（含自定词汇功能）
TF/IDF简易查询计算器：http://www.ftphp.com/scws/demo/get_tfidf.php (用于新词添加时不知怎么设tf,idf的话)
基于SCWS自动分类演示：http://www.ftphp.com/scws/demo/a.php（输入一段文字系统自动给出最合适的分类建议）

-- 新增或变动的 API --
1. [libscws] scws_set_dict(scws_t s, const char *fpath, int mode); scws_add_dict(scws_t s, const char *fpath, int mode);
scws_set_dict 为原有功能，scws_add_dict 是新增功能，2者功能相当接近，只是 scws_set_dict 会把 scws handler 现存的词库表
清空，并设为当前的词库，而 scws_add_dict 只是将该词库添加到 scws handler 的词库表中，并优先使用。

scws_add_dict 添加的词库，越后面添加的查询优先级越高，即相当于可以覆盖前面的词库。
参数 mode 包括三个值：SCWS_XDICT_XDB, SCWS_XDICT_MEM, SCWS_XDICT_TXT,
TXT意未着 fpath 指向的词库文件为纯文本文件, 可以通过按位与(|)与另2项链接表示是否强制将词库加载到内存.
除TXT外只支持XDB格式的词库了。

2个函数的返回值均为 int，成功为1 失败是0。此外，词库的字符集必须和 scws_set_charset()指定的相匹配，以免出错。

** 详解 TXT 词库的写法 (TXT词库目前已兼容 cli/scws_gen_dict 所用的文本词库) **
1) 每行一条记录，以 # 或 分号开头的相当于注释，忽略跳过。
2) 每行由4个字段组成，依次为“词语"(由中文字或3个以下的字母合成), "TF", "IDF", "词性"， 字段时间用空格或制表符分开，数量不限，可自行对齐以美化。
3) 除“词语”外，其它字段可忽略不写。若忽略，TF和IDF默认值为 1.0 而 词性为 "@"
4) 由于 txt 库动态加载（内部监测文件修改时间自动转换成 xdb 存于系统临时目录），故建议TXT词库不要过大！
5) 删除词作法，请将词性设为“!“，则表示该词设为无效，即使在其它核心库中存在该词也视为无效。

2. [libscws] 新增 int scws_has_word(const char *xattr); 和 scws_top_t scws_get_words(const char *xattr); 两个函数
1. 参数 xattr 和 scws_get_tops 的参数是一样的，指定词性，多个词性之间用逗号(,)分隔，若以 ~ 开头则表示不在该词性列表中即可。
2. 两个函数均应在 scws_send_text 之后调用，scws_has_word 用于判断文本中是否包含 xattr 词性的词汇，常用于脏词判断，将脏词统一设为一个词性。
3. scws_get_words 返回词性属于 xattr 的词汇列表，返回顺序为词出现的先后顺序，词的结构和 get_tops 一样，包含 weight, times 的统计。

3. 以后上新或改动的 api 同步反应在 php 扩展中，对应的原型如下：
函数调用形式：bool scws_set_dict(Resource scws_handler, string filepath[, int mode = SCWS_XDICT_XDB]);
bool scws_add_dict(Resource scws_handler, string filepath[, int mode = SCWS_XDICT_XDB]);
bool scws_has_word(Resource scws_handler, string xattr);
Array scws_get_words(Resource scws_handler, string xattr); 若不存在返回空数组，而不是 false

对象调用形式：bool scws->set_dict(string filepath[, int mode = SCWS_XDICT_XDB]);
bool scws->add_dict(string filepath[, int mode = SCWS_XDICT_XDB]);
bool scws->has_word(string xattr);
Array scws->get_words(string xattr); 若不存在返回空数组，而不是 false

特别注意，原 scws 在不指定任何词库的情况下会自动搜索 ini(scws.default.fpath) 底下的 dict.xdb/dict.utf8.xdb，如果调用过 add_dict 或 set_dict
则不会再触发该功能，故采用额外词库时原核心词库必须显式地调用才行。

-- [color]新功能用法示例[/color] (php为例) --
1. 自定义词库，含新增核心库不存在的词汇及删除核心库存在词汇的功能
1) 创建相应字符集的词库文件 dict_extra.txt
2) TF/IDF 参考值查询，为方便大家我作了一个工具自动查询！！( http://www.ftphp.com/scws/demo/get_tfidf.php)
3) 切记要删除的词用 ! 作为词性，比如以下文件：
代码:
; dict_extra.txt
我是新增词     2.0
再试一个       1.0       1.0    @
; 以下词为删除项
删除           1.0      1.0    !
4) 然后将 dict_extra.txt 在原核心库后加载，如：
$cws->add_dict(init_get("scws.default.fpath").'/dict.xdb');
$cws->add_dict("/path/to/dict_extra.txt", SCWS_XDICT_TXT);
...

2. 非法关键词的判断及获取（可用于过滤。。）
1) 将非法词汇收集整理，作成 txt 格式文件，统一将其属性设为 '*' 即可
2) 按步骤最后加载黑词词库
3) 在 $cws->send_text($text); 之后
调用 $cws->has_word("*"); 来判断是否包含黑词, 该函数效率较高, 只要判断到一个黑词即返回true
调用 $cws->get_words("*"); 则可以获取黑词清单，显式地告诉用户它的内容包含了哪些非法词汇。。。]]> <![CDATA[libscws的问题]]> http://www.hightman.cn/bbs/showthread.php?tid=704 Wed, 02 Dec 2009 16:51:03 +0800 http://www.hightman.cn/bbs/showthread.php?tid=704 我大致用README中提供的例子对 "我是一名中国的程序员"这句话，进行分词，
代码如下:
PHP 代码:
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <scws.h>

int
main(int argc, char *argv[])
{
        scws_t s;
        scws_res_t res, cur;
        char *text;// = "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言";
        text = "我是一名中国的程序员";

        if(argc == 2)
                text = argv[1];

        if (!(s = scws_new())) {
                printf("error, can't init the scws_t!\n");
                exit(-1);
        }

        scws_set_charset(s, "gbk");
        scws_set_multi(s, 1);
        scws_set_dict(s, "/usr/local/etc/dict_chs_gbk.xdb", SCWS_XDICT_MEM);
        scws_set_rule(s, "/usr/local/etc/rules.ini");

        scws_send_text(s, text, strlen(text));
        while (res = cur = scws_get_result(s))
        {
                while (cur)
                {
                        printf("Word: %.*s/%s (IDF = %4.2f)\n", cur->len, text+cur->off, cur->attr, cur->idf);
                        printf("length: %d\n", cur->len);
                        cur = cur->next;
                }
                scws_free_result(res);
        }

        scws_free(s);

} 

但是，发现“中国”这个词没有被分出来：
Word: 我/un (IDF = 0.00)
length: 2
Word: 是/un (IDF = 0.00)
length: 2
Word: 一名/mt (IDF = 1.00)
length: 4
Word: 中/un (IDF = 0.00)
length: 2
Word: 国/un (IDF = 0.00)
length: 2
Word: 的/un (IDF = 0.00)
length: 2
Word: 程序员/nr (IDF = 3.50)
length: 6

但词库中是存在“中国”这个词的，是不是我程序中哪里设置的不对呢？

还有就是，在对默认提供的 "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言" 这句话进行分词的时候，除了Hello和C#这两个单词，其他都没有切分出来！]]> 我大致用README中提供的例子对 "我是一名中国的程序员"这句话，进行分词，
代码如下:
PHP 代码:
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <scws.h>

int
main(int argc, char *argv[])
{
        scws_t s;
        scws_res_t res, cur;
        char *text;// = "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言";
        text = "我是一名中国的程序员";

        if(argc == 2)
                text = argv[1];

        if (!(s = scws_new())) {
                printf("error, can't init the scws_t!\n");
                exit(-1);
        }

        scws_set_charset(s, "gbk");
        scws_set_multi(s, 1);
        scws_set_dict(s, "/usr/local/etc/dict_chs_gbk.xdb", SCWS_XDICT_MEM);
        scws_set_rule(s, "/usr/local/etc/rules.ini");

        scws_send_text(s, text, strlen(text));
        while (res = cur = scws_get_result(s))
        {
                while (cur)
                {
                        printf("Word: %.*s/%s (IDF = %4.2f)\n", cur->len, text+cur->off, cur->attr, cur->idf);
                        printf("length: %d\n", cur->len);
                        cur = cur->next;
                }
                scws_free_result(res);
        }

        scws_free(s);

} 

但是，发现“中国”这个词没有被分出来：
Word: 我/un (IDF = 0.00)
length: 2
Word: 是/un (IDF = 0.00)
length: 2
Word: 一名/mt (IDF = 1.00)
length: 4
Word: 中/un (IDF = 0.00)
length: 2
Word: 国/un (IDF = 0.00)
length: 2
Word: 的/un (IDF = 0.00)
length: 2
Word: 程序员/nr (IDF = 3.50)
length: 6

但词库中是存在“中国”这个词的，是不是我程序中哪里设置的不对呢？

还有就是，在对默认提供的 "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言" 这句话进行分词的时候，除了Hello和C#这两个单词，其他都没有切分出来！]]> <![CDATA[新手疑问]]> http://www.hightman.cn/bbs/showthread.php?tid=701 Tue, 10 Nov 2009 11:12:01 +0800 http://www.hightman.cn/bbs/showthread.php?tid=701
而 +“合同法” -“省” ，+“合同法” -“浙江” 都无效？后者还是会出来带省和浙江的内容。

而词典里 浙江省 ，浙江，省 这几个词条都是存在的， 有没有什么办法让+“合同法” -“省” ，+“合同法” -“市” ，+“合同法” -“县”， 都有效呢]]>
而 +“合同法” -“省” ，+“合同法” -“浙江” 都无效？后者还是会出来带省和浙江的内容。

而词典里 浙江省 ，浙江，省 这几个词条都是存在的， 有没有什么办法让+“合同法” -“省” ，+“合同法” -“市” ，+“合同法” -“县”， 都有效呢]]> <![CDATA[Unable to load dynamic library './usr/lib/php/scws.so']]> http://www.hightman.cn/bbs/showthread.php?tid=696 Tue, 13 Oct 2009 12:07:19 +0800 http://www.hightman.cn/bbs/showthread.php?tid=696 Unable to load dynamic library './usr/lib/php/scws.so' ... cannot open shared object file: No such file or directory in Unknown on line 0

我的php.ini 配置是：
[scws]
extension = "/usr/lib/php/scws.so"
scws.default.charset = gbk
scws.default.fpath = /usr/local/scws/etc/

我的scws.so文件确实存在于/usr/lib/php/目录下的，但没有在/usr/local/scws/etc/目录下，我试过复制一个过来也不行。

实际上我用phpinfo() 在页面上可以看到scws已经可用了，而且确实可用，但是在shell脚本下执行php -m 总是报错。
请各位帮忙解决！ 谢谢！]]> Unable to load dynamic library './usr/lib/php/scws.so' ... cannot open shared object file: No such file or directory in Unknown on line 0

我的php.ini 配置是：
[scws]
extension = "/usr/lib/php/scws.so"
scws.default.charset = gbk
scws.default.fpath = /usr/local/scws/etc/

我的scws.so文件确实存在于/usr/lib/php/目录下的，但没有在/usr/local/scws/etc/目录下，我试过复制一个过来也不行。

实际上我用phpinfo() 在页面上可以看到scws已经可用了，而且确实可用，但是在shell脚本下执行php -m 总是报错。
请各位帮忙解决！ 谢谢！]]> <![CDATA[分词改进需求]]> http://www.hightman.cn/bbs/showthread.php?tid=695 Mon, 12 Oct 2009 10:32:49 +0800 http://www.hightman.cn/bbs/showthread.php?tid=695
原来文本:

转让二手徐工汽车吊，二手16吨吊车，二手25吨吊车 15千克压力机

使用scws分词后:

转让 二手 徐工 汽车吊 ， 二手 16 吨 吊车 ， 二手 25 吨 吊车 15 千克 压力机

分词非常准确,基本能满足需求,美中不足的是: 25吨,16千克 不能分成整体的词,如果把25吨放入词库确实也能解决问题,只是现实中可能有5~1000吨,总不能一个一个都放进去,所以还是建议在算法上增加此功能比较理想]]>
原来文本:

转让二手徐工汽车吊，二手16吨吊车，二手25吨吊车 15千克压力机

使用scws分词后:

转让 二手 徐工 汽车吊 ， 二手 16 吨 吊车 ， 二手 25 吨 吊车 15 千克 压力机

分词非常准确,基本能满足需求,美中不足的是: 25吨,16千克 不能分成整体的词,如果把25吨放入词库确实也能解决问题,只是现实中可能有5~1000吨,总不能一个一个都放进去,所以还是建议在算法上增加此功能比较理想]]> <![CDATA[寻模板风格制作高人]]> http://www.hightman.cn/bbs/showthread.php?tid=694 Thu, 08 Oct 2009 12:17:19 +0800 http://www.hightman.cn/bbs/showthread.php?tid=694 或者，重金聘请模板风格制作高人制作本网站的首页及栏目整合。

联系方式：qq：3527057
55202169

MSN：cstarking@hotmail.com
bzxcl@hotmail.com]]> 或者，重金聘请模板风格制作高人制作本网站的首页及栏目整合。

联系方式：qq：3527057
55202169

MSN：cstarking@hotmail.com
bzxcl@hotmail.com]]> <![CDATA[请教phpbb的搜索问题]]> http://www.hightman.cn/bbs/showthread.php?tid=693 Wed, 07 Oct 2009 00:56:44 +0800 http://www.hightman.cn/bbs/showthread.php?tid=693
环境如下：
Centos 5
MySQL 5.0.84
PHP 5.2.11

phpBB 3.0.5

帖子数30多万，主题近两万。

曾经使用过两分法，但索引太大，重建几乎不可能。

请问如何解决。]]>
环境如下：
Centos 5
MySQL 5.0.84
PHP 5.2.11

phpBB 3.0.5

帖子数30多万，主题近两万。

曾经使用过两分法，但索引太大，重建几乎不可能。

请问如何解决。]]> <![CDATA[安装scws分词扩展出现的问题]]> http://www.hightman.cn/bbs/showthread.php?tid=692 Sun, 04 Oct 2009 23:19:16 +0800 http://www.hightman.cn/bbs/showthread.php?tid=692
编译安装php5.3.0后找不到php.ini文件。于是找到系统自带的php rpm包，重新装了一遍，（之前编译安装的PHP5.3.0没有删除）然后vi /etc/php.ini ，把extension_dir设为空。在最后一行加入了：

[scws]
extension = scws.so
extension_dir=/usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626
scws.default.charset = gbk
scws.default.fpath = /usr/local/scws/etc


重启apache后，输入php -m 出现如下错误，按照文档说明，应该输入php -m后会出现scws。但是我按照文档操作后，就出现错误。麻烦高手帮我看看，谢谢了。

[root@localhost ~]# php -m
PHP Warning: PHP Startup: Unable to load dynamic library '/usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626/scws.so' - /usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626/scws.so: undefined symbol: zend_ini_string_ex in Unknown on line 0
PHP Warning: PHP Startup: Unable to load dynamic library '/usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626/dbase.so' - /usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626/dbase.so: cannot open shared object file: No such file or directory in Unknown on line 0
[PHP Modules]
bz2
calendar
ctype
curl
date
exif
ftp
gettext
gmp
hash
iconv
libxml
mime_magic
openssl
pcntl
pcre
posix
pspell
Reflection
session
shmop
**XML
sockets
SPL
standard
sysvmsg
sysvsem
sysvshm
tokenizer
wddx
xml
zlib
[Zend Modules]
[root@localhost ~]#]]>
编译安装php5.3.0后找不到php.ini文件。于是找到系统自带的php rpm包，重新装了一遍，（之前编译安装的PHP5.3.0没有删除）然后vi /etc/php.ini ，把extension_dir设为空。在最后一行加入了：

[scws]
extension = scws.so
extension_dir=/usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626
scws.default.charset = gbk
scws.default.fpath = /usr/local/scws/etc


重启apache后，输入php -m 出现如下错误，按照文档说明，应该输入php -m后会出现scws。但是我按照文档操作后，就出现错误。麻烦高手帮我看看，谢谢了。

[root@localhost ~]# php -m
PHP Warning: PHP Startup: Unable to load dynamic library '/usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626/scws.so' - /usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626/scws.so: undefined symbol: zend_ini_string_ex in Unknown on line 0
PHP Warning: PHP Startup: Unable to load dynamic library '/usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626/dbase.so' - /usr/local/php5/lib/php/extensions/no-debug-non-zts-20090626/dbase.so: cannot open shared object file: No such file or directory in Unknown on line 0
[PHP Modules]
bz2
calendar
ctype
curl
date
exif
ftp
gettext
gmp
hash
iconv
libxml
mime_magic
openssl
pcntl
pcre
posix
pspell
Reflection
session
shmop
**XML
sockets
SPL
standard
sysvmsg
sysvsem
sysvshm
tokenizer
wddx
xml
zlib
[Zend Modules]
[root@localhost ~]#]]> <![CDATA[错误模块 php_scws.dll，引起Apache假死]]> http://www.hightman.cn/bbs/showthread.php?tid=691 Mon, 28 Sep 2009 08:29:25 +0800 http://www.hightman.cn/bbs/showthread.php?tid=691
报告队列中的错误: 错误应用程序 httpd.exe，版本 2.2.4.0，错误模块 php_scws.dll，版本 0.0.0.0，错误地址 0x00002842。

有关更多信息，请参阅在 http://go.microsoft.com/fwlink/events.asp 的帮助和支持中心。


难道scws和windows2003+Apache结合有问题吗？？？？？？？？？？
盼望老大的回复，谢谢]]>
报告队列中的错误: 错误应用程序 httpd.exe，版本 2.2.4.0，错误模块 php_scws.dll，版本 0.0.0.0，错误地址 0x00002842。

有关更多信息，请参阅在 http://go.microsoft.com/fwlink/events.asp 的帮助和支持中心。


难道scws和windows2003+Apache结合有问题吗？？？？？？？？？？
盼望老大的回复，谢谢]]> <![CDATA[请教：提取的时候IE老是假死，而且一直死]]> http://www.hightman.cn/bbs/showthread.php?tid=690 Thu, 17 Sep 2009 15:13:33 +0800 http://www.hightman.cn/bbs/showthread.php?tid=690 我的环境是PHP5
用的是PHPSWC2
提取的时候IE老是假死
求大大们解决

疑问]]> 我的环境是PHP5
用的是PHPSWC2
提取的时候IE老是假死
求大大们解决

疑问]]> <![CDATA[字典中的条目的意义与来源]]> http://www.hightman.cn/bbs/showthread.php?tid=679 Tue, 25 Aug 2009 22:47:28 +0800 http://www.hightman.cn/bbs/showthread.php?tid=679 频道 14.89 3.91 n
音乐 14.89 3.91 n
软件 14.89 3.91 n
资讯 14.89 3.91 n
。。。。。
新浪 14.89 6.26 nz
文学 14.89 3.91 n

二列为词频，三列为词重，可是词频与词重是怎么计算的，单位是什么，词重是什么含义呢？为什么相同的词频，词重会有差别，如表中“新浪” 词重为6.26
还有，在实际应用中，是不是不用管词频的具体值，只用知道其大小关系就行了？

PS：看到之前有的发贴问类似的问题，得到答案说词重是对词频取1000000的对数，我试了一下是不对的！
本人刚接触分词，请多多指教]]> 频道 14.89 3.91 n
音乐 14.89 3.91 n
软件 14.89 3.91 n
资讯 14.89 3.91 n
。。。。。
新浪 14.89 6.26 nz
文学 14.89 3.91 n

二列为词频，三列为词重，可是词频与词重是怎么计算的，单位是什么，词重是什么含义呢？为什么相同的词频，词重会有差别，如表中“新浪” 词重为6.26
还有，在实际应用中，是不是不用管词频的具体值，只用知道其大小关系就行了？

PS：看到之前有的发贴问类似的问题，得到答案说词重是对词频取1000000的对数，我试了一下是不对的！
本人刚接触分词，请多多指教]]> <![CDATA[有 Windows PHP 5.2 的 SCWS 1.0.4 ?]]> http://www.hightman.cn/bbs/showthread.php?tid=678 Thu, 20 Aug 2009 18:07:25 +0800 http://www.hightman.cn/bbs/showthread.php?tid=678 <![CDATA[分词错误结果报告]]> http://www.hightman.cn/bbs/showthread.php?tid=677 Wed, 19 Aug 2009 11:25:43 +0800 http://www.hightman.cn/bbs/showthread.php?tid=677 你说的确实在理。

细胞核内存在染色质。


输出：
你 说 的确 实 在理 。

细胞核 内存 在 染色 质 。]]> 你说的确实在理。

细胞核内存在染色质。


输出：
你 说 的确 实 在理 。

细胞核 内存 在 染色 质 。]]> <![CDATA[爱因斯坦的生成怎么没了?]]> http://www.hightman.cn/bbs/showthread.php?tid=675 Tue, 11 Aug 2009 11:23:09 +0800 http://www.hightman.cn/bbs/showthread.php?tid=675
请提供一下啊。谢谢。

还有周星驰的几个也都没了。]]>
请提供一下啊。谢谢。

还有周星驰的几个也都没了。]]> <![CDATA[最新力作!! xungle真的来了, 一个免费的全文搜索全套解决方案]]> http://www.hightman.cn/bbs/showthread.php?tid=668 Thu, 06 Aug 2009 21:23:12 +0800 http://www.hightman.cn/bbs/showthread.php?tid=668 http://www.xungle.com , 完全免费, 立即可以在线体验.

迅狗(即xungle)相对于之前的 ftphp 是有了巨大的飞跃和改变, 除搜索功能本身的增强外, 它更是一个全套的解决方案, 目前支持各种版本的 discuz 和 phpwind 论坛的全文搜索.

您无需任何技术, 无需任何投入, 只要注册成为迅狗网论坛会员即可在控制面版中添加搜索项目, 根据指示上传一个小插件代码到您的原论坛中即可完成安装, 系统即会自动进行数据同步. 您无需任何多余的操作即可享受全文检索带来的全部好处.

xungle的出现打破了全文检索难的历史, 除支持 dz/pw 论坛外, 其它任何基于 php 的应用程序均可以免费为您定制, 敬请联系QQ: 478161 ^-^]]> http://www.xungle.com , 完全免费, 立即可以在线体验.

迅狗(即xungle)相对于之前的 ftphp 是有了巨大的飞跃和改变, 除搜索功能本身的增强外, 它更是一个全套的解决方案, 目前支持各种版本的 discuz 和 phpwind 论坛的全文搜索.

您无需任何技术, 无需任何投入, 只要注册成为迅狗网论坛会员即可在控制面版中添加搜索项目, 根据指示上传一个小插件代码到您的原论坛中即可完成安装, 系统即会自动进行数据同步. 您无需任何多余的操作即可享受全文检索带来的全部好处.

xungle的出现打破了全文检索难的历史, 除支持 dz/pw 论坛外, 其它任何基于 php 的应用程序均可以免费为您定制, 敬请联系QQ: 478161 ^-^]]>