Hightman 论坛 - 所有版面

文本自动分类建议系统的代码是否可开放出来？

Sun, 22 Apr 2012 02:32:19 +0800

RT,小弟对原理很是好奇，不知道是怎么算出来。地址如下：

http://www.ftphp.com/scws/demo/a.php

狂赞！很难想像居然会有如此简单易用的分词技术

Sun, 22 Apr 2012 02:26:47 +0800

早就对分词技术做过很多研究，但是却从没发现简单易用的产品，哪怕是收费的。
今天无意中发现了FTPHP的SCWS，安装试用了下，非常棒！关键MMD还是开源免费的，能够自定义各种功能。

强烈支持并持续关注！

关于中英文混合切词

Sun, 01 Apr 2012 17:11:49 +0800

比如说我要切割“Adidas/阿迪达斯是一个著名的运动品牌”
在自定义词库里我添加了"Adidas/阿迪达斯"
但结果是Adidas / 阿迪达斯
请问能否判断是一个自定义的整词吗？就是说按我设置的词库来分

scws_get_tops函数的第二个参数无效

Sun, 01 Apr 2012 16:38:08 +0800

PHP5.3.8
SCWS-1.2.0

scws_get_tops 函数的第二个参数无效！

demo:
scws_get_tops($sh, 5); //输出后仍然是9个关键词。

scws-1.2.0 发布，支持 PHP5.4 新增用于多线程的 scws_fork()

Thu, 29 Mar 2012 12:32:27 +0800

2012-3-29: SCWS-1.2.0 Released.

1) 修改 php 扩展代码以兼容支持 php 5.4.x
2) 修正 php 扩展中 scws_get_tops 的 limit 参数不允许少于 10 的问题
3) libscws 增加 scws_fork() 从既有的 scws 实例产生分支并共享词典/规则集，主要用于多线程开发。
4) 新增部分版本的 win32 的 dll 扩展，详见下载页面

最新下载地址：http://www.ftphp.com/scws/download.php
演示地址：http://www.ftphp.com/scws/demo.php

hm老大，英文词典的问题

Thu, 22 Mar 2012 13:01:52 +0800

我现在想做的是，在一个英文句子里提取其中词频比较高的名词。想到用自定义词典，自己整理英文词。但是发现一个问题。。比如hip pop这样也是一个名词，那现在自定义词典里肯定不能有空格的啊。老大能不能把这个也解决一下，这样的话，大家一起提供英文的词典，是不是就可以解决中英文混合分词了？？

基于scws的自动分类建议系统源码能否提供

Mon, 12 Mar 2012 09:37:20 +0800

基于scws的自动分类建议系统源码能否开放，谢谢

get_tops 不能限制统计个数

Mon, 05 Mar 2012 17:44:28 +0800

get_tops 这个不管传入的limit是多少，总是提取前10个关键字，演示中的例子也是这个样子，请修正一下。

有non thread-safe的PHP扩展编译版本吗？

Mon, 05 Mar 2012 14:15:12 +0800

调用的时候报错php5ts.dll不存在，估计和thread-safety的模块有关，请问是否必须重新编译？我在windows上的测试环境是nginx+php，因为是cgi模式所以thread-safety没啥用。

先感谢指教~

SCWS是否可以提供Python扩展？

Mon, 05 Mar 2012 12:04:10 +0800

HI
在一个项目中使用到了scws PHP的扩展，感觉scws在分词效率和准确率，以及在返回结果的可用性上，显著高于其它的扩展，想问一下，scws是否可以提供Python的扩展？

[patch] php-scws 扩展在 5.4.x 下的编译兼容补丁

Mon, 05 Mar 2012 11:24:32 +0800

近期 php5.4.x 已经正式发布，已有网友在使用并汇报说 scws 的 PHP 扩展无法编译通过。

刚看了一下，因为 5.4.x 起 php 移除了 safe_mode 导致一些代码错误不通过编译，简单修改补丁如下，请大家先手动修改一下，稍后 scws-1.1.10 发布时会同步解决，并推出 5.4 的 win32 dll 文件。

代码:

Index: php_scws.c

===================================================================

RCS file: /home/cvsroot/scws/phpext/php_scws.c,v

retrieving revision 1.13

diff -c -r1.13 php_scws.c

*** php_scws.c    23 Dec 2011 07:05:26 -0000    1.13

--- php_scws.c    5 Mar 2012 03:32:46 -0000

***************

*** 359,368 ****

--- 359,370 ----

      if (!(fullpath = expand_filepath(filepath, NULL TSRMLS_CC)))

          RETURN_FALSE;

+ #if PHP_API_VERSION < 20100412

      if (PG(safe_mode) && (!php_checkuid(fullpath, NULL, CHECKUID_CHECK_FILE_AND_DIR))) {

          efree(fullpath);

          RETURN_FALSE;

      }

+ #endif

      if (php_check_open_basedir(fullpath TSRMLS_CC)) {

          efree(fullpath);

***************

*** 408,417 ****

--- 410,421 ----

      if (!(fullpath = expand_filepath(filepath, NULL TSRMLS_CC)))

          RETURN_FALSE;

+ #if PHP_API_VERSION < 20100412

      if (PG(safe_mode) && (!php_checkuid(fullpath, NULL, CHECKUID_CHECK_FILE_AND_DIR))) {

          efree(fullpath);

          RETURN_FALSE;

      }

+ #endif

      if (php_check_open_basedir(fullpath TSRMLS_CC)) {

          efree(fullpath);

***************

*** 456,465 ****

--- 460,471 ----

      if (!(fullpath = expand_filepath(filepath, NULL TSRMLS_CC)))

          RETURN_FALSE;

+ #if PHP_API_VERSION < 20100412

      if (PG(safe_mode) && (!php_checkuid(fullpath, NULL, CHECKUID_CHECK_FILE_AND_DIR))) {

          efree(fullpath);

          RETURN_FALSE;

      }

+ #endif

      if (php_check_open_basedir(fullpath TSRMLS_CC)) {

          efree(fullpath);

弱弱地提问下 SCWS分词能不能选择保留原文空格？

Mon, 05 Mar 2012 01:57:59 +0800

如题

弱弱地提问下 SCWS分词能不能选择保留原文空格？

求scws在linux下php5.3.*的教程

Wed, 15 Feb 2012 16:00:43 +0800

php5.2安装scws 按照教程一步步安装没有任何问题怎么安装到5.3上问题都出来了

希望斑竹出个5.3的安装教程

http://www.ftphp.com/scws/docs.php#instscws 这个教程是不能安装成功的

我的环境是 centos 5.6 php5.3.9 scws1.1.7/scws1.1.9

中文分词

Mon, 13 Feb 2012 11:04:20 +0800

php版本不是thread safe版本的，该用什么支持分词呢？windows系统下，iis6.0+php5.3.10,求助啊...

请教关于文章标题分词

Sat, 04 Feb 2012 15:58:27 +0800

原始标题：
未到入学年龄，复读与否两难抉择
夸孩子也会起反作用
怎样消除孩子的嫉妒

分词后：
未到入学年龄复读与否两难抉择
夸孩子也会起反作用
怎样消除孩子的嫉妒

请问怎么去除分词中一个字的关键词。因为我不需要分词结果中有一个字的。
麻烦高手过来看看。应该怎样解决。谢谢了。

营养成分查询不可用

Wed, 01 Feb 2012 15:23:07 +0800

http://www.wzz123.com/fcys.html 这个页面的营养成分查询没办法用啊，说是页面不存在，建议用 http://www.fancai.com/yingyang/ 代替

Creative movies

Fri, 20 Jan 2012 19:28:04 +0800

有趣的是，音乐和视频同步

SCWS-1.1.9 没法分中文？

Sat, 07 Jan 2012 12:25:02 +0800

运行安装说明里的c例子

PHP 代码:

#include 
#include 
main()
{
  scws_t s;
  scws_res_t res, cur;
  char *text = "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言";

  if (!(s = scws_new())) {
    printf("error, can't init the scws_t!\n");
    exit(-1);
  }
  scws_set_charset(s, "gbk");
  scws_set_dict(s, "/usr/local/scws/etc/dict.xdb", SCWS_XDICT_XDB);
  scws_set_rule(s, "/usr/local/scws/etc/rules.ini");

  scws_send_text(s, text, strlen(text));
  while (res = cur = scws_get_result(s))
  {
    while (cur != NULL)
    {
      printf("Word: %.*s/%s (IDF = %4.2f)\n",
        cur->len, text+cur->off, cur->attr, cur->idf);
      cur = cur->next;
    }
    scws_free_result(res);
  }
  scws_free(s);
} 

结果如下：
$ ./test
Word: Hello/en (IDF = 4.02)
Word: ,/un (IDF = 0.00)
Word: Q/en (IDF = 0.00)
Word: ,/un (IDF = 0.00)
Word: C#/nz (IDF = 9.50)

中文没出来，是否我哪里没设对啊？
我的系统是centos 6 64位的

如何修正分词错误

Fri, 06 Jan 2012 15:52:56 +0800

问题
①：分词出现错误是该如何修正呢？可否通过添加用户字典等方法来修正呢？

现在时间分词为：现在时/n 间/f

期待分词结果：现在时间

②词性方面如何修正呢？
例如，希望将，“了”的词性由 v 改为： e
新建一个userdic辞书，然后添加：
了 1.0 1.0 e

通过：scws_add_dict(s, "/usr/local/scws/etc/userdict.utf8.xdb", SCWS_XDICT_XDB);

结果还是不对。

这个不支持英文词典和中英文混合词典啊

Thu, 29 Dec 2011 16:49:36 +0800

很多应用不可能纯中文啊，总会掺杂一些英文啊中英混合啊。不支持自定义词典中使用英文会有很大局限性啊