Hightman 论坛 - 所有版面

请教关于文章标题分词

Sat, 04 Feb 2012 15:58:27 +0800

原始标题：
未到入学年龄，复读与否两难抉择
夸孩子也会起反作用
怎样消除孩子的嫉妒

分词后：
未到入学年龄复读与否两难抉择
夸孩子也会起反作用
怎样消除孩子的嫉妒

请问怎么去除分词中一个字的关键词。因为我不需要分词结果中有一个字的。
麻烦高手过来看看。应该怎样解决。谢谢了。

HostGator web hosti

Sat, 04 Feb 2012 12:05:32 +0800

HostGator的最好的网络托管公司
给出了一个特别优惠 - 只需每月1美分无限托管计划！

[url="http://secure.hostgator.com/~affiliat/cgi-bin/affiliates/clickthru.cgi?id=vcher44-"][/url]

只要尝试，并得到您的主机为1美分。您可以启动一个博客或lounch网站，或者你可以尝试网上赚钱，并启动网上商店或东西。
不要浪费你的机会和尝试HostGator的1美分/每月提供。

[url="http://secure.hostgator.com/~affiliat/cgi-bin/affiliates/clickthru.cgi?id=vcher44-"][/url]

现在打开你的HostGator的托管帐户！

　　敢于向前看的人博学多闻

Sat, 04 Feb 2012 08:23:57 +0800

不自足者　　

老公有白癜风会遗传吗?　　“不自重者，取辱。突然心中有了决定不自长者，取祸。不自白癜风多少钱者，受益。不自足者，博闻。”也就是说不自重就会被别人辱灭，不严格要求自己就会有祸端。不骄傲的人会长期受益，敢于向前看的人博学多闻。

　　在物欲横流的现实当中，有太多的北京治疗白殿风效果好不好不可思议。这世界变化真大，如今城市里的人喜欢自然气息，白癜风多少钱，周末总往乡村赶，而村民们却总往城市里赶。生活水平的提高使人们对于生活的品味有了很大的改变，以前的人们是热爱繁华，现在的人们却总想回归自然。城市的繁华背后有一北京肾病研究院群躲在暗处流泪的人，他们以各种生活形式存在着，有的光北京肾病研究院彩照人，有的洗尽铅华，唯一相同的就是：每个人都活得很累。奔波，劳累每个人的目的其实都一样，为的就是在这繁华的都市有一容身之处。

　　人心总是不自足的，有的人总想要暴富，走上了歪门邪道，最终锒铛入狱；有的人手中有了权利，却利诱熏心，野心膨胀，利用权利来敛财，最终丢了官职，也成了阶下囚。当你有了容身之处，又羡老公有白癜风会遗传吗?慕他人住着高级小区，开着北京国都牛皮癣专科医院小车，却没有想到其实自己是幸运的，在这城市中还有许许多多的人流落街头，立交桥下，火车站，甚至银行门口……人，何必要求太高！？虽然追求可以使自己进步，但是当我们生活安稳时，何不尽己所能去帮助那些孤苦的人！北京治疗白殿风效果好不好这个世界因为有爱而变得美好，我们都不希望阳光下，绿草上，有一群无处可归的身影缩在角落里吧！我们都希望在这美好的环境下，是一群安逸的老人、快乐的孩童，希望有更多的人能够享受到这美好的气息，能够有安稳的生活！

　　我从窗台走廊上懒懒的看外面，勾起一些小说，一些儿时场景，以前一直想着走出某个东西，但却在其间热切的生活着，快乐而自足。这种感觉现在越来越陌生，思虑原本，而是自己在茫然中选择的。希望这些东西纭纭般散去牛皮癣，有一天回归到本原。每个人都说我幸运，是啊！比起很多人，我真的幸运，但是，以前我总是不知足，今天我才发现，原来知足，才会常乐。现在的生活，虽然收入低，生活也较艰苦，但我有自己的住所，自己的家，我有一份工作，我还有什么不满足的呢？

Best hoster's HostG

Sat, 04 Feb 2012 06:30:09 +0800

Best hoster's HostG

Fri, 03 Feb 2012 19:54:48 +0800

营养成分查询不可用

Wed, 01 Feb 2012 15:23:07 +0800

http://www.wzz123.com/fcys.html 这个页面的营养成分查询没办法用啊，说是页面不存在，建议用 http://www.fancai.com/yingyang/ 代替

Creative movies

Fri, 20 Jan 2012 19:28:04 +0800

有趣的是，音乐和视频同步

SCWS-1.1.9 没法分中文？

Sat, 07 Jan 2012 12:25:02 +0800

运行安装说明里的c例子

PHP 代码:

#include 
#include 
main()
{
  scws_t s;
  scws_res_t res, cur;
  char *text = "Hello, 我名字叫李那曲是一个中国人, 我有时买Q币来玩, 我还听说过C#语言";

  if (!(s = scws_new())) {
    printf("error, can't init the scws_t!\n");
    exit(-1);
  }
  scws_set_charset(s, "gbk");
  scws_set_dict(s, "/usr/local/scws/etc/dict.xdb", SCWS_XDICT_XDB);
  scws_set_rule(s, "/usr/local/scws/etc/rules.ini");

  scws_send_text(s, text, strlen(text));
  while (res = cur = scws_get_result(s))
  {
    while (cur != NULL)
    {
      printf("Word: %.*s/%s (IDF = %4.2f)\n",
        cur->len, text+cur->off, cur->attr, cur->idf);
      cur = cur->next;
    }
    scws_free_result(res);
  }
  scws_free(s);
} 

结果如下：
$ ./test
Word: Hello/en (IDF = 4.02)
Word: ,/un (IDF = 0.00)
Word: Q/en (IDF = 0.00)
Word: ,/un (IDF = 0.00)
Word: C#/nz (IDF = 9.50)

中文没出来，是否我哪里没设对啊？
我的系统是centos 6 64位的

单独

Sat, 07 Jan 2012 06:28:41 +0800

圣诞快乐！

如何修正分词错误

Fri, 06 Jan 2012 15:52:56 +0800

问题
①：分词出现错误是该如何修正呢？可否通过添加用户字典等方法来修正呢？

现在时间分词为：现在时/n 间/f

期待分词结果：现在时间

②词性方面如何修正呢？
例如，希望将，“了”的词性由 v 改为： e
新建一个userdic辞书，然后添加：
了 1.0 1.0 e

通过：scws_add_dict(s, "/usr/local/scws/etc/userdict.utf8.xdb", SCWS_XDICT_XDB);

结果还是不对。

这个不支持英文词典和中英文混合词典啊

Thu, 29 Dec 2011 16:49:36 +0800

很多应用不可能纯中文啊，总会掺杂一些英文啊中英混合啊。不支持自定义词典中使用英文会有很大局限性啊

scws-1.1.9 发布，明确采用 BSD 协议；改进复合分词修正BUG等

Wed, 28 Dec 2011 13:24:42 +0800

2011-12-26: SCWS-1.1.9 Released.

1) 明确使用开源协议 New BSD License 发布新版本
2) 深度优化复合分词中的 SCWS_MULTISHORT 选项，更为合理有效，符合全文检索的需求
3) 测试脚本自动加载当前目录下的 dict_user.txt 文本词典
4) 修正 scws.c 中 __PARSE_XATTR__ 宏的 BUG 导致 scws_get_tops 和 scws_get_words 的 xattr 参数工作不正常的问题
5) 移除 scws.c 中关于 jabberd2s10 的注释，已不包含它的代码
6) 为独立使用的 .h 文件添加 C++ 的 extern "C" 标记以便直接使用：xdb.h，xdict.h，xtree.h，pool.h，darray.h

最新下载地址：http://www.ftphp.com/scws/download.php
演示地址：http://www.ftphp.com/scws/demo.php

求TF/IDF算法。

Sat, 24 Dec 2011 16:03:25 +0800

老大，能把您的TF/IDF算法共享出来么？批量添加词库的时候真的很不方便啊，如果写个脚本调用你的在线TF/IDF算法工具，恐怕上万条请求你的服务器招架不住啊。。。

老大你的词库更新的好慢啊，2010年十二月距离现在都一年了，何况互联网上每天都有新词出现。。。总之拜托了！把TF/IDF算法公布出来吧。到时候大家都可以更方便的制作词库了，也会更愿意把自己的词库分享出来。

冒昧的问一下——怎么用tf和idf来计算权重？

Wed, 21 Dec 2011 18:24:01 +0800

冒昧的问一下——怎么用tf和idf来计算权重啊？谢谢各位高手了~

"从中学到大学的知识" 划分有歧义？

Wed, 21 Dec 2011 11:44:08 +0800

TEXT: 从中学到大学的知识。 ==>

短句(中):从中学到大学的知识 (9)
短句片断:从中学到[0, 3]
短句片断:大学[4, 5]
独立字: 的[6]
短句片断:知识[7, 8]
Word: 从中/n (IDF = 5.25)
Word: 学到/v (IDF = 5.28)
Word: 大学/n (IDF = 4.23)
Word: 的/uj (IDF = 0.00)
Word: 知识/n (IDF = 4.57)

"从中学到"的切分出现了问题，权重应该怎么调一下？

源码Windows下调试遇到问题。

Wed, 21 Dec 2011 10:28:54 +0800

1. 以TXT方式加载字典，在生成xdb的过程中，_xdb_rec_get递归调用， Stack overflow.
2. _scws_mseg_zone函数中 if (x - i > 1) i--;
x 与i是否有可比性。转换一下if (x-1 > i) i--;
x-1 是当前切分下，词的个数, i 是 loop in [f, t]时的索引。
求指教？
3. _scws_mseg_zone下每种切分下，权重的计算：
是nweight = td*pow(词长-1, 4)*(前后词attr权重)，最后
nweight /= pow(x+sz-1,5); (x是词个数+1, sz是长度为1的词的个数。)
能不能具体解释下，这么做的依据。

scws分词不起作用了

Fri, 16 Dec 2011 12:20:02 +0800

[root@IDC-D-1115 etc]# /usr/local/scws/bin/scws -i 我今天看到了一条狗
我今天看到了一条狗
+--[scws(scws-cli/1.1.8)]----------+
| TextLen: 18 |
| Prepare: 0.0001 (sec) |
| Segment: 0.0001 (sec) |
+--------------------------------+

都拆成了一个个的词，重新安装了一下，还是不成

Windows下分词错误

Fri, 16 Dec 2011 11:54:46 +0800

碰到空格和3个以上的半角字符就会终止分词

win7下无法加载php_scws.dll

Thu, 15 Dec 2011 11:08:12 +0800

环境：win7（64位） + nginx + php

我是按 http://www.ftphp.com/scws/docs.php#instdll 来配置的。

重启web服务器时出错

报错提示：
1、无法定位程序输入点 zend_ini_string_ex 于动态链接库 php5ts.dll上
2、PHP Startup: Unable to load dynamic library
'D:\server\php\ext\php_scws.dll' - 找不以指定的程序

注：
在D:\server\php\ext 文件夹中确定有 php_scws.dll

求解。谢谢各位

关于权重

Wed, 14 Dec 2011 10:21:58 +0800

请问权重是怎么得出来的，能修改吗？