帝国论坛 → 帝国网站管理系统交流区 → 帝国CMS使用交流 → [分享]jieba分词学习 【本版专题贴子】  
 1/2     1 2 ›› ›|
主题：[分享]jieba分词学习 [加入收藏夹]   

jiuhecai
用户头衔：探花

精华贴   ：0
发贴数   ：3111
经验值   ：8927
注册时间：2014-07-02
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 1 楼]
[分享]jieba分词学习
尊敬的各位听众：

大家好！今天，我非常荣幸能够在这里向大家介绍一款强大的中文分词工具——jieba分词。


帝国插件 插件定制。帝国临时工。查杀顽固木马。专业解决难题。qq--110102296
2024-05-06 08:32:07 已设置保密 顶部 回复 引用 报告 编辑 删除

jiuhecai
用户头衔：探花

精华贴   ：0
发贴数   ：3111
经验值   ：8927
注册时间：2014-07-02
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 2 楼]

在中文自然语言处理领域，分词是一个基础且重要的步骤。不同于英文等西方语言，中文句子中词与词之间没有明显的分隔符，如空格或标点符号，这就给中文分词带来了独特的挑战。jieba分词，作为中文分词领域的佼佼者，凭借其高效、准确和易用性，成为了众多开发者和研究人员的首选工具。


帝国插件 插件定制。帝国临时工。查杀顽固木马。专业解决难题。qq--110102296
2024-05-06 08:32:39 已设置保密 顶部 回复 引用 报告 编辑 删除

jiuhecai
用户头衔：探花

精华贴   ：0
发贴数   ：3111
经验值   ：8927
注册时间：2014-07-02
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 3 楼]

它支持三种分词模式：精确模式、全模式和搜索引擎模式，以满足不同场景下的需求。

在精确模式下，jieba分词能够准确地识别出句子中的词语，包括人名、地名、机构名等专有名词。这得益于jieba分词内置了一个庞大的词典，其中包含了大量的常用词汇和专有名词。同时，jieba分词还支持用户自定义词典，方便用户根据自己的需求添加或修改词汇。


帝国插件 插件定制。帝国临时工。查杀顽固木马。专业解决难题。qq--110102296
2024-05-06 08:33:48 已设置保密 顶部 回复 引用 报告 编辑 删除

jiuhecai
用户头衔：探花

精华贴   ：0
发贴数   ：3111
经验值   ：8927
注册时间：2014-07-02
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 4 楼]

分词效果比较： 未过滤语气词，副词等



奥地利“兽父”是怎么养成的？
baidufc分词结果：奥地利(LOC),“(w),兽父(n),”(w),是(v),怎么(r),养成(v),的(u),？(w)
pscws4分词结果：奥地利(ns),养成(v),怎么(r)
jieba分词结果：奥地利(ns),“(x),兽(n),父(n),”(x),是(v),怎么(r),养成(v),的(uj),？(x)


帝国插件 插件定制。帝国临时工。查杀顽固木马。专业解决难题。qq--110102296
2024-05-06 08:55:24 已设置保密 顶部 回复 引用 报告 编辑 删除

jiuhecai
用户头衔：探花

精华贴   ：0
发贴数   ：3111
经验值   ：8927
注册时间：2014-07-02
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 5 楼]

韩国总统李明博想请比尔·盖茨当顾问
baidufc分词结果：韩国(LOC),总统(n),李明博(nr),想(v),请(v),比尔·盖茨(PER),当(v),顾问(PER)
pscws4分词结果：李明(nr),盖茨(nr),韩国(ns),比尔(n),总统(n),顾问(n)
jieba分词结果：韩国(ns),总统(n),李明博(nr),想(v),请(v),比尔(nrt),·(x),盖茨(nrt),当(t),顾问(nr)


帝国插件 插件定制。帝国临时工。查杀顽固木马。专业解决难题。qq--110102296
2024-05-06 08:57:05 已设置保密 顶部 回复 引用 报告 编辑 删除

jiuhecai
用户头衔：探花

精华贴   ：0
发贴数   ：3111
经验值   ：8927
注册时间：2014-07-02
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 6 楼]

奥巴马北卡初选大赢 希拉里印第安纳险胜
baidufc分词结果：奥巴马(PER),北卡(nr),初选(v),大(d),赢(v), (w),希拉里(PER),印第安纳(LOC),险胜(v)
pscws4分词结果：北卡(nz),印第安纳(ns),希拉里(nr),初选(v),奥巴马(nr),险胜(v)
jieba分词结果：奥巴马(ns),北卡(x),初选(v),大赢(x), (x),希拉里(nrt),印第安纳(ns),险胜(n)


帝国插件 插件定制。帝国临时工。查杀顽固木马。专业解决难题。qq--110102296
2024-05-06 08:58:18 已设置保密 顶部 回复 引用 报告 编辑 删除

jiuhecai
用户头衔：探花

精华贴   ：0
发贴数   ：3111
经验值   ：8927
注册时间：2014-07-02
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 7 楼]

普京获俄总理提名 俄国家杜马今日将审议
baidufc分词结果：普京(PER),获(v),俄(LOC),总理(PER),提名(v), (w),俄国家杜马(ORG),今日(),将(d),审议(v)
pscws4分词结果：俄国家杜马(nt),普京(n),审议(v),提名(v),总理(n),今日(t)
jieba分词结果：普京(ns),获(v),俄(j),总理(n),提名(v), (x),俄国家杜马(nz),今日(t),将(d),审议(v)


帝国插件 插件定制。帝国临时工。查杀顽固木马。专业解决难题。qq--110102296
2024-05-06 09:03:15 已设置保密 顶部 回复 引用 报告 编辑 删除

包展昭
用户头衔：进士

精华贴   ：0
发贴数   ：606
经验值   ：2369
注册时间：2017-05-08
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 8 楼]

结巴？



2024-05-06 12:20:06 已设置保密 顶部 回复 引用 报告 编辑 删除

点到为止
用户头衔：探花

精华贴   ：0
发贴数   ：6717
经验值   ：20989
注册时间：2008-01-07
信息 搜索 好友 发送悄悄话 【精益求精－帝国网站管理系统7.5正式版开源发布】   [第 9 楼]

看着像是转成特定字母



2024-05-07 07:17:15 已设置保密 顶部 回复 引用 报告 编辑 删除

jiuhecai
用户头衔：探花

精华贴   ：0
发贴数   ：3111
经验值   ：8927
注册时间：2014-07-02
信息 搜索 好友 发送悄悄话 【免费开源－EBMA系统：更安全的MYSQL管理和备份系统】   [第 10 楼]


俄罗斯第三任总统梅德韦杰夫宣誓就职
baidufc分词结果：俄罗斯(LOC),第(xc),三任(),总统(PER),梅德韦杰夫(PER),宣誓(v),就职(v)  -----  保留的关键词： 俄罗斯，总统，梅德韦杰夫
pscws4分词结果：梅德韦杰夫(nr),俄罗斯(ns),宣誓(v),就职(v),总统(n)   -----保留的关键词 ：  梅德韦杰夫，俄罗斯，总统
jieba分词结果：俄罗斯(ns),第三任(m),总统(n),梅德韦(x),杰夫(nrt),宣誓就职(nr)   ----保留的关键词： 俄罗斯，总统，杰夫，宣誓就职


这一回合，jieba分词没有分出 梅德韦杰夫  扣一分，不过 宣誓就职   给分出来了


帝国插件 插件定制。帝国临时工。查杀顽固木马。专业解决难题。qq--110102296
2024-05-07 20:24:31 已设置保密 顶部 回复 引用 报告 编辑 删除
 1/2     1 2 ›› ›|

快速回复
内容

表情
使用EBB代码 使用smile代码 显示签名 自动分析url 自动分析img
     【进入高级模式】   (按 Ctrl+Enter 直接提交)
    顶部  加入收藏夹
关于帝国 | 广告服务 | 联系我们 | 法律声明 | 隐私条款 | 许可协议
Powered by： EBB Version 2.2.1