返回列表 发新帖

深入百度分词算法的核心(实战)

297.5k 9
swmozowtfl 发表于 2015-5-7 23:48:47|湖北 | 查看全部 阅读模式
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!

' i- q" V' v) T1 G
一、百度分词算法(切词)概念
9 r6 y( p- a  Q1 ?
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。

8 q- E% J& `: X5 x. B1 f; r
二、百度分词的算法三种方式

. J5 H+ a' g9 a# Z1 Y! A
Ⅰ基本字典的匹配分词
2 k# p4 c6 Q9 l, H
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式

8 c" Q5 K+ O$ Q- c9 A$ d' `; V5 u& \
1、按照方式、可分为正向匹配和反向匹配

# i, b3 c9 Z5 B2 ^% M5 B
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配

$ M+ p3 a3 _0 C
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。

* Z" B9 L: L0 u
讲完上面两点之后,我们以“济南seo朋少最帅”为例,讲解一下正向匹配和逆向匹配
$ b  a9 u/ r+ L9 C

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

; P8 W( \/ T5 m/ A
3、混合匹配

5 I  T  \$ ?( W# r+ K
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。

/ k5 B7 K) K% S# u
Ⅱ基于统计的匹配分词

9 [/ N: T* r  _) e/ U! O
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
  e9 u. @3 [; z/ M/ f0 n; H

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)
7 ~2 L% q  T6 O$ |3 X
5 [0 Q" d4 m$ ^/ N4 f; I# F
Ⅲ基于理解的匹配分词
( Y/ \- f8 P. ~2 N# c
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
& m0 O6 U. R' _1 s

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

) |8 U& w3 t( M
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!
, f7 r% M8 |# c$ {
  F0 C) l; d% X+ N9 y+ A( B
原文地址:http://www.niubseo.com/201412506.html
( s+ {1 B, Z: V. ?6 w- Y) Y) o1 x1 T/ r
搜外原创作者:kongdesen
4 ^% L* r9 K/ T, y+ E
日期:2014-12-17
/ f% W/ G. V* n% h3 h
谢谢管理!

2 L6 c, o* s9 n: ^! h: J" e$ k5 [0 |$ u$ q: Y) f/ ?6 x) ~8 U
好的标题加上好的关键词
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
6 p. X* y- B3 S6 r+ a, x# e
一、百度分词算法(切词)概念

0 _# D# o7 N6 _/ a
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。

4 u2 o* J( ~: s0 N' R4 y8 _
二、百度分词的算法三种方式
; T. K( m7 _- [1 h- T. n8 {9 F; q
Ⅰ基本字典的匹配分词

9 r3 Y* h% S' A! h+ U
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式
( s6 L1 [) v% t& u  Y* {
1、按照方式、可分为正向匹配和反向匹配

5 [# L$ _* @' w2 d) H
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
! p6 O0 n  X, m- v
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。

2 ?$ j+ Z7 [& F
讲完上面两点之后,我们以“济南SEO朋少最帅”为例,讲解一下正向匹配和逆向匹配
+ W" q/ m+ n1 b

+ |+ y. i9 c5 I1 l0 t                               
登录/注册后可看大图
7 H2 ]5 W/ c  g" u* a8 N
3、混合匹配

/ d% h; h" e4 L, M+ P6 _# ?
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。

' `5 I; S' _: ?0 }
Ⅱ基于统计的匹配分词
2 o4 r. E! R# M# k3 n+ I5 W
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
7 Q0 P, Y& _" O* a4 {
& a; b. a. W! X4 _7 m
                               
登录/注册后可看大图

- ~6 v% K: T$ K0 g

$ c& s. m3 i0 s' d9 _3 t
Ⅲ基于理解的匹配分词

2 ~1 b$ N, o% u) N! b  e) t& i- V0 D% T
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
5 R& G! `- G$ t

/ j; Q8 a2 i4 n% N. `' J                               
登录/注册后可看大图

* ^) g1 e& v* D. h9 a* @( |: \
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!
" a6 p2 W  ]0 f5 J2 S

$ |  v# ~/ z& K- W8 y' y+ o
原文地址:http://www.niubseo.com/201412506.html
1 W  ^2 A; V' T8 t3 j' z: C+ Y$ S9 R$ x
搜外原创作者:kongdesen

, Y0 c4 g/ c3 h1 P* m: t
日期:2014-12-17

3 o: c* l% C0 q# U
谢谢管理!

' j2 n" S, W5 N  b& x7 [4 m: U. K$ T" U; Z; c9 C8 i) I- m
起标题和选词斟酌的重要性百度真难捉摸  时时刻刻在变动 优化真难呢扫描后匹配成字、词、句的形式

回复|共 9 个

Mqokjdvq 发表于 2016-1-5 21:02:57|德国 | 查看全部
刚才我还看见了呢.
buingeEvineus 发表于 2016-1-5 21:03:22|美国 | 查看全部
既然你诚心诚意地发贴了,那我就大发慈悲地回复你。为了防止此贴被秒沉,为了维护此楼的繁荣!贯彻爱与真实的邪恶,可爱又迷人的顶贴角色! 穿梭在贴吧之间的顶贴队!喵~就是这样
wwdu926a 发表于 2016-1-5 21:03:36|韩国 | 查看全部
呵呵~~~~你怎么老这样说~~~
Mqokjdvq 发表于 2016-1-5 21:03:38|美国 | 查看全部
baidu是相当能折腾我了
tohme 发表于 2016-3-22 21:07:24|智利 | 查看全部
楼主,你要继续努力啊!你是bbs的希望啊!你是网络文学的希望啊!你是整个网络界的希望文学界的希望啊!你是整个人类的希望啊!你是整个太阳系的希望啊!你是整个异次元空间的希望啊!
wwdu926a 发表于 2016-3-22 21:07:43|美国 | 查看全部
你可是难得来坐坐啊~~~
Acropozelan 发表于 2016-3-22 21:07:48|法国 | 查看全部
这就是我斗胆的一点粗略分析,每天睡觉以前,我都会把您的帖子再三拜读,拜读。
alapScady 发表于 2016-3-22 21:07:51|美国 | 查看全部
楼上的话等于没说~~~
alapScady 发表于 2016-3-22 21:08:26|法国 | 查看全部
回来了 呵呵刚才在斗地主那 ~~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表