返回列表 发新帖

深入百度分词算法的核心(实战)

297.5k 9
swmozowtfl 发表于 2015-5-7 23:48:47|湖北 | 查看全部 阅读模式
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
8 l. p; E( P/ |/ P' V7 H  Y7 U. q
一、百度分词算法(切词)概念
8 o6 \* Q0 g- L: L
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。

* F3 D# o# P$ j2 `9 E
二、百度分词的算法三种方式
& B7 x7 o+ Y8 e# c. o
Ⅰ基本字典的匹配分词

% ]9 C5 w/ ~! [; C, H) }- B4 z- @
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式
) J4 `0 L0 [" R" v. P7 Q# k1 q
1、按照方式、可分为正向匹配和反向匹配

, P7 h  D; P- E+ n; A
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
9 o" w3 A8 u  N2 G3 T8 [$ [
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。

: R# b0 C( K, L) R& C
讲完上面两点之后,我们以“济南seo朋少最帅”为例,讲解一下正向匹配和逆向匹配

' K# m2 K# F# K  D# c! Z

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

/ w% Y2 ~9 A# Y( D. p
3、混合匹配

1 ~. a2 y; [" [* E! E; I3 Q. u" Y$ y
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。

3 ?# }* |$ V+ O! w( {& u" C4 z0 e+ t% Z
Ⅱ基于统计的匹配分词

6 L5 I$ o( D2 I# l$ G: h$ c
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
, N, o! i$ E& Y1 m( l

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

, ]1 w. m9 M0 d( D1 t2 r( k
+ a2 F, {, G7 l; b% D# {+ f% e
Ⅲ基于理解的匹配分词

. r. l% p; X7 D+ D- O) x* K
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:

+ `9 c. m4 o/ m: T4 m2 L6 o9 S

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)
6 L( b, u7 w0 Y- ~! v! W/ [
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!

1 L6 v6 O8 n1 I, k+ }2 f. V5 @% j, h0 }* O2 D6 o
原文地址:http://www.niubseo.com/201412506.html
1 x2 I4 @' D5 K' j- k
搜外原创作者:kongdesen

* T* M5 ]1 w  n
日期:2014-12-17

0 S& \; f' I6 F6 ?9 F
谢谢管理!
8 e! o3 V9 G1 ]  y4 p$ m2 T! f' P  W
; S) T$ v% o4 H# x. M$ M
好的标题加上好的关键词
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!

: O: g4 w$ B2 V# j8 G2 k
一、百度分词算法(切词)概念
" T( a8 a3 J  S! h
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
( L0 g* q4 i. n* [3 f
二、百度分词的算法三种方式

+ u9 y. j0 Z/ m- t
Ⅰ基本字典的匹配分词
- r9 a$ X  X/ B) e
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式
# A3 r6 ^/ L6 D$ O3 [( w8 D# L
1、按照方式、可分为正向匹配和反向匹配

9 z  d& c  s; s3 e8 M: Y
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配

! z$ z( r' {. V3 w* C( w
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。
1 W( e/ U9 L' Q! _+ z$ O* m: r
讲完上面两点之后,我们以“济南SEO朋少最帅”为例,讲解一下正向匹配和逆向匹配
) D& g1 v; u. D/ X& M& X) r) p
4 Z: s7 e: O, {5 G5 A
                               
登录/注册后可看大图
1 K6 E$ ^, h3 e0 J: ^$ Q& U% E
3、混合匹配

4 i/ _/ t2 Y5 D, h. S7 {4 O
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。
, [$ b! N* }" Y8 X, N, k! z6 p
Ⅱ基于统计的匹配分词

% e# R, o1 I9 a5 D7 D
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:

# O  b: G) Q- R/ b; O+ B! \' |
8 V% z& b. z! d  w
                               
登录/注册后可看大图

2 E, Z, l  U. `( D

2 P& W) V3 U9 N* G9 `. {
Ⅲ基于理解的匹配分词
' f) q4 Z! Y& ]" w
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
9 \5 X$ [3 R. w+ I: y- h) P# W9 c8 Q% ?

1 I5 R* x0 w8 F5 l  C# l                               
登录/注册后可看大图

8 S. h6 Z2 M. w7 X  e# o% B
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!
& u" V2 ]. @* E3 _8 J, v5 d
9 U! }* n- o/ C7 M% Q  L
原文地址:http://www.niubseo.com/201412506.html

9 f! @+ k' P, A
搜外原创作者:kongdesen

4 y  a* M( z' y6 z0 M
日期:2014-12-17

0 L" m5 D5 z0 d( p
谢谢管理!

; T* t; Y# x0 p
' k+ C) S: |+ m0 W0 |起标题和选词斟酌的重要性百度真难捉摸  时时刻刻在变动 优化真难呢扫描后匹配成字、词、句的形式

回复|共 9 个

Mqokjdvq 发表于 2016-1-5 21:02:57|德国 | 查看全部
刚才我还看见了呢.
buingeEvineus 发表于 2016-1-5 21:03:22|美国 | 查看全部
既然你诚心诚意地发贴了,那我就大发慈悲地回复你。为了防止此贴被秒沉,为了维护此楼的繁荣!贯彻爱与真实的邪恶,可爱又迷人的顶贴角色! 穿梭在贴吧之间的顶贴队!喵~就是这样
wwdu926a 发表于 2016-1-5 21:03:36|韩国 | 查看全部
呵呵~~~~你怎么老这样说~~~
Mqokjdvq 发表于 2016-1-5 21:03:38|美国 | 查看全部
baidu是相当能折腾我了
tohme 发表于 2016-3-22 21:07:24|智利 | 查看全部
楼主,你要继续努力啊!你是bbs的希望啊!你是网络文学的希望啊!你是整个网络界的希望文学界的希望啊!你是整个人类的希望啊!你是整个太阳系的希望啊!你是整个异次元空间的希望啊!
wwdu926a 发表于 2016-3-22 21:07:43|美国 | 查看全部
你可是难得来坐坐啊~~~
Acropozelan 发表于 2016-3-22 21:07:48|法国 | 查看全部
这就是我斗胆的一点粗略分析,每天睡觉以前,我都会把您的帖子再三拜读,拜读。
alapScady 发表于 2016-3-22 21:07:51|美国 | 查看全部
楼上的话等于没说~~~
alapScady 发表于 2016-3-22 21:08:26|法国 | 查看全部
回来了 呵呵刚才在斗地主那 ~~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表