返回列表 发新帖

深入百度分词算法的核心(实战)

297.7k 9
swmozowtfl 发表于 2015-5-7 23:48:47|湖北 | 查看全部 阅读模式
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
6 G8 O/ H) T9 [/ S1 a
一、百度分词算法(切词)概念

: U0 X: z# i8 d( Z' ~
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
9 P! H9 R( e3 w7 S, ]# H. E
二、百度分词的算法三种方式
# J, Y3 \- T2 d  r% x9 h- N
Ⅰ基本字典的匹配分词

* @# y( y5 O- d% f& ?3 S
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式
; B: j; _9 D6 }+ E$ h
1、按照方式、可分为正向匹配和反向匹配

' b  I, Y1 b% X2 D" J7 [. }
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配

# {( ^0 ~$ G+ P4 E
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。

- U3 n3 F1 T8 Y# u5 u
讲完上面两点之后,我们以“济南seo朋少最帅”为例,讲解一下正向匹配和逆向匹配

4 G2 {1 H7 j0 j/ I- S" R; u# B

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

8 n" G: M8 G" \" O2 E2 T* |7 L3 g
3、混合匹配

1 ^: ^4 l3 A, D. }
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。
; n4 A& @) p7 H/ f" j
Ⅱ基于统计的匹配分词
0 j% ], t0 z: J& h# p5 f
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
' m' e( A6 w( J7 ~

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

* h2 n. U; o, _# z$ e1 K0 M

: A+ h, Q! e8 }. F; f
Ⅲ基于理解的匹配分词

. H. T* x( T5 a) p% ^& g
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:

4 j) }5 w1 H" n& [

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)
* N5 \4 a5 B) u8 ]8 M/ l/ x- `
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!

0 q" W* d3 D! b! r6 M5 _- }2 P; m, E4 S" S8 p
原文地址:http://www.niubseo.com/201412506.html
+ D" o' P0 o* A& x2 ^1 m& M
搜外原创作者:kongdesen
. M4 H/ H" y' z1 v5 V
日期:2014-12-17
% }9 a8 Y/ {) t
谢谢管理!
) ~, u$ ~/ T/ _( t6 X. l1 y9 G

. q1 a  E' J9 h" h) M3 F好的标题加上好的关键词
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
- O6 Z  B+ V) `' ?& a9 q, c/ Q
一、百度分词算法(切词)概念

. F2 d( X+ R4 g4 Q# Y
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。

* ?5 }. q3 n6 T6 ?& t2 n( D% V
二、百度分词的算法三种方式

& t, d8 m: [7 d- a
Ⅰ基本字典的匹配分词
1 k2 I' E; L) D7 y
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式

" o3 l) q" f4 q$ u
1、按照方式、可分为正向匹配和反向匹配
' A4 K9 i% J, {
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
/ w6 T3 [$ g5 U+ l& `5 g
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。
$ y+ W/ k) l3 R! b! s$ ], }
讲完上面两点之后,我们以“济南SEO朋少最帅”为例,讲解一下正向匹配和逆向匹配
1 K, N  Q  u1 Z3 O' y

; O0 H5 [8 V0 k; Q7 t+ W                               
登录/注册后可看大图
1 @5 }% U- @: ~. h6 K# y
3、混合匹配
/ b# G/ n+ Z. t# T% S* b' ]! t# R
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。

$ P' y  x# k0 A" A, d( B  P
Ⅱ基于统计的匹配分词
. p5 C6 P/ \( ?; u! L' @
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:

/ R6 M. Y1 m  G: G& f! A

2 ^  G" U$ ~& `+ p; B                               
登录/注册后可看大图

9 U4 l0 Y5 m8 Y# m) R

9 t; S7 q5 M7 F7 a; `. Y
Ⅲ基于理解的匹配分词

" E+ n- Q# m/ v7 m! W* }
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:

' h1 E3 a0 ]+ A% ^. \

/ w( o9 _# J; k' [+ P% p                               
登录/注册后可看大图
6 Y8 f6 M3 q* r  s# m, e% D
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!
9 P4 Z8 ~2 R: \. Z/ i! s7 M

' R1 P6 [9 L1 q6 B2 y3 r
原文地址:http://www.niubseo.com/201412506.html

4 ?/ k" X; A* c
搜外原创作者:kongdesen

0 q  y) J& Q2 ^# }
日期:2014-12-17

+ D2 t! ^, [3 ~8 h3 _, t* m& |
谢谢管理!

/ |& g6 T  a% d
' @  d* b- _( a3 r' ~起标题和选词斟酌的重要性百度真难捉摸  时时刻刻在变动 优化真难呢扫描后匹配成字、词、句的形式

回复|共 9 个

Mqokjdvq 发表于 2016-1-5 21:02:57|德国 | 查看全部
刚才我还看见了呢.
buingeEvineus 发表于 2016-1-5 21:03:22|美国 | 查看全部
既然你诚心诚意地发贴了,那我就大发慈悲地回复你。为了防止此贴被秒沉,为了维护此楼的繁荣!贯彻爱与真实的邪恶,可爱又迷人的顶贴角色! 穿梭在贴吧之间的顶贴队!喵~就是这样
wwdu926a 发表于 2016-1-5 21:03:36|韩国 | 查看全部
呵呵~~~~你怎么老这样说~~~
Mqokjdvq 发表于 2016-1-5 21:03:38|美国 | 查看全部
baidu是相当能折腾我了
tohme 发表于 2016-3-22 21:07:24|智利 | 查看全部
楼主,你要继续努力啊!你是bbs的希望啊!你是网络文学的希望啊!你是整个网络界的希望文学界的希望啊!你是整个人类的希望啊!你是整个太阳系的希望啊!你是整个异次元空间的希望啊!
wwdu926a 发表于 2016-3-22 21:07:43|美国 | 查看全部
你可是难得来坐坐啊~~~
Acropozelan 发表于 2016-3-22 21:07:48|法国 | 查看全部
这就是我斗胆的一点粗略分析,每天睡觉以前,我都会把您的帖子再三拜读,拜读。
alapScady 发表于 2016-3-22 21:07:51|美国 | 查看全部
楼上的话等于没说~~~
alapScady 发表于 2016-3-22 21:08:26|法国 | 查看全部
回来了 呵呵刚才在斗地主那 ~~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表