返回列表 发新帖

深入百度分词算法的核心(实战)

297.6k 9
swmozowtfl 发表于 2015-5-7 23:48:47|湖北 | 查看全部 阅读模式
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
) `6 w' o* T. P
一、百度分词算法(切词)概念
7 r5 l0 J, ~1 ]
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
1 C: @6 U# D5 u6 {# X4 K# `
二、百度分词的算法三种方式

! v, {  }- W! ]& ^( o
Ⅰ基本字典的匹配分词
& W1 O4 ^# C. \0 \
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式
+ D3 E2 W  n' s# O' o, c1 ^
1、按照方式、可分为正向匹配和反向匹配
6 p% w4 A; l5 [5 I' |6 s+ ]1 f
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
0 j5 D. E  t4 p( ]
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。

2 V. a* B" v, U
讲完上面两点之后,我们以“济南seo朋少最帅”为例,讲解一下正向匹配和逆向匹配

! }) O1 a7 H4 j5 ], x

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

# k3 X; D% h  ]" b
3、混合匹配

  n0 d3 ^* ~* @' K4 s
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。

- E4 [- d$ [# ^; J4 d
Ⅱ基于统计的匹配分词
: [7 i0 N5 u7 B. Q
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
6 K3 |) N  H% K$ D0 C) X

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

- E1 N5 L! |9 \. g
+ s2 A1 x1 S4 b$ F6 i9 {5 N
Ⅲ基于理解的匹配分词
& M- I7 F2 R+ e9 M! |$ ^7 {
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
0 \" W0 ^( Q) M( ?) z. z

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)
2 _1 ^$ t/ U/ T( I5 j/ V( H
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!

# s6 i. h; Z. e! ^4 a4 T; u2 n- R3 c* @1 c$ c0 L1 F
原文地址:http://www.niubseo.com/201412506.html

0 x6 }, f, J( K) y  ~+ I( r$ e
搜外原创作者:kongdesen

# T7 R3 B) c$ n) o2 s) [2 k; X4 `% |
日期:2014-12-17
! |) j( R5 @6 R+ k
谢谢管理!

3 P! X6 c# w0 B8 x) j- J7 s2 @1 d+ p6 c( O
好的标题加上好的关键词
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
* }8 I: w: N7 A6 d6 {
一、百度分词算法(切词)概念
* d/ i$ [, _4 P+ r+ v
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
- o7 R% i$ {0 F( q/ C
二、百度分词的算法三种方式
2 F8 k) ]( {: _5 E
Ⅰ基本字典的匹配分词
. B9 `$ P) i- e9 c! L, \
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式

. L0 u& C! z, f
1、按照方式、可分为正向匹配和反向匹配

9 Y! A: E& k& W5 s( A7 U
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配

1 F5 B6 U; L7 b/ S) J+ N% @
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。
9 o  f3 m" G$ B9 c5 T" L$ t: L
讲完上面两点之后,我们以“济南SEO朋少最帅”为例,讲解一下正向匹配和逆向匹配

: C( |6 Z* l3 W; h+ [* b# M0 {
& B3 ]( {+ j# o6 X
                               
登录/注册后可看大图
9 w; N2 m; o" N' [  w' H
3、混合匹配

, g; o! v* A: B0 o6 O
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。
2 N/ V6 W$ j" v0 F# E% j
Ⅱ基于统计的匹配分词

$ o0 I3 t" N, D2 j. G: x& v; G- W
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:

/ c: K- Y+ ^6 O3 G- Z' G6 f  O  v
7 ^9 S* i  A0 T) |
                               
登录/注册后可看大图
, e- `8 R6 R0 v. m. v

8 l- J. M( x0 J6 F9 l
Ⅲ基于理解的匹配分词
, A( r( o" h. ]  m+ R% J
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:

1 k7 \0 k! B/ s$ o3 f2 y; {
" u6 j) y, M2 K- W% [* E8 g$ r
                               
登录/注册后可看大图

$ z; s: d  B1 Q' S$ B, L4 ~
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!

, J8 Z- H" \% i' E, W7 e. [2 N4 R5 ]: h, ^: B  T: ?+ B
原文地址:http://www.niubseo.com/201412506.html

8 C% r/ }( m7 c; o0 D
搜外原创作者:kongdesen
3 k' e( p* D" q) R6 G
日期:2014-12-17
) u/ K: ]& r; j/ ?$ W' Z
谢谢管理!
3 P) }; D& z+ e  w  F+ V
3 \5 R, ~$ y2 p) n6 X9 X( t
起标题和选词斟酌的重要性百度真难捉摸  时时刻刻在变动 优化真难呢扫描后匹配成字、词、句的形式

回复|共 9 个

Mqokjdvq 发表于 2016-1-5 21:02:57|德国 | 查看全部
刚才我还看见了呢.
buingeEvineus 发表于 2016-1-5 21:03:22|美国 | 查看全部
既然你诚心诚意地发贴了,那我就大发慈悲地回复你。为了防止此贴被秒沉,为了维护此楼的繁荣!贯彻爱与真实的邪恶,可爱又迷人的顶贴角色! 穿梭在贴吧之间的顶贴队!喵~就是这样
wwdu926a 发表于 2016-1-5 21:03:36|韩国 | 查看全部
呵呵~~~~你怎么老这样说~~~
Mqokjdvq 发表于 2016-1-5 21:03:38|美国 | 查看全部
baidu是相当能折腾我了
tohme 发表于 2016-3-22 21:07:24|智利 | 查看全部
楼主,你要继续努力啊!你是bbs的希望啊!你是网络文学的希望啊!你是整个网络界的希望文学界的希望啊!你是整个人类的希望啊!你是整个太阳系的希望啊!你是整个异次元空间的希望啊!
wwdu926a 发表于 2016-3-22 21:07:43|美国 | 查看全部
你可是难得来坐坐啊~~~
Acropozelan 发表于 2016-3-22 21:07:48|法国 | 查看全部
这就是我斗胆的一点粗略分析,每天睡觉以前,我都会把您的帖子再三拜读,拜读。
alapScady 发表于 2016-3-22 21:07:51|美国 | 查看全部
楼上的话等于没说~~~
alapScady 发表于 2016-3-22 21:08:26|法国 | 查看全部
回来了 呵呵刚才在斗地主那 ~~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表