返回列表 发新帖

深入百度分词算法的核心(实战)

297.6k 9
swmozowtfl 发表于 2015-5-7 23:48:47|湖北 | 查看全部 阅读模式
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
2 O& a# b' H" q, g0 [8 `
一、百度分词算法(切词)概念
% ~# \5 L- O& c* Q
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
. R+ @) i8 ~& C( {3 p  ^
二、百度分词的算法三种方式

! b' F7 M& Q+ s+ X, z. q0 ?
Ⅰ基本字典的匹配分词
& R! q9 i' h) d" g- Q; C% Y
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式

& Z0 f+ ?. B7 u
1、按照方式、可分为正向匹配和反向匹配

5 ?% |1 \0 Q( G. s
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
% }7 C: E) T' D2 q, a# M2 _. Z( e
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。
4 Q- f3 W1 e7 z9 P7 s9 |7 u
讲完上面两点之后,我们以“济南seo朋少最帅”为例,讲解一下正向匹配和逆向匹配
; }: B& o# l" s  Q

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

+ a" F+ D) D: \
3、混合匹配

( X/ U; L. |9 c4 Q
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。
- m( i" a$ X& T
Ⅱ基于统计的匹配分词

8 b% x0 d2 U( C8 \+ m
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
9 T. N# j: p9 C9 @. |0 S

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)
2 q9 w, N4 i5 Q3 A

6 b3 l8 ~& \) y
Ⅲ基于理解的匹配分词

2 B. s, P( f1 ]9 s% p& Z% L  t' D1 H6 M* i1 B
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
$ _$ q, B# @0 v# f+ _0 ]

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

5 z! @5 x. _: z$ X7 O9 n$ C
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!
! s. A- l! {7 k' z. Z

+ T. R3 t' y) k: t4 @
原文地址:http://www.niubseo.com/201412506.html
" ^. {( W! @7 l6 D; j$ D
搜外原创作者:kongdesen
4 h9 J; y7 T- a" D* s, ]2 A, b! M- C
日期:2014-12-17
1 L, a- [# S/ ^' `) M; H! w
谢谢管理!

% q% N2 U& e, o, w: X6 q6 Q2 C: w! C1 i
好的标题加上好的关键词
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
3 q4 C: x# K7 q+ i
一、百度分词算法(切词)概念

6 z8 M  ^6 a: G& @; i
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。

" m" p( h+ `! @" ~" v; H) y9 y  ~5 y
二、百度分词的算法三种方式

+ R  `% ~4 ]+ i; C. _% ^* o
Ⅰ基本字典的匹配分词
; T4 J" Q7 t( W) z( Z) K( P- ]. L
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式
3 }! C5 j& s, ]) \/ Q' I
1、按照方式、可分为正向匹配和反向匹配
1 `5 V1 t+ Y, J- I
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配

  D$ I& i- c2 V
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。
9 L" S, C- h5 b8 Y3 ?
讲完上面两点之后,我们以“济南SEO朋少最帅”为例,讲解一下正向匹配和逆向匹配
& S" z% l& V7 p3 u2 x7 ~

* v4 M7 ?- f" [0 @- R. ^                               
登录/注册后可看大图
" {& l8 j7 n2 U7 h3 e" b
3、混合匹配

! [6 t( ^6 l. @% Y/ Z& P/ n. g
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。
5 e1 R: I1 q5 r4 ]! o& z0 V
Ⅱ基于统计的匹配分词

  z7 Y! \0 Y" h4 ?! c5 b* _
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
4 h. N5 G- a; i. L& ]4 c0 Z6 ?! V! Q3 w
. A, _( w# x. h  h
                               
登录/注册后可看大图

5 W7 {* u( a4 z5 h3 ^
* e+ a6 `& ]+ o- }% [( M
Ⅲ基于理解的匹配分词

2 Y0 B% Y5 i/ j5 A) g; n
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
' K! P. F: g0 O# e: u/ l6 z# P1 H

$ ^. W* \/ m2 w5 o                               
登录/注册后可看大图

: i2 g( P# c( j: Y) y
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!
- P( P1 T' K0 N3 C
/ Z# _4 b. e5 E1 A( j. f
原文地址:http://www.niubseo.com/201412506.html
- f# M) `6 ~1 j4 x3 w' ?" \
搜外原创作者:kongdesen
! @" s4 N3 }) T( b
日期:2014-12-17

6 i! ]9 ?; R+ y7 A
谢谢管理!

4 [: @2 P4 j9 N1 X; {8 ^" n
  h9 U2 a! w  }  b4 A5 C3 r# c起标题和选词斟酌的重要性百度真难捉摸  时时刻刻在变动 优化真难呢扫描后匹配成字、词、句的形式

回复|共 9 个

Mqokjdvq 发表于 2016-1-5 21:02:57|德国 | 查看全部
刚才我还看见了呢.
buingeEvineus 发表于 2016-1-5 21:03:22|美国 | 查看全部
既然你诚心诚意地发贴了,那我就大发慈悲地回复你。为了防止此贴被秒沉,为了维护此楼的繁荣!贯彻爱与真实的邪恶,可爱又迷人的顶贴角色! 穿梭在贴吧之间的顶贴队!喵~就是这样
wwdu926a 发表于 2016-1-5 21:03:36|韩国 | 查看全部
呵呵~~~~你怎么老这样说~~~
Mqokjdvq 发表于 2016-1-5 21:03:38|美国 | 查看全部
baidu是相当能折腾我了
tohme 发表于 2016-3-22 21:07:24|智利 | 查看全部
楼主,你要继续努力啊!你是bbs的希望啊!你是网络文学的希望啊!你是整个网络界的希望文学界的希望啊!你是整个人类的希望啊!你是整个太阳系的希望啊!你是整个异次元空间的希望啊!
wwdu926a 发表于 2016-3-22 21:07:43|美国 | 查看全部
你可是难得来坐坐啊~~~
Acropozelan 发表于 2016-3-22 21:07:48|法国 | 查看全部
这就是我斗胆的一点粗略分析,每天睡觉以前,我都会把您的帖子再三拜读,拜读。
alapScady 发表于 2016-3-22 21:07:51|美国 | 查看全部
楼上的话等于没说~~~
alapScady 发表于 2016-3-22 21:08:26|法国 | 查看全部
回来了 呵呵刚才在斗地主那 ~~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表