返回列表 发新帖

深入百度分词算法的核心(实战)

297.7k 9
swmozowtfl 发表于 2015-5-7 23:48:47|湖北 | 查看全部 阅读模式
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
4 b5 L; f/ X) a+ s) U$ m
一、百度分词算法(切词)概念
0 O& B0 K: i: N+ {' [% W+ v
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
2 Q4 E2 b2 x: A. g
二、百度分词的算法三种方式

+ w0 f% _7 q/ x& O+ Y- V
Ⅰ基本字典的匹配分词

$ l" S+ |5 G" Z# }& Q/ N' F
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式
6 O1 a3 d7 o3 m/ I1 S
1、按照方式、可分为正向匹配和反向匹配

5 x, [* x# }% c% X; o
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
2 y& ?( g0 l* k  r
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。

6 \4 \) s! C+ r! J; x8 M, c6 D
讲完上面两点之后,我们以“济南seo朋少最帅”为例,讲解一下正向匹配和逆向匹配

2 c* l; A$ {/ d/ o; X, @. N: R

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

3 c8 ^+ e9 ~  L
3、混合匹配
$ J' @# _  l7 ~9 {0 E& d
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。

; c, Y5 a% V* e8 F# M! m
Ⅱ基于统计的匹配分词

0 V; T8 `) w) u; ?
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
/ L% ]1 p+ N% E& p& ]2 T

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)
+ W4 b+ N' ?1 G- u

. F* G6 W8 Q' X1 N8 |5 Z# K3 Q/ Z
Ⅲ基于理解的匹配分词

; H2 M! e( A) l  |
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
2 b) Q5 }! _7 [  ?

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

; T; x; }1 B* Y7 g4 z
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!

# t1 {7 |7 c9 ]! k0 z" ~
6 q) R- W5 B# X# r* D$ K
原文地址:http://www.niubseo.com/201412506.html

2 ~3 U" ]7 ?, W. }8 d2 A4 [
搜外原创作者:kongdesen
  D5 Q" a9 x* Q9 l+ v. h
日期:2014-12-17

" I; b/ v) U8 e3 P8 {) U' p& z, m
谢谢管理!

2 S: x. L! ~8 a; ^2 z: E
( `5 w! k& G! }5 f好的标题加上好的关键词
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
7 x: o" j* T9 E% I: i/ t
一、百度分词算法(切词)概念
0 l  V. z) q2 m( A8 \
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
! g5 A1 L  E2 v- m2 j6 I* v
二、百度分词的算法三种方式
& J0 o" V5 A7 ~9 d/ A3 t6 v
Ⅰ基本字典的匹配分词
& w7 z" T0 m3 J# x( t2 n3 K  B  Q
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式

# X* E. H) V3 G  I) i! c7 j
1、按照方式、可分为正向匹配和反向匹配
% z$ V" a) `- S% Q/ K
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
& l5 o% B* w; f4 [& z9 l
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。
3 s  z! a( d- |% v* I* \
讲完上面两点之后,我们以“济南SEO朋少最帅”为例,讲解一下正向匹配和逆向匹配

$ I: r  N; h7 s7 P

% o; F! {* Z! m2 g3 I                               
登录/注册后可看大图

4 c* c' X; Y2 b0 G' |1 S& N
3、混合匹配
/ F" e6 I9 W" o( [5 M4 N
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。
  m+ a4 `: J3 }6 W6 b- Y  u
Ⅱ基于统计的匹配分词

* o9 s' [# L8 b1 d1 _% ]4 C% A0 y
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
  _$ M5 z: Q* a) b0 n. j" n2 ?
: [9 o" x2 T; s" {  e
                               
登录/注册后可看大图

( S9 p9 {  K% @, r) V' ~
- ~6 @# O# }9 }
Ⅲ基于理解的匹配分词
1 V  b! A* c( \9 O9 ^- E
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:

# {6 a" E+ U' q3 n- ?4 f
. v) c$ `0 o0 }5 h( v! h2 s
                               
登录/注册后可看大图
. z8 k! \  V* _9 @0 U
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!
- \9 g% b2 _& f5 s- ~! l* i8 D' R

' t  Z9 @  N; w1 `; F
原文地址:http://www.niubseo.com/201412506.html

" F" N$ J" C3 F' N2 w$ M
搜外原创作者:kongdesen

( t. F) c; o, r0 M  o8 `. `% N
日期:2014-12-17

( M( H) g$ K' H9 Y1 k6 W7 j4 O
谢谢管理!
  Q) H: [' A) s  {, ^
( U: W8 B: \6 q
起标题和选词斟酌的重要性百度真难捉摸  时时刻刻在变动 优化真难呢扫描后匹配成字、词、句的形式

回复|共 9 个

Mqokjdvq 发表于 2016-1-5 21:02:57|德国 | 查看全部
刚才我还看见了呢.
buingeEvineus 发表于 2016-1-5 21:03:22|美国 | 查看全部
既然你诚心诚意地发贴了,那我就大发慈悲地回复你。为了防止此贴被秒沉,为了维护此楼的繁荣!贯彻爱与真实的邪恶,可爱又迷人的顶贴角色! 穿梭在贴吧之间的顶贴队!喵~就是这样
wwdu926a 发表于 2016-1-5 21:03:36|韩国 | 查看全部
呵呵~~~~你怎么老这样说~~~
Mqokjdvq 发表于 2016-1-5 21:03:38|美国 | 查看全部
baidu是相当能折腾我了
tohme 发表于 2016-3-22 21:07:24|智利 | 查看全部
楼主,你要继续努力啊!你是bbs的希望啊!你是网络文学的希望啊!你是整个网络界的希望文学界的希望啊!你是整个人类的希望啊!你是整个太阳系的希望啊!你是整个异次元空间的希望啊!
wwdu926a 发表于 2016-3-22 21:07:43|美国 | 查看全部
你可是难得来坐坐啊~~~
Acropozelan 发表于 2016-3-22 21:07:48|法国 | 查看全部
这就是我斗胆的一点粗略分析,每天睡觉以前,我都会把您的帖子再三拜读,拜读。
alapScady 发表于 2016-3-22 21:07:51|美国 | 查看全部
楼上的话等于没说~~~
alapScady 发表于 2016-3-22 21:08:26|法国 | 查看全部
回来了 呵呵刚才在斗地主那 ~~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表