返回列表 发新帖

深入百度分词算法的核心(实战)

297.5k 9
swmozowtfl 发表于 2015-5-7 23:48:47|湖北 | 查看全部 阅读模式
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
4 s( G  W' c* E+ D
一、百度分词算法(切词)概念
* j2 i1 r# Z& i5 M' n
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
/ B$ ~8 b: k) F
二、百度分词的算法三种方式

5 _( I* N4 e3 @3 F5 Z( n! r( _1 ?
Ⅰ基本字典的匹配分词
6 E5 \; S. L# f  t: o
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式

+ \/ q- @  m# Q8 u! F
1、按照方式、可分为正向匹配和反向匹配

. ?* ~5 {7 C* C1 f7 Q) S5 Q5 ]
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
# u( w' P! d) z- J
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。

/ X' G, l6 D& m( [7 U1 \4 m
讲完上面两点之后,我们以“济南seo朋少最帅”为例,讲解一下正向匹配和逆向匹配

3 [4 j! O& K# U( w4 X1 P2 l

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

# @3 E  J1 U3 ?( ]9 Q* Y+ E0 k; B
3、混合匹配

2 ~, C" ~1 a% C( }! X1 N) s
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。

+ X/ i3 W' L; B* _, M* c# l* b* k2 X
Ⅱ基于统计的匹配分词
$ l8 q5 f% |5 }; x" E# x
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:

0 I2 G5 U$ i+ r4 i  u# A

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)

2 N! y& C8 X, B
  n& B, x3 q6 n- @' V' r3 {
Ⅲ基于理解的匹配分词
7 t- W( j* q& B" T. S2 z. i, t
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
1 O4 E0 T8 y5 i4 \+ A. `. k" `

深入百度分词算法的核心(实战)

深入百度分词算法的核心(实战)
& R, U7 G( a3 u( S+ z& {/ Y
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!

8 k; Z6 T$ a  ^1 c  M& z) P& H% G, T. p0 ]/ h! ?; @; y  r" N0 M
原文地址:http://www.niubseo.com/201412506.html

) T* |: M$ @/ E. q
搜外原创作者:kongdesen
- V1 \! k' }5 }
日期:2014-12-17
8 s# y% e  m' G! G, N
谢谢管理!

, \0 d6 ^) U1 j& K% B% H* r5 @" s* ?+ g, b$ b9 f' w3 @
好的标题加上好的关键词
大家好,我是朋少,今天依然为大家带来百度分词算法,注意本文绝对不是采集或是抄袭网上的一些教科书里的文章,而是朋少花了近两个星期才得到一些感悟,现在在这里写给我最亲爱的喜欢我的同志们,也请你们记住–风一样的男子,朋少!
! k/ `$ r8 c& S; V' y* F. K! k( a
一、百度分词算法(切词)概念
3 A1 d7 `7 z7 z' Y
就是将词组打乱,按照一定的规则重组,然后搞成新的词,对新词进行匹配。
1 i7 B# E3 v: x. \
二、百度分词的算法三种方式
  Y& H" w  y  S$ H' b
Ⅰ基本字典的匹配分词

+ F5 f7 R7 G' k- J; G# M3 z! [/ x
根据目标词与已经有的字典里的词组匹配,扫描后匹配成字、词、句的形式

3 v, v7 a3 @( F- C. J$ _2 i: m
1、按照方式、可分为正向匹配和反向匹配
7 P5 Q: A  ?1 U% v, A7 B* i) u
2、如果按方向和长度的匹配可以分为:正向最大匹配和逆向最大匹配
. T1 x; P" N. C
3、还有一种就是双向匹配,双向匹配就是从正向和反向两个来匹配。
+ E1 ?8 K9 [6 E
讲完上面两点之后,我们以“济南SEO朋少最帅”为例,讲解一下正向匹配和逆向匹配
+ E1 I0 |2 b5 b# o$ S$ s
6 o9 W1 d+ U" e7 U+ P
                               
登录/注册后可看大图
' F% m1 {- e5 d0 f4 q) X: k
3、混合匹配
$ u+ p1 t6 i3 I# X: g8 Y. {
深圳蚂蚁搬家公司 可以匹配成深圳搬家公司 三个词并不连续,就是混合。

! Q$ d. L" n" j: x) C( o" O
Ⅱ基于统计的匹配分词

$ _& [: b" a3 ?" M6 Z% N9 {
基本统计的匹配其实可以举一个很简单的例子来说明,比如在没有iphone之前,我们搜“苹果多少钱”的时候,基本上来说是我们平时吃的苹果,而有了苹果手机之的呢,大量的人也人搜这个词,但是呢,他们都是找的苹果手机多少钱,这个时候,百度就会统计出苹果手机这个占的比例是比较大的,因而把苹果手机排在前面。以“最新苹果多少钱”为例子:
  |  ~( T) e( p, ]2 ^

9 t; l1 [  s  ~& ]2 F                               
登录/注册后可看大图
: V& a$ H( F7 P# `

0 n6 g) @. Q) C( M7 f" ]8 W1 j
Ⅲ基于理解的匹配分词

4 I( q" ^" E; c8 H
这个基本上来说到现在为止,还没有真正的成熟,那么什么是基于理解的分词呢,就是搜索引擎通过大量的积累,然后可以找相近的词来进行匹配,这种情况下,可能匹配一些较少的词。大家看下面这个例子,基于理解的分词:
8 ~7 z- H* ~$ c+ O3 K5 D1 v

$ Z1 ?6 |) X$ |; }. `                               
登录/注册后可看大图

  t- E: {; n! {
教程到这里了,还会继续出百度分词算法的教程,因为一个人的标题写的怎么样,会决定他的排名以及以后的优化。请大家继续关注!

4 E2 x$ u9 J1 l. {) q% s# Q" u# F$ L* |$ f# L
原文地址:http://www.niubseo.com/201412506.html

. a, J4 c  m# x; D
搜外原创作者:kongdesen

" W7 f5 i1 V) |- P, l
日期:2014-12-17

! R. V: g- Z$ j" a6 f8 R3 k0 O
谢谢管理!

6 S5 [/ v0 V5 N; c& p. D, S, y" c! b
起标题和选词斟酌的重要性百度真难捉摸  时时刻刻在变动 优化真难呢扫描后匹配成字、词、句的形式

回复|共 9 个

Mqokjdvq 发表于 2016-1-5 21:02:57|德国 | 查看全部
刚才我还看见了呢.
buingeEvineus 发表于 2016-1-5 21:03:22|美国 | 查看全部
既然你诚心诚意地发贴了,那我就大发慈悲地回复你。为了防止此贴被秒沉,为了维护此楼的繁荣!贯彻爱与真实的邪恶,可爱又迷人的顶贴角色! 穿梭在贴吧之间的顶贴队!喵~就是这样
wwdu926a 发表于 2016-1-5 21:03:36|韩国 | 查看全部
呵呵~~~~你怎么老这样说~~~
Mqokjdvq 发表于 2016-1-5 21:03:38|美国 | 查看全部
baidu是相当能折腾我了
tohme 发表于 2016-3-22 21:07:24|智利 | 查看全部
楼主,你要继续努力啊!你是bbs的希望啊!你是网络文学的希望啊!你是整个网络界的希望文学界的希望啊!你是整个人类的希望啊!你是整个太阳系的希望啊!你是整个异次元空间的希望啊!
wwdu926a 发表于 2016-3-22 21:07:43|美国 | 查看全部
你可是难得来坐坐啊~~~
Acropozelan 发表于 2016-3-22 21:07:48|法国 | 查看全部
这就是我斗胆的一点粗略分析,每天睡觉以前,我都会把您的帖子再三拜读,拜读。
alapScady 发表于 2016-3-22 21:07:51|美国 | 查看全部
楼上的话等于没说~~~
alapScady 发表于 2016-3-22 21:08:26|法国 | 查看全部
回来了 呵呵刚才在斗地主那 ~~~~

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表