Word2vec负采样和层序softmax理解 - Dszlj的学习日记

Word2vec负采样和层序softmax理解

2025-10-27 22:11

|

96

|

0

|

141 字

|

1 分钟内

为了解决跳远模型和连续词袋模型在训练时需要计算词表大小的梯度使计算量太大的问题。从而有了这两个方法。

1.负采样

负采样修改了原来的⽬标函数。给定中⼼词Wc的⼀个背景窗口，我们把背景词Wo出现在该背景窗口看作⼀个事件，并将该事件的概率计算为

2.层序softmax

不搬运了，看视频

IMG_0054_哔哩哔哩_bilibili

暂无评论

发送评论编辑评论

Markdown

|´・ω・)ノ

ヾ(≧∇≦*)ゝ

(☆ω☆)

（╯‵□′）╯︵┴─┴

￣﹃￣

(/ω＼)

∠( ᐛ 」∠)＿

(๑•̀ㅁ•́ฅ)

→_→

୧(๑•̀⌄•́๑)૭

٩(ˊᗜˋ*)و

(ノ°ο°)ノ

(´இ皿இ｀)

⌇●﹏●⌇

(ฅ´ω`ฅ)

(╯°A°)╯︵○○○

φ(￣∇￣o)

ヾ(´･･｀｡)ノ"

( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃

(ó﹏ò｡)

Σ(っ °Д °;)っ

( ,,´･ω･)ﾉ"(´っω･｀｡)

╮(╯▽╰)╭

o(*////▽////*)q

＞﹏＜

( ๑´•ω•) "(ㆆᴗㆆ)

颜文字

Emoji

小恐龙

花!