分享一个slide:花式自然语言处理
By 苏剑林 | 2018-01-23 | 82654位读者 |这是前两天在华南师范大学进行交流的时候所用的slide,主要介绍了自然语言处理的一些技巧。
这个slide的出发点是:国内高校很多搞NLP的小组基本都停留在RNN的思维中,所以我介绍了CNN、Attention的一些内容,并且介绍了模型训练的一些技巧,等等。内容其实比较简短,但考虑到不少概念对于多数同学来说都是新的,因此信息量还是蛮大的。
这也是我第一次尝试用$\LaTeX$来做slide,感觉也没有想象中那么难,做出来的效果还是挺清新明了的,以后要多练习~
下载链接:花式自然语言处理.pdf
转载到请包括本文地址:https://www.kexue.fm/archives/4823
更详细的转载事宜请参考:《科学空间FAQ》
如果您还有什么疑惑或建议,欢迎在下方评论区继续讨论。
如果您觉得本文还不错,欢迎分享/打赏本文。打赏并非要从中获得收益,而是希望知道科学空间获得了多少读者的真心关注。当然,如果你无视它,也不会影响你的阅读。再次表示欢迎和感谢!
如果您需要引用本文,请参考:
苏剑林. (Jan. 23, 2018). 《分享一个slide:花式自然语言处理 》[Blog post]. Retrieved from https://www.kexue.fm/archives/4823
@online{kexuefm-4823,
title={分享一个slide:花式自然语言处理},
author={苏剑林},
year={2018},
month={Jan},
url={\url{https://www.kexue.fm/archives/4823}},
}
January 23rd, 2018
沙发~
January 23rd, 2018
谢谢苏大大的分享
January 24th, 2018
苏神,现在是已经毕业了吗~
并没有,研二
January 26th, 2018
在1.4节部分您提到CNN不易捕捉位置信息,但是在《Attention is All You Need》浅读(简介+代码)这篇文章中您也说到RNN、CNN本身就能捕捉到位置信息。关于CNN捕捉位置信息您是怎么理解的呢?谢谢
1、CNN是不易捕捉位置信息,但毕竟还是有点位置信息的,或者说它只能捕捉比较模糊的位置信息,因为它是“一块块”地运算的;
2、在之前的文章《Attention is All You Need》浅读(简介+代码)中,我说CNN本身就能捕捉到位置信息,是相对Attention而言说的,毕竟纯Attention是完全不能捕捉位置信息的,而CNN的位置信息虽然模糊,但毕竟还是有的。有跟无的差别就很大了。
February 13th, 2018
苏大神来华师了?是数科院还是计院?
物电学院,薛云老师团队。
February 14th, 2018
能问一下ppt里分词后的信息熵7.2有出处吗?另外如果是信息熵越小越好这样一个逻辑,英文字母的信息熵约为4,岂不是直接用字母进行建模效果会更好?但是直观上感觉似乎不太合理
March 18th, 2018
苏兄,不知你有没有注意到nested LSTM这个模型,期待你的分享~
看过,暂时对RNN没什么兴趣呀,有机会再说了。
March 29th, 2018
能分享一下这个slide的Latex源代码吗?也想学学怎么用Latex做slide。
用的是gridslides宏包,基本也没怎么修改。
October 7th, 2018
[...]分享一个slide:花式自然语言处理[...]