最近这两天又折腾了下个人网站,趁着还没忘记,把该记下的记一下。
把整个主题换成了Next,稍后做补充
Stay Inspired
最近读了两篇2017年很出名的论文,分别是Facebook的《Convolutional Sequence to Sequence Learning》和Google的《Attention is All You Need》。这两篇让我改观开始变得对读论文有好感,可想而知精彩程度。本质上都是抛弃了RNN做Seq2Seq的机器翻译任务。本篇先进行《Convolutional Sequence to Sequence Learning》的论文走读。
面向读者:本身就对这篇论文感兴趣,但还是有不理解的地方。
LSTM(Long Short Term Memory networks),长短期记忆网络是经典RNN的升级版,原则上是RNN的一种。用来解决 long-term dependency问题,现被广泛使用。
面向读者:深度学习 / NLP入门选手
NLP里最常用最传统的深度学习模型就是循环神经网络 RNN(Recurrent Neural Network)。这个模型的命名已经说明了数据处理方法,是按顺序按步骤读取的。与人类理解文字的道理差不多,看书都是一个字一个字,一句话一句话去理解的。
本文将介绍RNN及其一些重要的RNN变种模型:
Quora Question Pairs是kaggle里的问句语义匹配比赛。这场比赛对于nlp选手应该不陌生了,数据集也是大家入门nlp必备。本文在深度语义匹配使用的是百度开源的语义匹配框架AnyQ里的SimNet。
面向对象:想搭建智能问答系统、深度语义匹配的nlp选手。在自己亲手搭建一个之前,学习和走读优秀的框架代码是个不会错的选择。
AnyQ(ANswer Your Questions) :百度QA开源项目,主要包含面向FAQ集合的问答系统框架、文本语义匹配工具SimNet。
面向读者:nlp入门,python选手,对word embedding(词嵌入)有大概了解。
本文是基于doc2vec的一个关于延禧攻略剧情文本的小demo。doc2vev基于word2vec,它俩很像,使用方法也很像。有空再把原理补上。