Learning sparse network using target dropout(文末有代码链接)

摘要 当神经网络的权值的数量超过了从输入映射到输出需要的权值数量,神经网络会更容易优化。这里暗存了一个两个阶段的学习进程:首先学习一个大的网络,然后删除连接或隐藏的单元。但是,标准的训练并不一定会使得网络易于修剪。于是,我们介绍了一种训练神经网络的方法——target…

DCN:Deep & Cross Network for Ad Click Predictions简介

Deep & Cross Network for Ad Click Predictions 摘要 作者起草了DCN,该网络可以保持DNN的优点(隐式地生成特征之间的交互),同时又利用交叉网络来对特征进行显式的交叉计算。这也不要求手工的特征工程,同时只是在DNN的基础上加了一些可容忍的复杂度。实验证明DCN已经在CTR预估与分类问题上超过了sota。…

《Learning Deep Structured Semantic Models for Web Search using Clickthrough Data 》论文总结

1.背景 DSSM是Deep Structured Semantic Model的缩写,即我们通常说的基于深度网络的语义模型,其核心思想是将query和doc映射到到共同维度的语义空间中,通过最大化query和doc语义向量之间的余弦相似度,从而训练得到隐含语义模型,达到检索的目的。DSSM有很广泛的应用,比如:搜索引擎检索,广告相关性,问答系统,机器翻译等。…

DeepCoNN

DeepCoNN Lei Zheng, Vahid Noroozi, and Philip S. Yu. 2017. Joint Deep Modeling of Users and Items Using Reviews for Recommendation.…

深度学习之图像修复

图像修复问题就是还原图像中缺失的部分。基于图像中已有信息,去还原图像中的缺失部分。 从直观上看,这个问题能否解决是看情况的,还原的关键在于剩余信息的使用,剩余信息中如果存在有缺失部分信息的patch,那么剩下的问题就是从剩余信息中判断缺失部分与哪一部分相似。而这,就是现在比较流行的PatchMatch的基本思想。…