推荐系统之深度学习模型
1、Wide&Deep模型Wide & Deep于2016年google在发表在DLRS 2016上的论文《Wide & Deep Learning for Recommender Systems》提出。Wide&Deep的核心思想是结合线性模型的记忆能力和DNN泛化
...
BERT算法详解及其应用
一、背景最近几年自然语言处理领域取得了飞速的发展，基本几项重要的成果都集中在了预训练上包括18年火爆一时的BERT，而后续发表的XLNet，近期发布的RoBERTa都是以更好的预训练为目的的。
什么是BERT？BERT是基于Transformer Encoder来构建的一种预训练模型，在BERT的论
...
《推荐系统》读书笔记
本文为《推荐系统》蒋凡 译这本书的学习笔记，书本链接,提取密码:cm77。
第一章 引言本章主要是介绍了一些推荐系统的背景和基本概念以及简要的介绍了下本书的结构。
1.1 协同过滤推荐协同过滤推荐的思想主要是如果用户在过去有相同的偏好，那么他们在未来也会有相同的偏好。其任务主要是从大量候选集合中推荐
...
TextRank算法
1、简介TextRank算法的思想来源于google的PageRank算法，其主要是将文本分割成若干的组成单元(单词、句子)并建立图模型，利用投票机制对文本中的重要成分进行排序，仅仅利用单文档的信息就可以完成关键词抽取和信息摘要的任务。和LDA、HMM等模型不同, TextRank不需要事先对多篇文
...
Attention机制和Transformer框架详解
1、前言在之前的一篇文章中Attention Mechanism综述讲述了Attention的背景和其应用场景，主要来自知乎的一篇精品博文摘抄。不过看完这篇博文只是对Attention的框架有了一个大概的了解，但是深入其里还是有些模糊。接下来本文就对Attention和Transformer进行更多
...
tensorflow模型保存与跨平台上线
1、tensorflow模型跨平台的方案tensorflow模型的跨平台上线的备选方案一般有三种：PMML方式、tensorflow serving方式以及跨语言API方式。
PMML方式：与普通机器学习模型通过PMML上线方式一致，唯一的区别是转化生成PMML文件需要用一个Java库jpmml-
...
SVD和LSI/LSA
1、SVD定义SVD(singular value decomposition)，翻译成中文就是奇异值分解。SVD的用处有很多，比如：LSA（隐性语义分析）、推荐系统、特征压缩（或称数据降维）。SVD可以理解为： 将一个比较复杂的矩阵用更小更简单的3个子矩阵的相乘来表示，这3个小矩阵描述了大矩阵重要
...
tensorflow小技巧
1、使用timeline来优化优化性能timeline可以分析整个模型在forward和backward的时候,每个操作消耗的时间，由此可以针对性的优化耗时的操作。案例：我之前尝试使用tensorflow多卡来加速训练的时候， 最后发现多卡速度还不如单卡快，改用tf.data来 加速读图片还是很慢，
...
Attention Mechanism综述
本文主要来自文章模型汇总24 - 深度学习中Attention Mechanism详细介绍：原理、分类及应用摘抄，在此基础上加上了更加通俗化表达的内容。因为觉得该文章写的很好，故搬运到博客中来学习。针对文章中部分错误修改，图片尽量更改为清晰图片。
1、简介Attention Mechanism目前非
...