Wide & Deep Learning for Recommender Systems 리뷰

링크 : https://arxiv.org/pdf/1606.07792v1.pdf

ABSTRACT

1. INTRODUCTION

contributions

• The Wide & Deep learning framework for jointly training feed-forward neural networks with embeddings and linear model with feature transformations for generic recommender systems with sparse inputs.

• 구글 플레이 위에 직접 구현이 되어 있음.

• TensorFlow 공식 홈페이지에 오픈소스화 .

While the idea is simple, we show that the Wide & Deep framework significantly improves the app acquisition rate on the mobile app store, while satisfying the training and serving speed requirements.

2. RECOMMENDER SYSTEM OVERVIEW

아래의 Figure 2가 전체적인 시스템 overview 이다. 

유저가 방문하면 해당 컨텍스트를 통하여 쿼리를 생성 한다. 

유저 데이터를 통하여 어떤 앱이 가장 효율이 좋을지에 따라 리스팅을 한다. 

milion의 앱이 있기 때문에 10 밀리 세컨드에 리턴하는 것은 좀 어려운 문제라고 한다.

따라서 사람이 정한 룰 + 머신 러닝을 통하여 처음에 100개로 줄인다. 그후 랭킹을 매긴다. The scores are usually P(y|x), the probability of a user action label y given the features x, including user features (e.g., country, language, demographics), contextual features (e.g., device, hour of the day, day of the week), and impression features (e.g., app age, historical statistics of an app).

Figure 2

3. WIDE & DEEP LEARNING

Figure 1

3.1 The Wide Component

3.2 The Deep Component

Figure 1의 오른쪽인 feed-forward neural network 부분 이라고 한다. 언어=영어 와 같은 categorical한 데이터이고 spare한 데이터 이기에 low-dimensional and dense real-valued vector, often referred to as an embedding vector로 바꾼다고 한다.

임베딩을 한 후 loss를 줄이는 방식으로 학습을 한다. 아래는 히든 레이어의 계산 식이다.

수식 2

where l is the layer number and f is the activation function, often rectified linear units (ReLUs). a (l) , b (l) , and W(l) are the activations, bias, and model weights at l-th layer.

3.3 Joint Training of Wide & Deep Model
4. SYSTEM IMPLEMENTATION
4.1 Data Generation
4.2 Model Training
4.3 Model Serving
5. EXPERIMENT RESULTS

5.1 App Acquisitions

3주동안 A/B 테스트를 통하여 비교를 하였다.

오른쪽 지표는 구글 플레이를 통한 전환을 평가한듯 하다. 

5.2 Serving Performance
6. RELATED WORK
7. CONCLUSION