김띵준의 Programming Story

논문 링크 :  https://arxiv.org/ftp/arxiv/papers/1205/1205.2618.pdf 코드 링크 :  https://github.com/benfred/implicit 해당 논문은 2009년도에 작성되었습니다. UAI 2019 - Association for Uncertainty in Artificial Intelligence 라는 AI 컨퍼런스에 제출된듯 합니다. 이번 논문도 저번 논문 처럼 implict 피드백에 대한 논문 입니다. 해당 논문은 새로운 모델을 생성했다기 보다는 기존 모델의 최적화 방법을 좀더 좋은 방법으로 고안하고 성능이 향상되었다는 것으로 보입니다. 1. Introduction 해당 논문에서는 item recommendation을 주로 다룬다고 합니다. implicit한 데이터들이 얻기도 쉽고, 현실적인 데이터라고 언급하고 있습니다. contribution 1. We present the generic optimization criterion BPR-Opt derived from the maximum posterior estimator for optimal personalized ranking. We show the analogies of BPR-Opt to maximization of the area under ROC curve. 2. BPR-Opt를 최대화 하는데에 있어서 LearnBPR를 도입. 이는 bootstrap sampling을 통한 SGD를 사용. 3. LearnBPR를 기존의 SOTA 알고리즘에 대하여 적용. 4. 개인화 랭킹 모델에 대하여 BPR가 다른 모델들보다 좋다는 것을 보임. 2. Related Work 저번 논문처럼 kNN이 언급 되어 있습니다. 또한 SVD, MF등 다른 알고리즘도 추가되어 있습니다. 3. Personalized Ranking 3.1 Formalization U = 모든 유저 I = 모든 ...

논문 링크 :  http://yifanhu.net/PUB/cf.pdf 코드 링크 :  https://github.com/benfred/implicit 해당 논문은 2008년도에 작성 되었습니다. 추천 시스템의 명확한 피드백이 아닌 내재되어 있는 피드백에 대하여 다룬 논문 입니다. 명확하다는 것은 예를 들어서 1-5점, 구매 유무가 될수 있을듯 하고 내재되어 있는 피드백은 유저의 체류 시간 등이 될 수 있습니다. 해당 모델의 이전 모델은 KNN같은 Neighbor 모델인걸로 보아서 최초의 approach로 보입니다.(아닐수도!) 아래가 해당 논문의 수식 입니다. u : 유저 i : 아이템 Xu : 유저 벡터 Yi : 아이템 벡터 R : 유저가 해당 아이템을 2번 보면 2. 70% 정도 보면 0.7이다. P(preference) : 해당 유저가 해당 아이템을 사용하였으면 1 or 0 이는 유저 u, 아이템 i의 내적으로도 표현이 가능하다고 함. C(confidence) : 그냥 TV를 봤기 때문에 채널을 보았거나, 나는 싫어하지만 친구 선물을 위해 주는 경우를 처리하기 위해서 만들어 졌다고 한다. 수식 뒤의 term은 regularization을 위함. 관측값 - 예측값을 최소화 하는 전형적인 수식으로 볼 수 있음. 아래의 수식이 word2vec(glove), mf등에서 자주 사용되는 형식이라고 합니다. 최적화 최적화는 alternating-least-square 방법으로 진행하였으며 아래의 수식을 번갈아 계산 하는데 이는 얼핏 보면 원래의 식에서 각각을 추출해낸 것으로 짐작할 수 있다. 해당 논문에서는 데이터가 매우 커져서 SGD를 사용하지 않았다고 합니다. xu를 업데이트 하는데에 있어서 다른 변수와 연관성이 없기 때문에 병렬로 계산이 가능하다고 합니다. 또는 당시에 SGD가 유세하지 않았을수도 있다고 합니다. 아래의 C는 rui를 통해서 다시 표현할 수...

안녕하십니까. 이번 기회에 모두의 연구소의 추천 시스템 Boot Camp에 참여하게 되었습니다. 링크 추천 시스템은 넷플릭스, 페이스북, 유투브등 안쓰이는데가 없으며 현재까지도 최신 논문이 나오고 있는 분야중 하나 입니다. 업무적이나 개인적으로 관심이 깊어서 이번 기회에 진행하게 되었습니다. 저는 아래에서 2019-09-24 DeepFM의 코드 리뷰를 담당하게 되었습니다. 가능하면 제 담당이 아닌 분야도 제 블로그에 상세히 리뷰하는 것을 목표로 진행해 보려고 합니다. ㅎㅎ

안녕하십니까. 2019 파이콘 튜토리얼 2일차 에 참석 하였습니다. 2019/08/16일 금요일 14:00~18:00 사이에 진행하는 파이콘 튜토리얼 "딥러닝 안에서 일어나는 과정을 해석하는 설명가능 인공지능 기술" 에 대하여 리뷰를 합니다. 주최하는 단체는 유니스트 대학의 XIAC(Explainable Artificial Intelligence Center) 입니다. 링크 :  http://xai.unist.ac.kr/Tutorial/2018/ 설명 가능한 인공지능이란? 최근 인공지능의 발전으로 인하여 여러 인식 분야에서는 꽤 좋은 성능을 보이고 있습니다. 예를 들어서 이미지 인식 분야는 이미 사람의 성능을 뛰어넘고 있다고 하고 있고, 더 나아가 이미지 생성을 하고 있습니다.(Generative Model) 이에 더 나아가 점프하는 로봇, 도로를 주행하는 자율 주행등 기술의 진보는 끊임이 없는데요. 그렇지만 딥러닝은 블랙박스로써 왜 자율 주행을 하고 있고, 왜 점프를 뛰고 있는지 설명이 불가능했던 분야 입니다. 이는 주어진 데이터를 통해서 학습을 할 뿐, 파라미터가 수만, 수십만 갯수가 넘어가니 시각화가 어렵던 분야 인데요. 하지만 자율 주행자동차는 여전히 가끔 사고 소식이 들려오는 만큼 왜 해당 루트에서 해당 결정을 내리게 되었는지 이해가 필요 합니다. 따라서 아래의 그림과 같이 자율주행 자동차가 인식을 하는 방식을 시각화 하는 것도 이미 많이 연구가 되고 있습니다. 자율 주행 인식 미국에서는 범죄에 대한 형량등을 결정을 할때 AI의 도움을 받는 연구가 진행중에 있다고 합니다. 아래의 두 백인종, 황인종 범죄자의 대하여  왼쪽의 범죄자는 약물을 섭취한 범죄 이력이 있고 살짝 눈이 풀린 느낌도 납니다. 오른쪽의 범죄자는 단순 범죄이며 왼쪽의 범죄자보다 이력도 단순한데요. 인공지능은 오른쪽 범죄자를 더 높은 위험요소라고 판단하였습니다. 이러한 경우는 보통 백인...

안녕하십니까. 2019/08/06 화요일 저녁에 Next'19 in ToKyo Extended라는 세미나에 참석하게 되어서 공유 합니다. 링크 :  https://festa.io/events/402 Next'19 in ToKyo Extended 해당 발표는 연사자분들이 일본에 발표하러 가기 이전에 한국에서 발표를 하는 자리여서 ToKyo Extended 였습니다. 일본 불매운동의 영향으로 ToKyo가 들어가서 그런지 신청자와 참석자가 적었습니다.  제 기억상 보통 이런자리면 100명정도 참석하시던거 같은데 약 30명정도 참석 하셨습니다. (구글은 미국 회사이고.. 발표자분들도 일본인이 아니긴.. 하지만 ㅠ.ㅠ) 자원 봉사 진행 저는 당시에 자원 봉사자로 행사 진행에 도움을 주었습니다.  주로 하였던 작업은 의자 나르기와 문 열어주기를 하였습니다. 발표자 Jaeyeon Baek 님은 GDG Cloud Korea 소속으로 발표하셨고 Mete Atamel, Robert Kubis 님들은 구글 소속분들입니다. 들어보니 구글 클라우드 유투브 동영상에 자주 나오시는 분들이라고 합니다. Mete Atamel - Serverless Containers with Knative and Cloud Run 튜토리얼 링크 : https://github.com/meteatamel/knative-tutorial 쿠버네티스를 사용한 서버리스 컨테이너인 Knative에 대하여 설명한 세션. 데모는 클라우드에 올리고 부하 분산이 되는것을 보여줌. Robert Kubis - Real-time Update to 1000's of Clients with Cloud Firestore firestore라는 데이터 베이스 시스템을 통하여 클라이언트와 연결되고 실시간으로 픽셀이 변경되는것을 보여준 세션. 링크 :  https://firepixels.app/ 아래 이미지의 ...