김띵준의 Programming Story

링크 :  https://arxiv.org/pdf/1606.07792v1.pdf ABSTRACT 1. INTRODUCTION contributions • The Wide & Deep learning framework for jointly training feed-forward neural networks with embeddings and linear model with feature transformations for generic recommender systems with sparse inputs. • 구글 플레이 위에 직접 구현이 되어 있음. • TensorFlow 공식 홈페이지에 오픈소스화 . While the idea is simple, we show that the Wide & Deep framework significantly improves the app acquisition rate on the mobile app store, while satisfying the training and serving speed requirements. 2. RECOMMENDER SYSTEM OVERVIEW 아래의 Figure 2가 전체적인 시스템 overview 이다.  유저가 방문하면 해당 컨텍스트를 통하여 쿼리를 생성 한다.  유저 데이터를 통하여 어떤 앱이 가장 효율이 좋을지에 따라 리스팅을 한다.  milion의 앱이 있기 때문에 10 밀리 세컨드에 리턴하는 것은 좀 어려운 문제라고 한다. 따라서 사람이 정한 룰 + 머신 러닝을 통하여 처음에 100개로 줄인다. 그후 랭킹을 매긴다. The scores are usually P(y|x), the probability of a user action label y given the features x, including user features (e.g., country, language, demographics)...

안녕하십니까. 몇일 전까지 2019 공개 SW 컨트리뷰톤의 신청 기간이었고 운이 좋아 참가자로 선정이 되어서 포스팅 합니다. 공개 SW 컨트리뷰톤 공개 SW 컨트리뷰톤은 NIPA에서 주관하는 오픈소스 행사 입니다. 공공기관에서 진행하는 만큼.. 발대식 같은 거창한 행사도 있습니다. 작년 2018년도에도 진행하였는데 이번년도에도 진행하게 되었습니다. 공개 SW 컨트리뷰톤 일정 일정 입니다. 09/07 토요일 선릉에서 발대식. 10/19 토요일까지 컨트리뷰션. 11/02 토요일에 최종 평가회 11/06 수요일에 수상팀 발표 12월 초에 시상식을 진행 합니다. Backend.AI https://github.com/lablup/backend.ai backend ai는 주로 GPU 인프라를 다루는데 도움을 주는 오픈소스 라이브러리 입니다. 2019 파이콘에서   머신러닝 및 데이터 과학 연구자를 위한 python 기반 컨테이너 분산처리 플랫폼 설계 및 개발 라는 주제로 신정규 님이 공유도 해주셨습니다. 여러.. 고생의 흔적이 느껴지는 발표였으며 이번 기회를 통해서 많이 배울수 있지 않을까 생각이 듭니다. 참여 유형 1. 컨트리뷰터 Docker, K8s등의 컨테이너 기술에 관심이 많은 분  다양한 테크스택으로 구성된 프로젝트의 구조가 궁금한 분  웹컴포넌트 기술 기반의 웹개발에 관심이 있으신 분  Python의 AsyncIO 기반으로 프로그램을 개발해 보고 싶은 분 -> Backend.AI가 벡엔드 기술이지만 요구사항에 의하여 프론트 엔드 부분도 있다고 들었습니다. 간단한 웹 버그등을 고칠 수도 있긴 하지만.. 가장 어려운 분야 입니다. 저는 그래도 열심히 하고자 컨트리뷰터를 목표로 할 예정 입니다. 2. 테스터 TensorFlow 및 PyTorch 기반의 머신러닝 모델링에 관심이 있는 분 여러 머신러닝 프레임워크들의 성...

안녕하십니까. 딥러닝을 공부하는 도중, 오브젝트 인식하는데에 쓰이는 알고리즘이 Faster RCNN이라고 하여서, 관련 오픈소스를 공부하고 있습니다. Object Detection with Faster RCNN 물체를 인식하는데에 있어서 물체가 있는 위치를 예측하는 region proposal method와 그 위치에서 이미지의 특징을 분석하는 region-based CNN(R-CNNs) 가 있습니다. 해당 알고리즘의 이전 버전인 FastRCNN도 성능이 좋아진 편이지만, 여전히 CPU연산이 있어서 이를 GPU 연산으로 바꾼것이 FasterRCNN입니다. tensorpack 여러 오픈소스중  tensorpack 이라는 오픈소스의 예제 코드를 돌려보고 포스팅 합니다. tensorpack tensorpack은 tensorflow의 Wrapper이며, 여러 알고리즘의 예시 코드가 있습니다. 그중 FasterRCNN 도 한 예시 입니다. tensorpack은 어려운 조작법을 가진 tensorflow를 쉽게 조작할 수 있도록 하는 것이 모토 입니다. 그를 통해 쉬운 사용과 좋은 성능을 가져가려고 합니다. tensorpack architecture 직접 만져봐야 알 수 있겠지만, 전반적인 구조로는 파이썬 라이브러리들을 효율적으로 가져오는 Python Reader, zeroMQ를 통해서 큐를 생성, 멀티 GPU를 통한 분산 학습등을 처리 합니다.  사용법 https://github.com/tensorpack/tensorpack 의 링크에 들어가 tensorpack 코드를 다운 받습니다. tensorpack directory의 코드를 pip 명령어를 통해서 패키지화 합니다. pip install tensorpack을 하면 다운로드가 되지만 버전이 이전 버전이라 잘 안돌아 갑니다. 해당 코드의 https://github.com/tens...

파이콘 코리아 2018 지난 2018/08/18(토) ~ 19(일)에 파이콘이 개최되었고, 회사에서 지원을 받아서 다녀오게 되었습니다. https://www.pycon.kr/2018/ 대부분의 머신러닝에 관한 세션을 들었고, 그에 대하여 한 포스팅에 상세히 설명은 어렵지만 간단한 후기 등을 작성 하려고 합니다. 혹시라도.. 이 글을 읽게 되실 분들 중, 이 세션은 내 발표인데 포스팅 안했으면 좋겠다 싶으신 분들은 바로 댓글 부탁드립니다. 세션들을 블로그에 박제(?) 하려는 의도는 아니고, 지난 파이콘 세션들이 기억이 안나는 나에 대한 채찍질일 뿐 입니다. 머신러닝으로 치매 정복하기 링크 :  https://www.pycon.kr/2018/program/36 슬라이드 :  https://www.slideshare.net/ParkSejin/2018-110482902 치매, 알츠하이머는 치료가 어렵고, 조기 진단을 통해서 진행 속도를 늦추는 정도에 불과 하다. 모든 성인은 노화 하면서 뇌가 위축이 되고, 치매가 걸리는 사람들은 뇌의 특정한 위치에서 다른 변화가 있을 것이며 이를 찾는것이 프로젝트의 목적. 상용 프로젝트는 성능이 안나오거나 기능이 부족한게 현실이다. 속도가 나오며, 진단을 통한 위험도를 제시하며, 뇌의 영역을 시각화 하는것이 해당 프로젝트의 차별점. 해상도가 중요한 데이터에서 사용하는 High ResNet 일반적인 CNN 은 pooling을 통하여 레이어를 점차 작게 하면서 데이터를 축소 시키지만, 해당 문제에서는 객체가 인식 되어야 해서 해상도가 필요한데 이러한 이미지 인식에 사용되는 방식은 High ResNet. resnet의 구조는 중간에 뛰어넘는 지름길의 path를 두어서 성능을 향상 시켰다고 합니다. resnet 구조 소설 쓰는 딥 러닝 링크 :  https://www.pycon.kr/2018/program/28 슬라이드 :  https...

RNN에 대하여 공유할 일이 생겨서 작성하는 RNN에 대한 포스트 입니다. RNN? RNN은 순차적인 데이터를 학습하는 뉴럴네트워크 입니다. 구글 번역기로 대표적인 자연어처리가 그 한 예 입니다. RNN의 입력값은 아래의 데이터처럼 순차적인 데이터인 𝓍가 들어 갑니다.𝓍의 예시로는 문장이 될 수 있습니다. 우리가 원하는 출력값인 о는 아래와 같이 입력값 처럼 순차적인 시퀀스 데이터가 나올 수 있습니다. 중간의 s는 Hidden State로 중간중간 결과마다 State값을 매긴 결과 이고, 수식은  . 으로 나타낼 수 있습니다. 아래 그림처럼 볼 수 있듯이 각 State마다 결과 값 о를 출력 할 수 있습니다. W,U,V는 파라미터 값 이고, 모든 State 마다 공유 합니다. RNN (https://aikorea.org/blog/rnn-tutorial-1/) Tensorflow로 짠 RNN Core Oreilly의 Learning TensorFlow의 RNN예제 를 분석 하려고 합니다. 아래 그림은 Tensorboard를 통해서 텐서플로우 코드를 도식화 한 그림 입니다. RNN의 Flow라기 보다는 딥러닝 자체의 플로우로 봐도 무방 해 보입니다. RNN 학습 로그를 Tensorboard로 분석한 결과 Input, Transpose 아래 코드는 RNN 예제 데이터인 mnist 데이터를 불러오고, 데이터를 Transpose 합니다. RNN States 아래는 Hidden State를 구하는 부분 입니다. RNN Output 아래 코드는 RNN의 출력값 o를 나타 냅니다. 출력값은 선형 방식을 사용하였습니다. RNN Train, Test 아래 코드는 위에서 쌓은 Tensor 객체를 통해서 Train과 Test를 진행 합니다. 결과 아래처럼 정확도는 97퍼센트로 나쁘지 않습니다. Iter 0, Minibatch Loss= 2.302...