김띵준의 Programming Story

파이콘 코리아 2018 지난 2018/08/18(토) ~ 19(일)에 파이콘이 개최되었고, 회사에서 지원을 받아서 다녀오게 되었습니다. https://www.pycon.kr/2018/ 대부분의 머신러닝에 관한 세션을 들었고, 그에 대하여 한 포스팅에 상세히 설명은 어렵지만 간단한 후기 등을 작성 하려고 합니다. 혹시라도.. 이 글을 읽게 되실 분들 중, 이 세션은 내 발표인데 포스팅 안했으면 좋겠다 싶으신 분들은 바로 댓글 부탁드립니다. 세션들을 블로그에 박제(?) 하려는 의도는 아니고, 지난 파이콘 세션들이 기억이 안나는 나에 대한 채찍질일 뿐 입니다. 머신러닝으로 치매 정복하기 링크 :  https://www.pycon.kr/2018/program/36 슬라이드 :  https://www.slideshare.net/ParkSejin/2018-110482902 치매, 알츠하이머는 치료가 어렵고, 조기 진단을 통해서 진행 속도를 늦추는 정도에 불과 하다. 모든 성인은 노화 하면서 뇌가 위축이 되고, 치매가 걸리는 사람들은 뇌의 특정한 위치에서 다른 변화가 있을 것이며 이를 찾는것이 프로젝트의 목적. 상용 프로젝트는 성능이 안나오거나 기능이 부족한게 현실이다. 속도가 나오며, 진단을 통한 위험도를 제시하며, 뇌의 영역을 시각화 하는것이 해당 프로젝트의 차별점. 해상도가 중요한 데이터에서 사용하는 High ResNet 일반적인 CNN 은 pooling을 통하여 레이어를 점차 작게 하면서 데이터를 축소 시키지만, 해당 문제에서는 객체가 인식 되어야 해서 해상도가 필요한데 이러한 이미지 인식에 사용되는 방식은 High ResNet. resnet의 구조는 중간에 뛰어넘는 지름길의 path를 두어서 성능을 향상 시켰다고 합니다. resnet 구조 소설 쓰는 딥 러닝 링크 :  https://www.pycon.kr/2018/program/28 슬라이드 :  https://speakerdeck.com/

RNN에 대하여 공유할 일이 생겨서 작성하는 RNN에 대한 포스트 입니다. RNN? RNN은 순차적인 데이터를 학습하는 뉴럴네트워크 입니다. 구글 번역기로 대표적인 자연어처리가 그 한 예 입니다. RNN의 입력값은 아래의 데이터처럼 순차적인 데이터인 𝓍가 들어 갑니다.𝓍의 예시로는 문장이 될 수 있습니다. 우리가 원하는 출력값인 о는 아래와 같이 입력값 처럼 순차적인 시퀀스 데이터가 나올 수 있습니다. 중간의 s는 Hidden State로 중간중간 결과마다 State값을 매긴 결과 이고, 수식은  . 으로 나타낼 수 있습니다. 아래 그림처럼 볼 수 있듯이 각 State마다 결과 값 о를 출력 할 수 있습니다. W,U,V는 파라미터 값 이고, 모든 State 마다 공유 합니다. RNN (https://aikorea.org/blog/rnn-tutorial-1/) Tensorflow로 짠 RNN Core Oreilly의 Learning TensorFlow의 RNN예제 를 분석 하려고 합니다. 아래 그림은 Tensorboard를 통해서 텐서플로우 코드를 도식화 한 그림 입니다. RNN의 Flow라기 보다는 딥러닝 자체의 플로우로 봐도 무방 해 보입니다. RNN 학습 로그를 Tensorboard로 분석한 결과 Input, Transpose 아래 코드는 RNN 예제 데이터인 mnist 데이터를 불러오고, 데이터를 Transpose 합니다. RNN States 아래는 Hidden State를 구하는 부분 입니다. RNN Output 아래 코드는 RNN의 출력값 o를 나타 냅니다. 출력값은 선형 방식을 사용하였습니다. RNN Train, Test 아래 코드는 위에서 쌓은 Tensor 객체를 통해서 Train과 Test를 진행 합니다. 결과 아래처럼 정확도는 97퍼센트로 나쁘지 않습니다. Iter 0, Minibatch Loss= 2.302837, Trai