12월, 2019의 게시물 표시

윈도우에 tensorflow gpu를 돌리기

이미지
안녕하십니까. 이번 포스팅에서는 윈도우상에서 텐서플로우를 GPU를 통하여 돌리는 것을 포스팅 하려고 합니다. 목적 window 컴퓨터 위에서 딥러닝 프레임워크인 tensorflow를 그래픽 카드를 사용하여 돌릴 수 있도록 환경을 구축 한다. 필요 요건 그래픽 카드를 구매하시고 장착을 잘 하신다음 아래와 같이 장치 관리자의 디스플레이 어뎁터에서 그래픽 카드가 인식 되도록 합니다. 아래에서 UHD 630은 내장 그래픽 카드이고 GT 730은 외장 그래픽 카드 입니다. 그래픽 카드 장착 완료 cuda 설치 cuda는 GPU를 사용하는데에 도움을 주는 라이브러리 입니다. cuda를 설치하지 않고 tensorflow를 실행시키려고 할시에는 아래와 같은 에러를 리턴 합니다. (tensorflow_gpu) C:\Users\mgim>python Python 3.6.9 |Anaconda, Inc.| (default, Jul 30 2019, 14:00:49) [MSC v.1915 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> import tensorflow 2019-12-23 14:55:23.325444: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cudart64_100.dll'; dlerror: cudart64_100.dll not found 그렇기에 cuda를 설치 합니다. https://developer.nvidia.com/cuda-downloads 위의 링크에서 cuda를 다운 받습니다. 최신 버전을

누적 합 Cumulative Sum cumsum 구현에 대하여

이미지
안녕하십니까. 이번 포스팅에서는 누적합 cumsum에 대하여 다루려고 합니다. Keras 오픈소스 Contributing 케라스의 오픈소스를 공부하는 도중에 contribute를 하고 싶어서 issue들을 보고 있었습니다. 그중 어렵지 않아 보이는 이슈인  https://github.com/keras-team/keras/issues/12163  를 발견 하였었고 해당 이슈를 처리해보기 위해서 코드를 보고 있었으나 안타깝게도 이미 누군가 처리하신 흔적이 있어서 해당 코드를 알아보았습니다. 요구 사항 요구 사항은 다음과 같이 keras에 CNTK backend에서 사용할 수 있는 cumsum과 cumprod를 구현해 달라는 것입니다. cumsum과 cumprod가 cntk 위에 돌아가게 구현해주세요. keras는 시중 딥러닝 오픈소스를 사용하기 쉽게 감싼 오픈소스 이며 그 대상중 하나가 마이크로 소프트의 CNTK 입니다. 다른 backend 오픈소스인 텐서플로우, Theano 보다는 CNTK를 사용하는 사람이 적기 때문에 해당 이슈가 아직도 open 된것으로 보입니다. cumsum cumsum은 누적합(Cumulative Sum) 입니다. 이는 행렬 같은 구조체에 대하여 각 엘리먼트에 대하여 iteration 하면서 누적 합을 한 새로운 행렬을 리턴하는 간단한 수식 입니다. 예를 들어서 (1 2) (3 4) 와 같은 행렬이 있으면 결과값은 (1 2) (1+3 2+4) 가 되는 간단한 수식 입니다. 만약 내가 구현한다면? 만약 제가 구현한다면 for문을 통해서 각 row element를 iteration 하면서 더할것 같습니다.  대부분의 사람이 그렇게 할듯 합니다. 실제 구현된 방식은? 아래 코드가 다른분이 keras에 구현하신 코드 입니다. def cumsum (x , axis= 0 ): dim = x.shape[axis] U = C.cons

python pytest unrecognized arguments: -n error

pycharm을 통해서 pytest를 하려고 하니 아래의 에러가 발생하였다. 해당 에러는 pycharm의 고유 에러는 아닌듯 하다. (keras) C:\repo\keras\mgim>pytest ERROR: usage: pytest [options] [file_or_dir] [file_or_dir] [...] pytest: error: unrecognized arguments: -n inifile: C:\repo\keras\pytest.ini rootdir: C:\repo\keras (keras) C:\repo\keras\mgim> 알아보니 아래의 링크를 발견 하였다. https://github.com/nipy/nipype/issues/2677#issuecomment-412087164 해결 법으로는  pytest-xdist 라는 파이썬 패키지를 설치하니 에러가 발생하지 않는다. pip install pytest-xdist