김띵준의 Programming Story

안녕하십니까. 이번 포스팅에서는 Tensorflow TFX 의 예제인 케라스 컴포넌트 튜토리얼 에 대하여 다룹니다. 코드는 제가 짠것은 아니고 텐서플로우 공식 코드를 가져온것이며 위의 링크에서 확인하실수 있습니다. TF Dev Summit 20 텐서플로우 Dev Summit에서 해당 튜토리얼에 대하여 간략하게 소개한적이 있습니다. 영어 동영상에 익숙하시면 해당 동영상을 보시는게 편하실듯 합니다. 예제 데이터 가져오기 해당 예제에서는 시카고 택시 공용 데이터 를 사용 합니다. 파이썬 코드에서 이를 사용하기 위해서 데이터를 불러 옵니다. _data_root = tempfile.mkdtemp( prefix = 'tfx-data' ) DATA_PATH = 'https://raw.githubusercontent.com/tensorflow/tfx/master/tfx/examples/chicago_taxi_pipeline/data/simple/data.csv' _data_filepath = os.path.join(_data_root, "data.csv" ) urllib.request.urlretrieve(DATA_PATH, _data_filepath) 시카고 택시 데이터의 컬럼은 아래와 같습니다. pickup_community_area fare trip_start_month trip_start_hour trip_start_day trip_start_timestamp pickup_latitude pickup_longitude dropoff_latitude dropoff_longitude trip_miles pickup_census_tract dropoff_census_tract payment_type company trip_seconds dropoff_community_area tips 해당 데이터를 통해서 마지막 데이터인 tips 데이터를 예측 하는것이 튜토...

안녕하십니까. 텐서플로우 TFX 에 대하여 공부하고 있어서 포스팅 합니다. 아래 포스팅은 텐서플로우 유투브의 tensorflow tfx에 대한 설명 에 기반 합니다. Tensorflow TFX 란? 텐서플로우 TFX(Extended)는 텐서플로우를 운영에서 구글급으로 서빙하기 위한 파이프라인 입니다. 일반적으로 머신러닝을 통해서 예측하는 시스템을 만든다고 가정을 하면 지속적으로 데이터를 관리해야 합니다. 또한 각 학습마다 모델의 성능을 측정할 수 있어야 하며 좋은 성능을 지닌 모델을 운영 환경에 바로 런칭 할 수 있는 플랫폼이 필요 합니다. 딥러닝 분야의 특성상 랜덤이라는 요소가 있으며 이는 모델, 데이터가 바뀌지 않아도 매 학습 결과에 따라서 성능이 바뀌게 됩니다. TFX 컴포넌트 텐서플로우 TFX는 아래과 같이 텐서플로우를 통한 머신러닝 운영 시스템을 구축하기 위한 플랫폼을 제공 합니다. 데이터가 들어오면 이를 북석하고, 텐서플로우에 사용할 수 있도록 변환을 합니다. 그후 모델 학습, 평가를 하고 결과에 따라 운영에 배포를한 후 텐서플로우 서빙을 진행 합니다. Tensorflow TFX Component Metadata Store 머신 러닝의 각 학습 결과, 학습 결과에 따른 평가 요소, 데이터 파이프라인 등은 어딘가에 저장이 되어야 합니다. 이러한 dev ops 적 요소를 tensorflow tfx에서 지원 합니다. Metadata-powered functionality 모델의 각 정보들을 저장함을 통해서 이전 모델의 결과와 현재 모델의 결과를 비교분석 할 수 있습니다. Warm Start 모델을 저장 할 수 있으니 엄청 오래걸리는 학습이라면 중간 저장을 한 후 다시 실행 할 수 있습니다. 오래 걸리는 학습은 중간 결과가 나쁘지 않으면 거기서 운영 배포를 하고 학습도 동시에 진행하는게 가능해 보입니다. 분산처리 프레임 워크 텐서플로우 또한 많은 데이터를 분산 처리를 하기 위한 프레임워크가 필요 합니...

english post:  https://joonprogramming.blogspot.com/2020/04/how-to-get-stock-data-using-python.html 안녕하십니까. 이번 포스팅에서는 파이썬을 통해서 야후의 주식 데이터를 불러들어오는 방법을 포스팅 하려고 합니다. 코드 링크 :  https://github.com/Myeongjoon/GoogleSummerOfCode2020/blob/master/finance_data.ipynb 데이터 불러오기 야후의 finance api를 통해서 구글의 주가 데이터를 가져 옵니다.  api 통신등의 세부 사항은 pandas_datareader 내부에 구현되어 있습니다. 아래와 같이 간단한 코드로 확인하실 수 있습니다. 데이터상의 시초가는 2004-08-19일로 되어 있기 때문에 해당 일자로 맞추었습니다. from pandas_datareader import data import matplotlib.pyplot as plt import pandas as pd start_date = '2004-08-19' end_date = '2020-04-17' google_data = data.DataReader('GOOGL','yahoo', start_date, end_date) google_data.head(9) 구글 주가 종가 데이터 차트 확인 위 표로 볼 수 있는 데이터는 한계가 있기 때문에 plot을 통하여 데이터를 확인 합니다. google_data['Close'].plot() 믿음의 구글 주가 역시 구글의 주가는 우상향입니다. 한국데이터 불러오기 야후 api를 통해서 미국 증시 뿐만 아니라 국내 증시 또한 불러올 수 있습니다. 저는 최근에 배당주에 관심이 많아졌기 때문에 맥쿼리 인프라의 데이터를 불러오도록 하겠습니다. macq_start_dat...