Tensorflow TFX에 대하여

안녕하십니까. 텐서플로우 TFX에 대하여 공부하고 있어서 포스팅 합니다. 아래 포스팅은 텐서플로우 유투브의 tensorflow tfx에 대한 설명에 기반 합니다.

Tensorflow TFX 란?

텐서플로우 TFX(Extended)는 텐서플로우를 운영에서 구글급으로 서빙하기 위한 파이프라인 입니다. 일반적으로 머신러닝을 통해서 예측하는 시스템을 만든다고 가정을 하면 지속적으로 데이터를 관리해야 합니다. 또한 각 학습마다 모델의 성능을 측정할 수 있어야 하며 좋은 성능을 지닌 모델을 운영 환경에 바로 런칭 할 수 있는 플랫폼이 필요 합니다. 딥러닝 분야의 특성상 랜덤이라는 요소가 있으며 이는 모델, 데이터가 바뀌지 않아도 매 학습 결과에 따라서 성능이 바뀌게 됩니다.

TFX 컴포넌트

텐서플로우 TFX는 아래과 같이 텐서플로우를 통한 머신러닝 운영 시스템을 구축하기 위한 플랫폼을 제공 합니다. 데이터가 들어오면 이를 북석하고, 텐서플로우에 사용할 수 있도록 변환을 합니다. 그후 모델 학습, 평가를 하고 결과에 따라 운영에 배포를한 후 텐서플로우 서빙을 진행 합니다.

Tensorflow TFX Component

Metadata Store

머신 러닝의 각 학습 결과, 학습 결과에 따른 평가 요소, 데이터 파이프라인 등은 어딘가에 저장이 되어야 합니다. 이러한 dev ops 적 요소를 tensorflow tfx에서 지원 합니다.

Metadata-powered functionality

모델의 각 정보들을 저장함을 통해서 이전 모델의 결과와 현재 모델의 결과를 비교분석 할 수 있습니다.

Warm Start

모델을 저장 할 수 있으니 엄청 오래걸리는 학습이라면 중간 저장을 한 후 다시 실행 할 수 있습니다. 오래 걸리는 학습은 중간 결과가 나쁘지 않으면 거기서 운영 배포를 하고 학습도 동시에 진행하는게 가능해 보입니다.

분산처리 프레임 워크

텐서플로우 또한 많은 데이터를 분산 처리를 하기 위한 프레임워크가 필요 합니다. 내부에서는 기본적으로 아파치 Beam을 사용하고 있으며 사용자 필요시 다른 프레임워크도 지원하고 있다고 합니다.

분산처리 프레임워크