windowed aggregation에 대하여

Tensorflow TFX에 대하여 공부하던 도중 다음과 같은 issue를 발견하였다.

sliding window

내용의 전체는 아니나 부분적으로 time-window aggregation기능을 원한다는 것이다. time-window라는 단어를 배운 기억은 없지만 streaming data 오픈소스인 카프카의 문서를 보면 일정 시간 간격동안의 간격을 window라고 하며 이를 sliding한다는 것은 해당 간격을 유지하면서 이동한다는 것임을 알 수 있다. 

sliding window on Apache Beam

위의 sliding window 기능이 tensorflow tfx에 구현이 되어 있지 않으나 apache beam에 비슷한 내용이 있기 때문에 이를 통해 예제를 구현한다고 한다.
다음 링크에 보면 sliding window 클래스가 구현되어 있음을 알 수 있다. 

아직 아파치 빔을 사용해본 경험이 없으니 다음 내용은 아파치 빔을 사용하고 업데이트 할 예정.

댓글

댓글 쓰기

이 블로그의 인기 게시물

포켓몬 고 17셀 확인 포고맵 사용 방법

이미지
안녕하십니까. 현재 코로나가 유행 입니다. 평소에 가끔 하던 포켓몬 고를 하기가 두려워졌던 시기인데요. 그래서 이참에 집근처에 포켓몬 스탑을 좀 만들어 보려고 많이 시도를 하였습니다. 그 과정에 중요한 요소중 하나가 포고맵이라는 사이트를 활용하는 것인데요. 이 사이트를 활용하는 법을 리뷰 합니다. 링크 :  https://www.pogomap.info/# 포고맵? 용도는? 포켓몬 고에서 포켓 스탑, 체육관은 중요한 역할을 합니다. 스탑에서 아이템을 얻고, 퀘스트를 받을 수 있으며, 체육관에서는 레이드를 하고 배틀을 할 수 있습니다.  포켓 스탑, 체육관 그러나 스탑, 체육관은 한정적이고 이러한 시설이 많지 않는 일명 "포세권"이 아닌 지역 주민들은 포켓몬 게임을 하기에는 한계가 있습니다. 없는 지역에 있어야 하면 직접 스탑을 신청 해야하는데요. 스탑 신청하는 과정도 추후에 포스팅 할 예정 입니다.  그 이전에 스탑을 신청하는 기준중 하나가 근처에 포켓몬 스탑이 많지 않아야 하는데요. 한곳에 여러개의 스탑을 만든다면 나이언틱도 사업하기 어려울것 같습니다.  물론 세븐일레븐과 같은 이벤트 스탑의 경우는 기존의 스탑 배열을 무시하고 생성되긴 하나 이례적입니다. 지역적으로 특정 지역에 들어갈 수 있는 스탑의 갯수가 한정적이기 때문에 이러한 갯수를 한눈에 볼 수 있도록 만든 사이트가 포고맵 (pogomap) 사이트 입니다. 포고맵 사이트 위 사진은 제가 현재 있는 부근의 포고맵 사진을 캡쳐한 사진 입니다. 한눈에 보기에는 약간 복잡하긴 하지만 해당 포스팅을 보시면 이해하기 쉽게 도와드 17셀? 14셀? 특정 지역에서 만들수 있는 스탑의 개수는 한정적이기 때문에 이를 구분할 수 있는 기준을 17셀, 14셀이라고 합니다.  이를 확인하기 위해서는 아래 화면에서 설정을 변경해 줍니다. 셀 확인법 Settings를 클릭 팝업에서 Visual 클릭 ...
자세한 내용 보기

HTTP 오류 500.19 - Internal Server Error 에러 처리법

이미지
윈도우 환경에서 C# 개발을 할때 아래와 같은 에러가 발생하는 경우가 있다. 에러 문구 HTTP 오류 500.19 - Internal Server Error 요청된 페이지와 관련된 구성 데이터가 잘못되어 해당 페이지에 액세스할 수 없습니다. 자세한 오류 정보: 모듈    IIS Web Core 알림    BeginRequest 처리기    아직 결정되지 않음 오류 코드    0x80070021 구성 오류    이 구성 섹션은 이 경로에서 사용할 수 없습니다. 섹션이 부모 수준에서 잠겨 있는 경우 이 오류가 발생합니다. 이러한 잠금은 기본적으로 설정(overrideModeDefault="Deny")되거나 overrideMode="Deny" 또는 레거시 allowOverride="false"와 함께 위치 태그를 사용하여 명시적으로 설정합니다. 구성 파일  {웹 프로젝트 위치}/web.config 요청한 URL   {URL} 실제 경로   {웹 프로젝트 경로} 로그온 방법    아직 결정되지 않음 로그온 사용자    아직 결정되지 않음 구성 원본:   321:           <modules runAllManagedModulesForAllRequests="true"><add name="Shutterman" type="ProductMaintenance.Client.AspNet.MaintenanceModule, ProductMaintenance.Client.AspNet" /></modules> ...
자세한 내용 보기

고려대학교 야간대학원 중간 후기

이미지
안녕하십니까. 고려대학교 야간 대학원에 다니고 있는 개발자 회사원 입니다. 제가 야간 대학원을 지원할때 검색해도 별로 자료가 안나오던 기억이 있어서 경험을 공유 하려고 합니다. 제가 쓴 내용들은 주로 다른사람이 저에게 물어보는 내용을 토대로 작성하였습니다. (비슷한 내용을 질문하시는 분들에게는 링크를 전달해줄 예정..) 해당 글에 대하여 궁금한 내용들이 있으면 댓글 달아주시면 됩니다. 고려대학교 경쟁률 경쟁률을 잘 알지는 못하지만 높다고는 들었습니다. 야간 대학원은 서울대는 없고 다음으로 연세대도 있습니다. 연대도 붙긴 하였지만 제가 고대 나와서 그냥 고대갔습니다. 스펙 링크드인 :  https://www.linkedin.com/in/%EB%AA%85%EC%A4%80-%EA%B9%80-1a489abb/ 물어보는 사람이 좀 있어서 올렸습니다.  전공자에 같은 학부라 저같은 케이스는 왠만하면 붙을것이고.. 비전공자도 있고 기획자도 있습니다. 교수님들도 아무래도 평가할게 스펙밖에 없으실듯 하지만 꼭 관련 전공이 아니어도 될듯 합니다. 다른 분들은 삼성, SK 같은 대기업 다니시는 분들도 있고 중소기업 다니는 분들도 있고 케바케입니다. 지원 동기 저는 학부시절에 컴공을 전공하였고 컴공이 어느정도 익숙할때쯤 졸업을 한느낌이 있어서 더 알아보고 싶어서 지원하였습니다.  학부때 논문을 쓸 기회가 있었으나 막바지에 집안에 큰일이 생겨서 못하게 되어버린게 아쉬워서.. 지원하였습니다. 풀타임을 지원하지 않은 이유는 돈을 벌어야 했기 때문입니다. 전공 설명 제가 지원한 학과는 고려대학교  컴퓨터정보통신대학원 의 빅데이터 융합학과 야간 석사과정 특수대학원 입니다. 야간은 보통 6시 45분 이후에 수업이 있습니다. 과정은 5학기이고 가격은 한학기당 600만 후반대입니다. 입학 등록금도 100만원 좀 넘게 있습니다.  컴퓨터정보통신대학원에는 현재 기준으로 소프...
자세한 내용 보기