NAVER 오픈소스 세미나 - Performance does matter


안녕하십니까. 오늘 네이버 D2 세미나에 다녀와서 포스팅을 합니다.
해당 세미나에서는 APM을 다루는 오픈소스들에 대하여 공유 하는 자리 입니다.
영어 듣기 실력이 좋지 않아서.. 영어 세미나는 듬성듬성 들은것 같습니다.
네이버 핀포인트 측에서 이참에 외국 개발자도 초청하고 했다고 합니다.
제가 다니는 회사에서는 DevOps를 해주는 팀에서 자체적으로 개발한듯 한데 제 입장에서 회사 코드랑 비교하면서 공부하면 많이 배울듯 합니다.

Key Note - Overall Pinpoint - 강운덕 (NAVER)
연사분은 네이버에서 핀포인트를 담당하는 Founder.
  • 핀포인트의 현황 (네이버)
    • 만여대의 에이전트
    • 87만 TPS -> 네이버의 
  • 준비하는 기능
    • 멀티 언어 지원
      • RPC 레이어가 여러가지 문제가 있음.
      • 몇몇 언어는 멀티 쓰레드가 안됨. php 파이썬 노드 루비 → 그래서 C로 변경
      • Transport Layer를 gRPC로 변경 예정
    • istio/envoy 오픈 트레이싱
    • Node JS Agenct
Apache SkyWalking - APM supports traditional distributed system and Cloud Native stack - Wu Sheng (Leader of Project Skywalking, Tetrate)

Apache SkyWalking은 분산 어플리케이션 성능 모니터링 시스템 Observability Analysis Platform
Receiver : gRPC에 조음. Zipkin, Jaeger 포멧
Analysis Core : Streamimg Distributed Computing Engine
Object Oriented Analysis
 - Service
 - Service Instance
 - Endpoint
GraphQL
동영상 링크 : https://www.youtube.com/watch?v=JC-Anlshqx8
-> 위에서 나오는 UI는 누군가가 쓰라고 기여했다고 함.
  • What’s new in Zipkin - Adrian Cole (Leader of Project Zipkin, Pivotal)
    • 세션 요약
      • Zipkin is a distributed tracing system originally developed at Twitter, but carried on by the OpenZipkin team since 2015. After a short introduction, we'll cover highlights of the last 4 years of Zipkin.
    • 연사 소개: Adrian works at Pivotal, on the Spring Cloud team. He spends most on Zipkin, usually in Java.

  • Pinpoint를 이용해서 서버리스 플랫폼 Apache Openwhisk 트레이싱하기 - 오승현 (NAVER)
    • 세션 요약
      • 네이버 서비스에서 사내 서버리스 플랫폼까지 흘러가는 트랜잭션을 추적하고 분석하기 위해 개발한 Pinpoint의 Apache Openwhisk 플러그인과 그 개발 과정을 소개합니다.Apache Openwhisk는 서버리스 플랫폼을 구축할 수 있는 오픈소스 프로젝트로 스칼라 언어와 Akka 라이브러리를 사용한 Actor 모델에 기반하고 있습니다. 스칼라 언어로 작성된 애플리케이션을 위한 Pinpoint 플러그인을 만들면서 겪었던 문제들과 해결했던 과정들을 위주로 설명드릴 예정입니다.
    • 연사 소개: 네이버에서 Serverless 플랫폼을 개발하고 있으며, 다양한 오픈소스 프로젝트에 관심이 많습니다.Apache Openwhisk contributor로 활동하면서, Openwhisk 기반 서버리스 플랫폼의 트레이싱을 위한 Pinpoint 플러그인을 개발하고 컨트리뷰션을 진행하고 있습니다.
    • 내용 : 서버리스에서 핀포인트로 tracing 을 하려니 안된다고 함. pinpoint에서 스칼라를 지원하지 않지만 오픈위스크가 스칼라로 개발이 되어 있음. 
  • Scaling Distributed Tracing - Sample / Drop / Discriminate / Delay / Decay - William Louth (Instana/Autoletics)
    • 세션 요약
      • A talk discussing the various approaches to scaling the measurement, data collection, and recording of distributed traces along the pipeline from the point of instrumentation to the storage of a trace record. It will challenge attendees to (re)consider the cost-benefit of analysis of what a trace is today, and what it might look like in the future.
    • 연사소개: A founder of Autoletics and experienced systems engineer with particular expertise in self-adaptive software runtimes, application performance monitoring and management as well as cost execution optimization and scalability engineering and more...
  • 비용 효율화 : Pinpoint의 Heterogeneous Storage 적용 - 정민우 (NAVER)
    • 세션 요약
      • HDFS 사용시 HDD 클러스터의 느린 처리속도나 SSD 클러스터의 고비용이 문제라면, Heterogeneous Storage로 비용과 속도간의 균형을 맞출 수 있습니다.이 세션에서는 Pinpoint에 Heterogeneous Storage를 적용해서 비용을 줄이고 처리 속도를 개선한 사례를 공유합니다.
    • HDFS는 서로 다른 종류의 저장소에 대하여 고르게 데이터를 분산하여 저장을 함. 각 디스크는 특징이 다르므로 Heterogeneous Storage의 기능을 통해서 서로 다르게 저장을 할 수 있음. HDFS뿐 아니라 HDFS위에 올라가는 에코 시스템에서도 적용 가능하고 각 시스템마다 설정이 있으면 적절히 튜님.
    • SSD 서버에는 자주 사용되는 데이터, HDD 서버에는 Cold 데이터를 넣으면 절약.
    • 코드 수정이 필요 없고 무정지로 설정 변경 가능.
    • 비용 절감 data locality 상승 Data Compaction 시간 상승
    • One Copy만 SSD로 채워서 성능을 최대로 하는게 목표.
  • Rxjs가 있었기에 가능했던 Pinpoint UI 개발기 - 김동빈 (NAVER)
    • 세션 요약
      • 웹 어플리케이션의 핵심은 컴포넌트(요소)간의 상태 전달 및 공유입니다.본 발표에서는 요즘 웹 개발분야에서 제일 핫한 라이브러리 중 하나인 Rxjs를 Pinpoint의 각 페이지들에서 어떻게 활용하여 컴포넌트 간 통신을 구현했는지, 그리고 Rxjs의 활용이 신규개발/유지보수에서 어떤 도움이 되었는지 이야기합니다.
    • 연사 소개: Pinpoint front-end engineer since 2017, pursuing simple yet solid user experience.

위치: 대한민국 서울특별시 강남구 역삼1동 강남대로 382

댓글

댓글 쓰기

이 블로그의 인기 게시물

포켓몬 고 17셀 확인 포고맵 사용 방법

이미지
안녕하십니까. 현재 코로나가 유행 입니다. 평소에 가끔 하던 포켓몬 고를 하기가 두려워졌던 시기인데요. 그래서 이참에 집근처에 포켓몬 스탑을 좀 만들어 보려고 많이 시도를 하였습니다. 그 과정에 중요한 요소중 하나가 포고맵이라는 사이트를 활용하는 것인데요. 이 사이트를 활용하는 법을 리뷰 합니다. 링크 :  https://www.pogomap.info/# 포고맵? 용도는? 포켓몬 고에서 포켓 스탑, 체육관은 중요한 역할을 합니다. 스탑에서 아이템을 얻고, 퀘스트를 받을 수 있으며, 체육관에서는 레이드를 하고 배틀을 할 수 있습니다.  포켓 스탑, 체육관 그러나 스탑, 체육관은 한정적이고 이러한 시설이 많지 않는 일명 "포세권"이 아닌 지역 주민들은 포켓몬 게임을 하기에는 한계가 있습니다. 없는 지역에 있어야 하면 직접 스탑을 신청 해야하는데요. 스탑 신청하는 과정도 추후에 포스팅 할 예정 입니다.  그 이전에 스탑을 신청하는 기준중 하나가 근처에 포켓몬 스탑이 많지 않아야 하는데요. 한곳에 여러개의 스탑을 만든다면 나이언틱도 사업하기 어려울것 같습니다.  물론 세븐일레븐과 같은 이벤트 스탑의 경우는 기존의 스탑 배열을 무시하고 생성되긴 하나 이례적입니다. 지역적으로 특정 지역에 들어갈 수 있는 스탑의 갯수가 한정적이기 때문에 이러한 갯수를 한눈에 볼 수 있도록 만든 사이트가 포고맵 (pogomap) 사이트 입니다. 포고맵 사이트 위 사진은 제가 현재 있는 부근의 포고맵 사진을 캡쳐한 사진 입니다. 한눈에 보기에는 약간 복잡하긴 하지만 해당 포스팅을 보시면 이해하기 쉽게 도와드 17셀? 14셀? 특정 지역에서 만들수 있는 스탑의 개수는 한정적이기 때문에 이를 구분할 수 있는 기준을 17셀, 14셀이라고 합니다.  이를 확인하기 위해서는 아래 화면에서 설정을 변경해 줍니다. 셀 확인법 Settings를 클릭 팝업에서 Visual 클릭 ...
자세한 내용 보기

HTTP 오류 500.19 - Internal Server Error 에러 처리법

이미지
윈도우 환경에서 C# 개발을 할때 아래와 같은 에러가 발생하는 경우가 있다. 에러 문구 HTTP 오류 500.19 - Internal Server Error 요청된 페이지와 관련된 구성 데이터가 잘못되어 해당 페이지에 액세스할 수 없습니다. 자세한 오류 정보: 모듈    IIS Web Core 알림    BeginRequest 처리기    아직 결정되지 않음 오류 코드    0x80070021 구성 오류    이 구성 섹션은 이 경로에서 사용할 수 없습니다. 섹션이 부모 수준에서 잠겨 있는 경우 이 오류가 발생합니다. 이러한 잠금은 기본적으로 설정(overrideModeDefault="Deny")되거나 overrideMode="Deny" 또는 레거시 allowOverride="false"와 함께 위치 태그를 사용하여 명시적으로 설정합니다. 구성 파일  {웹 프로젝트 위치}/web.config 요청한 URL   {URL} 실제 경로   {웹 프로젝트 경로} 로그온 방법    아직 결정되지 않음 로그온 사용자    아직 결정되지 않음 구성 원본:   321:           <modules runAllManagedModulesForAllRequests="true"><add name="Shutterman" type="ProductMaintenance.Client.AspNet.MaintenanceModule, ProductMaintenance.Client.AspNet" /></modules> ...
자세한 내용 보기

고려대학교 야간대학원 중간 후기

이미지
안녕하십니까. 고려대학교 야간 대학원에 다니고 있는 개발자 회사원 입니다. 제가 야간 대학원을 지원할때 검색해도 별로 자료가 안나오던 기억이 있어서 경험을 공유 하려고 합니다. 제가 쓴 내용들은 주로 다른사람이 저에게 물어보는 내용을 토대로 작성하였습니다. (비슷한 내용을 질문하시는 분들에게는 링크를 전달해줄 예정..) 해당 글에 대하여 궁금한 내용들이 있으면 댓글 달아주시면 됩니다. 고려대학교 경쟁률 경쟁률을 잘 알지는 못하지만 높다고는 들었습니다. 야간 대학원은 서울대는 없고 다음으로 연세대도 있습니다. 연대도 붙긴 하였지만 제가 고대 나와서 그냥 고대갔습니다. 스펙 링크드인 :  https://www.linkedin.com/in/%EB%AA%85%EC%A4%80-%EA%B9%80-1a489abb/ 물어보는 사람이 좀 있어서 올렸습니다.  전공자에 같은 학부라 저같은 케이스는 왠만하면 붙을것이고.. 비전공자도 있고 기획자도 있습니다. 교수님들도 아무래도 평가할게 스펙밖에 없으실듯 하지만 꼭 관련 전공이 아니어도 될듯 합니다. 다른 분들은 삼성, SK 같은 대기업 다니시는 분들도 있고 중소기업 다니는 분들도 있고 케바케입니다. 지원 동기 저는 학부시절에 컴공을 전공하였고 컴공이 어느정도 익숙할때쯤 졸업을 한느낌이 있어서 더 알아보고 싶어서 지원하였습니다.  학부때 논문을 쓸 기회가 있었으나 막바지에 집안에 큰일이 생겨서 못하게 되어버린게 아쉬워서.. 지원하였습니다. 풀타임을 지원하지 않은 이유는 돈을 벌어야 했기 때문입니다. 전공 설명 제가 지원한 학과는 고려대학교  컴퓨터정보통신대학원 의 빅데이터 융합학과 야간 석사과정 특수대학원 입니다. 야간은 보통 6시 45분 이후에 수업이 있습니다. 과정은 5학기이고 가격은 한학기당 600만 후반대입니다. 입학 등록금도 100만원 좀 넘게 있습니다.  컴퓨터정보통신대학원에는 현재 기준으로 소프...
자세한 내용 보기