수집 파이프라인 이해

이 섹션에서는 텔레메트리 데이터가 시스템을 통해 흐르는 방식을 시각적으로 나타내는 수집 파이프라인을 살펴보겠습니다. 게이트웨이와 cloud 규칙을 사용하면 데이터 볼륨에 어떤 영향을 미치고 데이터 관리 전략을 최적화할 수 있는지 알아보겠습니다.

수집 파이프라인의 구성 요소

1. MELT 소스:

   • 지표, 이벤트, 로그인 및 트레이스(MELT): 이는 다양한 소스에서 수집하는 옵저버빌리티 데이터의 기본 유형입니다. 이는 수집 파이프라인의 시작점을 형성합니다.

2. 데이터 흐름 라인:

   • 각 MELT 소스에서 선이 나오는데, 이는 NRDB로 전송되는 데이터를 나타냅니다. 각 줄에는 백만(M) 단위로 측정된 데이터 볼륨이 주석으로 표시되어 있으며, 이는 전송 중인 데이터 볼륨의 양을 나타냅니다.

3. 게이트웨이:

   • MELT 소스와 cloud 규칙 사이에 위치한 게이트웨이는 필터 역할을 하며, 사용자가 정의한 규칙을 적용하여 네트워크에서 가치가 낮은 데이터가 나가기 전에 해당 데이터를 삭제합니다. 이를 통해 NRDB로 전송되는 데이터 양이 줄어들어 저장 및 송신 비용이 최적화됩니다.

4. 클라우드 규칙:

   • 클라우드 규칙은 뉴렐릭 클라우드 내에서 적용되어 데이터가 NRDB에 도달하기 전에 추가로 필터링됩니다. 다이어그램은 운영 cloud 규칙의 수를 나타냅니다.

5. 국립보건원:

   • 뉴웰릭 데이터베이스(NRDB)는 처리된 데이터의 최종 목적지입니다. 이는 분석 및 시각화에 즉시 사용할 수 있는 세련된 텔레메트리 데이터를 저장합니다.

시각적 표현

• 게이트웨이 및 cloud 규칙이 없는 경우:

  • 이 다이어그램은 필터링이 없기 때문에 데이터 볼륨이 더 많은 MELT 소스에서 NRDB로 직접 연결되는 경로를 보여줍니다.

• 게이트웨이 및 cloud 규칙 사용:

  • 이 다이어그램은 회선이 게이트웨이와 cloud 규칙을 통과할 때 데이터 볼륨이 줄어드는 것을 보여줍니다. 게이트웨이를 통해 라우팅하도록 구성된 APM 에이전트의 텔레메트리만 처리됩니다.