monitoring.md

Monitoring

• Introducing Vector: Netflix's On-Host Performance Monitoring Tool
• Taking Netflix’s Vector (Performance Monitoring Tool) For A Spin
• 리디북스 서비스 장애 복구 후기
• 분포 패턴으로 보는 장애 유형 Part I (수학 이야기보다 더 중요한..)
• 누워서 보는 웹 애플리케이션 성능 II – 데이터 수집/표현시 발생할 수 있는 왜곡 현상들
• 오픈 소스 서버 모니터링 툴 소개
• 트위터는 왜 모니터링을 2번이나 만들었을까?
• Twitter의 좌충우돌 모니터링 만들기!
• 자바 모니터링 #1
• Conetix Network Operations Centre Build Part 3 - Metrics and Monitoring
• Linux 게임 서버 성능 평가 (eBPF + BCC)
• Linux 게임 서버 성능 분석에 eBPF + BCC 활용하기
• Monitoring large scale e-commerce websites at MakeMyTrip — Part 1
• Python Script that monitors a service running on systemd. If service is not running the script will try to start the service
• Monitor Your Precious System
• Pro Tips: How Booking.com Handles Millions of Metrics Per Second with Graphite
• 아이스크림 홈런 관측성 개선 세미나 - 레거시 관측성 올리기 1/10 → 5/10 후기
• CPU 지표 정리
• 알람에 관하여 | 우아한형제들 기술블로그
• 간단하게 만드는 이상한 알람 | 우아한형제들 기술블로그
• 오픈소스 모니터링 솔루션 소개 - Prometheus, Scouter 등
• Monitoring demystified: A guide for logging, tracing, metrics | TechBeacon
• 120가지 사용자 행동 분석을 자동화할 수 있는 '데이터 제품' 만들기 - LINE ENGINEERING
• Monitoring Microservices the Right Way
• How Netflix Monitors Millions of Devices | LinkedIn
  • Netflix는 어떻게 수 백만 개의 디바이스를 모니터링 하나?
  • Netflix는 어떻게 수 백만 개의 디바이스를 모니터링 하나? | Architecture 101
• 트위터는 왜 모니터링 시스템을 다시 만들었나?
• IMQA (모바일 앱 실시간 성능 모니터링)는 개발자 도구를 어떻게 사용했을까?
• 서비스 개선의 시작, 지속적인 서비스 지표 모니터링부터. 서비스를 개선하고 지표를 확인하는 일련의 과정과 그 과정에서 얻은… | by 버즈니 | May, 2021 | Medium
• Applying flame graphs outside of performance analysis
  • flame graph는 성능 분석에는 자주 사용, 그 외에는 별로 사용되지 않는데, 트위터에서 매트릭 분석에 flame graph를 사용한 사례
  • Twitter 내부의 매트릭 수집은 매년 30~40%씩 증가, 최근 이 증가속도가 더 커지게 되어 분석 시작
  • 매트릭을 서비스의 어떤 기능이 가장 많이 보내고 있는지, 어떤 매트릭 키스페이스가 많은 매트릭을 생성했는지 알기 위해 flame graph 적용
  • 쉽게 어떤 매트릭 키스페이스가 큰지 찾음. 이 분석으로 가장 큰 서비스 중 하나인 광고팀의 매트릭을 33% 감소
• Visualizing Performance - The Developers’ Guide to Flame Graphs • Brendan Gregg • YOW! 2022 - YouTube
• Introducing logs from the dashboard for Cloudflare Workers
• 대시보드 빠르게 개발하는 법 finereport
• Elastic 초간단 모니터링 시스템 만들기
• Why the Future of Monitoring Is Agentless
• Understand Your System Like Never Before With OpenTelemetry, Grafana, Promscale - YouTube
• Build and Deploy a React Admin Dashboard App With Theming, Tables, Charts, Calendar, Kanban and More - YouTube
• The Future of Dashboards is Dashboardless | by Ravi Mistry | Medium
  • Dashboardless는 "대시보드가 필요없다, 대시보드를 쓰지 않는다"는 의미라기 보다 서버 인프라 측면에서 Serverless라는 용어를 염두에 두고 이해하면 좋음
    • Serverless는 "마치 서버가 없는 것처럼, 사용자가 필요할 때 사용하고 싶은 만큼 서버를 편리하게 사용할 수 있다"라는 의미
    • 즉, Dashboardless는 "원하는 정보를 제약없이, 데이터 분석의 흐름에 따라 유연하게 사용할 수 있게 해준다"의 의미
    • (대시보드는 한판에 정보를 요약해주는 장점, 그 한판에 들어있지 않는 정보는 찾아보기 힘든 단점)
  • 대시보드를 어떻게 작성하고 관리해야 할까에 대한 인사이트를 얻을 수 있는 글
• Is a dashboard necessary?. As a specialist in data visualization… | by Antonio Neto | Medium
  • "대시보드는 꼭 필요한 것은 아니다(오히려 잘못 만들어진 대시보드는 사용자를 오도할 수 있음). 하지만, 잘 만들어진 대시보드는 유용하다"
• Adam Kulidjian - Crafting Impactful Dashboards for Your Clients - YouTube dashboard 자체에 대한 설명
• 돈이 되는 Data Analytics dashboard, databricks, athena + tableau
• 기고 “인공지능 알고리즘의 잠재력을 결정하는 것은 측정에서 시작됩니다” < 기획 < FOCUS < 기사본문 - 인공지능신문
• Alerting and how 50 lines of code changed how we do it. | by Wojciech Pituła | SwissBorg Engineering | Jan, 2023 | Medium
• 스마트폰 알림 끄고 상사에게 칭찬 받는 법 - YouTube 재미있는(?) alert
• 네이버 검색 SRE 1편 - 차세대 검색 모니터링 시스템을 향한 여정
• 네이버 검색 SRE 2편 - 측정하지 않으면 개선할 수 없다! SRE KPI 개발기
• DevOps LGTM 스택 도입기. 안녕하세요. 핀다 DevOps 팀의 김명석입니다. | by 김명석 | FINDA 기술블로그 | Jul, 2023 | Medium
• p95, 어떻게 구할까? (DD-sketch를 통한 백분위수 구하기)
• CPU 이용률의 두 가지 얼굴 - CPU 코어 사용량(Usage)과 활용률(Utilization) - 넷마블 기술 블로그
• Reliable Architectures through Observability - YouTube
• Why Observability Matters (More!) with AI Applications - YouTube
  • AI 애플리케이션의 관측 가능성: LLM 모니터링 및 최적화를 위한 오픈 소스 스택 구축
• '관찰가능성 표준' 지금 안 세우면, AI 기술 부채가 몰려온다 | ITWorld
  • AI 에이전트 프로덕션 배포를 위한 관찰가능성 구현, 모니터링, 에이전틱옵스 관행 필수 요구사항

Conference

• IMDEV 2023

Grafana

• Grafana - Graphing System Statistics with Grafana
• 그라파이트(Grahpite) + 그라파나(Grafana) 모니터링 시스템 구축 with Docker
• Hubblemon - Python과 Django 기반의 모니터링 시스템
• InfluxDB, Telegraf, Grafana 를 활용한 Monitoring System 만들기(1)
• InfluxDB, Telegraf, Grafana 를 활용한 Monitoring System 만들기(2)
• Monitoring, metrics collection and visualization using InfluxDB and Grafana
• Grafana 플러그인
• Going open-source in monitoring, part 0: Intro
• Going open-source in monitoring, part I: Deploying Prometheus and Grafana to Kubernetes
• Going open-source in monitoring, part II: Creating the first dashboard in Grafana
• Grafana 에서 Telegram 으로 메세지 전송 하기
• Grafana 사용자 관리 정책 정리
• Grafana 삭제하기
• MySQL Monitoring with Telegraf, InfluxDB & Grafana
• Install Glances, InfluxDB and Grafana to Monitor CentOS 7
• Monitoring Servers and Docker Containers using Elasticsearch with Grafana
• Grafana - YouTube
• 그라파나(Grafana)란? | 44BITS
• Get started with Prometheus with these three easy projects | Grafana Labs
• Tips for Designing Grafana Dashboards - Percona Database Performance Blog
• Introducing the Redis Data Source Plug-in for Grafana | Redis Labs
• 검색 모니터링 시스템 구축 - 다나와 기술블로그
• 1 Kubernetes All-in-one Cluster Monitoring KR dashboard for Grafana | Grafana Labs
• Announcing Grafana OnCall, the easiest way to do on-call management | Grafana Labs
• Monitoring distributed Systems with Grafana and Prometheus | by Aich Ali | Nov, 2021 | Medium
• Utilizing Grafana & Prometheus Kubernetes Cluster Monitoring
• TCP packets traffic visualization for kubernetes by k8spacket | Medium
  • gopacket을 사용하는 k8spacket으로 Kubernetes 클러스터 안에서 TCP 패킷을 모니터링해서 Grafana로 시각화하는 방법을 설명
  • k8spacket을 DemonSet으로 띄워서 10초마다 네트워크를 모니터링하고 각 Pod, Service 간에 TCP 연결과 트래픽이 오가는 것을 확인 가능
• How to Install Prometheus and Grafana on Ubuntu 22.04 LTS using Node Exporter | Prometheus Tutorials - YouTube
• The XYZ chart: Bringing 3D visualization to Grafana
  • 데이터를 3차원으로 표시할 수 있는 XYZ 차트 도입. 아직은 알파버전이라 enable_alpha=true를 설정해야 사용 가능
• Grafana Labs is now a GitHub secret scanning partner | GitHub Changelog
• ELK와 Grafana를 이용해 테스트 자동화 시각화하기
• 15. 모니터링 대시보드 구축 – 제니퍼소프트
• 16. 알람 시스템 구축 – Robusta & 그라파나 – 제니퍼소프트
• Combining tracing and profiling for enhanced observability: Introducing Span Profiles | Grafana Labs
  • Grafana 10.3에 Span Profile 기능 추가
  • 기존 continuous profiling에서는 고정된 간격으로 시스템 전체에 대한 보기 제공
  • Span Profile에서는 개별 요청을 포함해서 애플리케이션의 특정 실행 범위에 대한 분석 제공
• 개발-운영 생산성 모니터링하기 (with Devlake, Grafana)
  • 인프런에서 DORA의 생산성 매트릭인 배포 빈도, 변경 사항이 적용되는 시간, 변경 실패율, 서비스 복원 시간을 측정해서 가시화하기 위해 작업한 내용
  • 여러 도구를 검토 후 오픈소스인 Devlake를 이용해서
    • GitHub, Jenkins, Jira를 연동해서 데이터 수집
    • MySQL에 저장
    • 이 데이터를 Grafana에 데이터소스로 연결
    • 대시보드를 통해서 빌드, PR, 커밋, 이슈 등의 통계를 한 번에 볼 수 있게 작성
• 코난테크놀로지 사례로 보는 AWS IoT TwinMaker의 Grafana 대시보드 통합 사례 및 카메라 뷰 설정 가이드 | AWS 기술 블로그
• Getting started with Grafana: best practices to design your first dashboard | Grafana Labs
  • Grafana 대시보드를 만들 때 가장 중요한 것은 특정 목적이나 사용 사례를 염두에 두고 설계해야 한다는 점
  • 시각적 계층 구조를 이용
    • 중요도 순으로 정렬
    • 크기를 다르게 배치
    • 중요한 패널은 색상을 사용해서 사용자의 시선 유도 가능
  • 목적에 맞는 올바른 메트릭을 사용해야 하는데 RED나 USE 방법론이 도움
• Amazon Managed Grafana
  • Amazon Managed Grafana 사용기. 미국 동부(버지니아 북부) 및 유럽(아일랜드) 리전에서 평가판으로… | by 송지혜 | Cloud Villains | Sep, 2021 | Medium
  • Visualizing Time-Series Data with Snowflake and Amazon Managed Grafana (AMG) | by James Sun | Snowflake | Medium
• caretta
• explore-logs: Repo for the Loki log exploration app
  • LogQL 없이 Loki에 저장된 로그를 (미리 정리해 둔 것처럼) 탐색할 수 있는 그라파나의 기능 (Grafana 11 + Loki 3.0 필요)
  • - Logs - Explore - Grafana
  • Find your logs data with Explore Logs: No LogQL required! | Grafana Labs
• Grafana - YouTube
• Grafana Alloy | OpenTelemetry Collector distribution
  • 몇 주전 GrafanaCON에서 공개된 텔레메트리 데이터 통합도구
    • 자체 기능 구현 보다는, (사실상 표준인) 프로메테우스와 오픈텔레메트리 플러그인들을 내장하여 제공하는 형태(그라파나의 ‘빅 텐트’ 전략?)
    • 텔레메트리 데이터 전송을 위해 서버에 설치되는 프로그램을 알로이 하나로 통합(일부지만)
    • 예를 들어 서버 메트릭 수집을 위해 node-exporter, prometheus(or OTel)을 설치했다면, Alloy 하나만 설치하고
      • Alloy에 내장된 exporter, prometheus 컴포넌트를 사용하는 방식
  • Introducing an OpenTelemetry Collector distribution with built-in Prometheus pipelines: Grafana Alloy | Grafana Labs
    • Grafana가 OpenTelemetry Collector인 Grafana Alloy 공개
    • Alloy는 Prometheus와 OpenTelemetry 모두와 호환되므로 기존 시스템에 유연하게 적용
  • GrafanaCON 2024 Keynote: Grafana 11, Loki 3.0, Alloy, Golden Grot Awards, and more | Grafana - YouTube
    • VidiGo GrafanaCON 2024 Keynote: Grafana 11, Loki 3.0, All
• Grafana as code: A complete guide to tools, tips, and tricks
  • Grafana 대시보드를 코드로 관리하는 다양한 도구 소개
  • Grafana Terraform 프로바이더나 Ansible 컬렉션은 Terraform이나 Ansible에는 익숙하지만 Grafana에는 아직 익숙지 않은 사람에게 권장
  • Grizzly은 Grafana 리소스를 YAML로 정의해서 관리할 수 있는 CLI로 Grafonnet을 사용한 Jsonnet도 사용 가능
  • Grafana Crossplane 프로바이더나 Kuberentes Grafana 오퍼레이터를 이용해서 Kubernetes에서 Grafana 대시보드를 관리 가능
• Grafana Agent Flow
  • Introducing programmable pipelines with Grafana Agent Flow | Grafana Labs
    • Agent는 Grafana 스택에 최적화되어 매트릭, 로그 등을 수집해서 보내주는 에이전트
    • 이 에이전트에 프로그래밍할 수 있는 Flow가 실험적으로 추가되어 쉽게 설정해서 사용해 볼 수 있고 복잡한 워크플로를 정의해서 사용 가능
• grafana/beyla: eBPF-based autoinstrumentation of HTTP and HTTPS services
  • Open source ebpf auto-instrumentation with Grafana Beyla
    • Grafana에서 애플리케이션을 eBPF로 자동 계측할 수 있는 Beyla 프로젝트를 오픈소스로 공개
    • 보통 계측하려면 코드에 삽입해야 하므로 관리가 많이 필요한데 eBPF를 써서 자동 계측을 사용하면 쉽게 계측을 추가 가능
    • 기본적인 트랜잭션의 스팬과 HTTP/S, gRPC의 RED(Rate-Errors-Duration) 메트릭 획득 가능
  • How to use Grafana Beyla in Grafana Alloy for eBPF-based auto-instrumentation | Grafana Labs
    • 최근 공개한 OpenTelemetry Collector인 Grafana Alloy에서 eBPF 기반 자동 계측 도구인 Grafana Beyla 사용 가능
    • 이 글에서는 Beyla를 사용해서 서비스의 RED 메트릭과 Kubernetes 애플리케이션을 자동 계측해서 Alloy로 수집하는 방법 설명
• Grafana Cloud
  • Intro to monitoring Kubernetes with Grafana Cloud | Grafana Labs
  • Introducing Adaptive Metrics: A new cost management feature in Grafana Cloud | Grafana Labs
    • Grafana Cloud에 Adaptive Metrics 기능이 추가되어 Grafana Cloud의 모든 티어 사용자가 사용 가능
    • 사용하지 않는 메트릭이 많으면 비용도 많아지고 속도도 느려지지만, 사용하지 않는 메트릭 정리는 꽤 귀찮은 작업인데
      • Adaptive Metrics는 사용하지 않거나 부분적으로 사용하는 지표를 분석해서 권장 집계를 알려줌
    • 150개 환경에서 초기 테스트한 결과 평균적으로 20~50%의 시계열 데이터 감소
  • Grafana Cloud cost management tools for metrics, logs, and more
    • Grfana Cloud에 비용 관리 허브 추가
    • 여기서는 누가 로그를 가장 많이 쌓았는지 카디널리티가 낮게 집계할 수 있는 권장 규칙도 제안하고 월별 비용 확인 가능
    • 오픈소스는 아니고 그라파나 클라우드의 기능
• Grafana Faro OSS | Web SDK for real user monitoring (RUM)
  • Grafana Labs에서 프론트엔드 애플리케이션의 실사용자를 모니터링(RUM)할 수 있는 웹 SDK를 포함한 Grafana Faro를 오픈소스로 공개
  • 프론트앤드 애플리케이션에 Grafana Faro SDK를 포함해서 에러, 로그, 성능 메트릭을 수집해서 Grafana에서 확인 가능
  • Introducing Grafana Faro, an open source project for frontend application observability | Grafana Labs
• Grafana Incident 장애를 관리하는 서비스
  • Grafana Incident Early Access Program
  • Grafana Incident for incident management is now generally available in Grafana Cloud | Grafana Labs
    • 무료를 포함해서 모든 Grafana Cloud 사용자가 Grafana Incident 사용 가능
• Grafana k6 Load testing for engineering teams | Grafana k6
  • Deployment-time testing with Grafana k6 and Flagger | Grafana Labs
    • 성능 테스트 도구인 Grafana k6와 Kubernetes의 블루/그린, 카나리 배포를 지원하는 Flagger를 조합해서 카나리 배포에서 트래픽을 받기 전에 k6로 성능 테스트하는 방법
• Grafana Scenes | Grafana Scenes
  • Grafana Scenes is generally available: start building highly interactive apps today | Grafana Labs
    • Grafana를 확장할 수 있는 프론트엔드 라이브러리, Grafana Scenes가 정식 출시
    • Scenes를 사용해서 Synthetic Monitoring같은 새로운 기능을 Grafana에 추가할 수 있는 Grafana 앱 작성 가능
• Grafana SLO Service level objectives in Grafana Cloud | Grafana SLO
  • Set and scale service level objectives in Grafana Cloud: Introducing Grafana SLO | Grafana Labs
    • Grafana Labs 내부에서 SLA에 맞게 알림을 설정했지만, 너무 많은 오경보가 생겼고 이를 개선한 과정을 통해 Grafana SLO를 Grafana Cloud에 출시(오픈소스 제품은 아님)
    • SLO를 통해 UI에서 SLI를 설정하고 관리 가능
• Grafana Tempo
  • Grafana Announces Grafana Tempo, a Distributed Tracing System
  • Intro to exemplars, which enable Grafana Tempo’s distributed tracing at massive scale | Grafana Labs
• loki: Like Prometheus, but for logs
  • Loki tutorial: How to send logs from EKS with Promtail to get full visibility in Grafana | Grafana Labs
  • Realtime Fastly logs with Grafana Loki for under $1 a day | by Alina Frolova | Aug, 2021 | loveholidays tech
  • How Istio, Tempo, and Loki speed up debugging for microservices | Grafana Labs
  • How To Reduce Costs And Improve Observability With Loki
    • ActiveCampaign이라는 회사에서 ELK(Elasticsearch, Logstash, Kibana)로 로그 시스템을 운영하다가 비용이 너무 커져서 Loki로 이동
    • 프로덕션에 적용할 때는 최적화가 쉽지는 않았지만, 완전히 이전하고 난 뒤에는 이전보다 로그 관련 호스팅 비용을 73% 감소
  • 따끈따끈한 전사 로그 시스템 전환기: ELK Stack에서 Loki로 전환한 이유 | 우아한형제들 기술블로그
  • 17. 로깅 시스템 구축 – 로키 – 제니퍼소프트
  • loki logcli 사용법
  • 당근에서 Loki 1년간 운영기 | 당근 SRE 밋업 4회 - YouTube
• oncall: Developer-friendly incident response with brilliant Slack integration
  • Introducing Grafana OnCall OSS, on-call management for the open source community | Grafana Labs
• phlare: 🔥 horizontally-scalable, highly-available, multi-tenant continuous profiling aggregation system
  • Grafana Labs에서 지속적 프로파일링(continuous profiling) 데이터의 백엔드인 Grafana Phlare를 오픈소스로 공개
  • Phlare는 애플리케이션의 프로파일 데이터를 수집해서 Grafana에서 조회해서 flame graph로 시각화 가능
  • Announcing Grafana Phlare, the open source database for continuous profiling at massive scale | Grafana Labs

Library

• Anitya is a release monitoring project
• Argus Production Monitoring at Salesforce
  • Argus Production Monitoring at Salesforce
• Beszel | Simple, lightweight server monitoring
  • Using Beszel to monitor Windows
  • Beszel - The easiest monitoring solution you've probably never heard of for Windows, Linux and Mac! - YouTube
    • video-code-snippets/2025-01-beszel/beszel-hub at main · tailscale-dev/video-code-snippets · GitHub
• Bosun - an open-source, MIT licensed, monitoring and alerting system by Stack Exchange
• Brubeck, a statsd-compatible metrics aggregator
• cabot: Self-hosted, easily-deployable monitoring and alerts service - like a lightweight PagerDuty
• Checkmk Monitor your Linux server with Checkmk | Opensource.com
• cloudly - A free, open-source, cross-platform servers monitoring. https://projectcloudly.com/demo
• csysdig - Announcing csysdig — think strace + htop + Lua + container support
• DAMON: Data Access Monitor | hacklog
  • DAMON-based System Optimization Guide | hacklog
  • DAMON Evaluation | hacklog
  • damo: DAMON user-space tool
• datadog Cloud Monitoring as a Service | Datadog
  • Synthetic Monitoring
  • 데이터독(Datadog)이란? 클라우드 모니터링 서비스
  • Datadog APM으로 내 프로젝트 모니터링 하기 | Recoding Life
  • Bringing reliability closer to you with Reliably and DataDog - DEV Community
    • Reliably에서 만든 CLI를 이용해서 SLO를 측정하는 방법 설명
    • 간단한 웹서버에서 일부는 오류가 발생하도록 작성하고 Datadog에 APM을 연동해 두고 reliably를 이용해서 Datadog의 매트릭을 가져와서 SLO 보고서를 만드는 방법 설명
  • (4) Datadog 네트워크 성능 모니터링 - NPM | LinkedIn
  • Best Practices for Creating Detection Rules With Datadog Security Monitoring | Datadog
  • Datadog 메트릭 데이터를 CSV 파일로 저장하기 · 클라우드메이트 기술 블로그🦒
  • Monitoring AWS Lambda With Datadog | Datadog
  • Python Logging with Datadog
  • Datadog & GS Retail Webinar - YouTube
    • 1. Back End to Front End까지 이어지는 모니터링을 통하여
      • (1) 장애의 원인이 인프라 단인지, API 단인지 , 고객 단말 단인지, DB단인지? 에 대한 즉각적인 원인 분석 제공을 통한 빠른 장애 대응
      • (2) 기존 산재한 모니터링 툴이 정작 장애시 여러 모니터링툴을 보느라 장애 대응이 느려지는 경우 (인프라는 Cloud watch , APM 스카우터 or 제니퍼, ELK에서 일일히 Log 검색, DB는 멕스게이지 등등)
      • (3) 모니터링 비용이 과다하거나 또는 오픈소스 모니터링 운영을 위하여 개발자들이 너무 많은 리소스를 쓰지는 않는지?
    • 2. AWS등 퍼블릭 클라우드 전환을 할 때의 모니터링 전략 고민
      • (1) On-prem , AWS를 각각 모니터링 해야하는지?
      • (2) AWS EKS , ECS 등 컨테이너 모니터링은 어떻게 해야할지
      • (3) AWS의 RDS ,Cloudfront, Lambda , Elastic cache , DynamoDB 등등 각각의 서비스 모니터링, CodePipeLine을 어떻게 개별적으로 관리할지? (데이터독은 모두 무상으로 모니터링을 제공 드립니다.)
  • Automate End-to-End Processes and Quickly Respond to Events With Datadog Workflows | Datadog
  • Best Practices for Creating End-to-End Tests | Datadog
    • Shift-Left Model 테스트 모델
  • DataDog 컨퍼런스 DASH 2022 참여 후기. 지난 10월 18일~19일 참여했던 DASH 2022, DataDog… | by Jaeeun Lee | Feb, 2023 | YOGIYO Tech Blog - 요기요 기술블로그
  • Track and Improve the Performance of Streaming Data Pipelines With Datadog Data Streams Monitoring | Datadog
  • I Use GitHub Ac­tions for Data­dog's Service Catalog, and You Should, Too | Datadog
    • Datadog에 등록된 각 서비스의 담당팀, 슬랙, 문서 등의 정보를 관리할 수 있는 서비스 카탈로그의 내용을 업데이트하기 위해서 직접 만든 Datadog Service Catalog Metadata Provider GitHub Actions를 활용하는 방법 설명
      • Datadog Service Catalog Metadata Provider · Actions · GitHub Marketplace
    • 각 저장소에서 워크플로우를 설정해서 바로 Datadog에 정보를 업데이트 가능
    • GitHub의 org 밑에 규칙 파일을 두어 division 태그를 필수로 검사하거나 유효한 division만 사용하게 한다든지 하는 조직적 관리 방법도 같이 설명
  • Datadog Live with Devsisters 돌아보기
  • Best practices for modern frontend monitoring | Datadog
  • Vector | A lightweight, ultra-fast tool for building observability pipelines
    • Vector를 활용해 멀티 CDN 로그 및 트래픽 관리하기
• data-prepper: Data Prepper is a component of the OpenSearch project that accepts, filters, transforms, enriches, and routes data at scale
• ESP-DASH Pro - Real-time Dashboard Library For ESP32, RP2040+W & RP2350+W
  • ESP-DASH: Blazing fast library to create a functional, on-device dashboard for ESP32, RP2040+W and RP2350+W microcontrollers
  • ESP-DASH: a real-time, on-device dashboard for IoT devices « Adafruit Industries – Makers, hackers, artists, designers and engineers!
• Flamingo
  • Big Data Platform--Flamingo v3.0 Demo
• froxlor Server Management Panel
• Funnel is a distributed monitoring system based on a lightweight streaming protocol
• glances: Glances an Eye on your system. A top/htop alternative for GNU/Linux, BSD, Mac OS and Windows operating systems
• GoAccess - Visual Web Log Analyzer
• health: A simple and flexible health check library for Go
  • 애플리케이션 가용성 확인을 위해 Go 언어로 만들어진 상태 확인 라이브러리. 클라우드 인프라에서 사용 가능, http.Handler 제공
• Healthchecks.io Cron Job Monitoring - Healthchecks.io
• hyperdx: Resolve production issues, fast. An open source observability platform unifying session replays, logs, metrics, traces and errors
  • HyperDX - 개발자 친화적인 Datadog 대체제 오픈소스 | GeekNews
• inspect - a collection of metrics gathering, analysis utilities for various subsystems of linux, mysql and postgres
• installsheild
  • 설치항목 - 웹서버: 아파치, 스크립트 언어: PHP, No-SQL: REDIS, No-SQL 클러스터: 루비, 데이터수집데몬: node.js, REDIS 모니터링: RedisLive , 모니터링 데이터 수집: sqlite, 백업 및 감시 스케줄러: crontab
• internet-monitoring: Monitor your network and internet speed with Docker & Prometheus
• Jaeger: open source, end-to-end distributed tracing
  • A beginner’s guide to Jaeger. Welcome to A beginner’s guide to Jaeger… | by Magsther | Aug, 2022 | FAUN Publication
  • Jaeger Tracing: The Ultimate Guide | Aspecto | JaegerTracing
• kairos-smi - Multi-server gpu moniroting program
• KubeAIOps 장애예측 및 처리 자동화 - KubeAIOps | NexCloud
• lmnr: Laminar - open-source all-in-one platform for engineering AI products. Crate data flywheel for you AI app. Traces, Evals, Datasets, Labels. YC S24
  • Laminar - LLM앱을 위한 오픈소스 Observability & 분석 플랫폼 | GeekNews
• Monitoror - Unified monitoring wallboard
• Middleware - A Fullstack & AI-powered Cloud Observability Platform
• nestjs-grafana
  • 실시간 로그와 메트릭 모니터링: Grafana, Loki, Promtail, Prometheus 통합하기
• New Relic Boxes
  • 리멤버는 서비스 모니터링을 어떻게 하고 있을까? - DRAMA&COMPANY
  • Python/Django NewRelic 셋업 및 환경 분리하기.
  • New Relic Introduces Real-Time Java Profiling
  • State of the Java Ecosystem Report from New Relic
  • 여기어때 서비스 모니터링 : New Relic 이야기. 안녕하세요. 여기어때컴퍼니 파트너혜택개발팀에서 B2B, 포인트 업무를… | by Jr | Mar, 2023 | 여기어때 기술블로그
  • 개발 뉴렐릭(Newrelic)모니터링 기본활용법
  • The Power of Observability: A Tale of Merging, Scaling & DevSecOps • George Aspirtakis • GOTO 2024 - YouTube
    • VidiGo The Power of Observability: A Tale of Merging, Sca
    • 통합 가시성의 힘: 통합, 확장 및 DevSecOps 이야기 - 조지 아스피르타키스 - GOTO 2024 | 완벽한 영상요약, 릴리스에이아이 | Lilys AI
• NTS: Real-time Streaming for Test Automation
• OpenObserve | Open Source Observability Platform for Logs, Metrics, Traces, and More – Your Ultimate Dashboard for Alerts and Insights
  • openobserve: 🚀 10x easier, 🚀 140x lower storage cost, 🚀 high performance, 🚀 petabyte scale - Elasticsearch/Splunk/Datadog alternative for 🚀 (logs, metrics, traces, RUM, Error tracking, Session replay) local 개발환경에서도 구동 가능
  • OpenObserve - 클라우드 네이티브 관찰(observability) 플랫폼 | GeekNews
• osquery | Easily ask questions about your Linux, Windows, and macOS infrastructure
  • Osquery: SQL기반의 운영 체제 계측/모니터링/분석 도구 오픈소스 | GeekNews
• Pinpoint is an open source APM (Application Performance Management) tool for large-scale distributed systems written in Java
  • java 애플리케이션 트러블 슈팅 사례 & pinpoint
  • Pinpoint APM Node 버전 설치하기
  • Pinpoint APM Node 사용하기
  • 토스ㅣSLASH 23 - 연결되면 비로소 보이는 것들 - YouTube
• Ptop - An awesome task manager written in Python !
• pyDash - A Python App For Monitoring Your Linux Server
• pyroscope: Continuous Profiling Platform. Debug performance issues down to a single line of code
  • Pyroscope and Grafana Phlare join together to accelerate adoption of continuous profiling, the next pillar of observability | Grafana Labs
    • Grafana가 Continuous Profiling의 시조 프로젝트인 Pyroscope 인수
    • Grafana는 Continuous Profiling을 위해 작년에 Phlare를 발표했으나 이번 인수로 두 프로젝트를 Grafana Pyroscope라는 이름으로 통합
  • How to troubleshoot memory leaks in Go with Grafana Pyroscope | Grafana Labs
    • Grafana가 최근에 인수한 Continuous Profiling 회사 서비스 Pyroscope를 이용해서 Go 프로그램의 메모리 릭을 추적하는 과정 설명한 글
    • 간단하게 메모리 릭이 있는 Go 프로그램을 작성하고 프로그램에 Pyroscope를 통합시킨 뒤 메모리 추적을 통해 프레임 그래프를 보면서 문제가 되는 부분을 찾음
• scouter - Open Source S/W Performance Monitoring
  • 오픈소스 성능 모니터링 도구 Scouter 소개
  • 오픈소스 성능 모니터링 도구 Scouter 설정하기
  • 배치 모니터링, Scouter로 편하고 효율적으로!
• Sentry Stop hoping your users will report errors
  • docs.sentry.io/clients/python
  • Sentry 를 이용한 Node.js 에러 모니터링
  • 자바스크립트 센트리는 어떻게 동작할까? · 컴알못 블로그
  • 프론트엔드 에러 로그 시스템 Sentry 적용기
  • Sentry로 사내 에러 로그 수집 시스템 구축하기 - LINE ENGINEERING
  • 라이브 서비스의 친구 Sentry. 이호성 - PyCon Korea 2021 - YouTube
  • Sentry로 우아하게 프론트엔드 에러 추적하기 | Kakao Pay Tech
  • 선제적 장애 대응을 위한 Sentry 최적화 적용기 | 우아한형제들 기술블로그
• shark: Modern System Performance Management
• SigNoz - an open-source APM. It helps developers monitor their applications & troubleshoot problems, an open-source alternative to DataDog, NewRelic, etc. 🔥 🖥. 👉 Open source Application Performance Monitoring (APM) & Observability tool
  • Open source APM | SigNoz
• SkyWalking - Apache SkyWalking Application performance monitor tool for distributed systems, especially designed for microservices, cloud native and container-based (Docker, K8s, Mesos) architectures
• squzy: Squzy - is a high-performance open-source monitoring, incident and alert system written in Golang with Bazel and love
• Sushi - a tiny, simple hypervisor based monitoring tool detecting and stopping some of PatchGuard activities from Ring-1
• sysdig
• Upptime
  • upptime: ⬆️ Uptime monitor and status page powered by GitHub
  • upptime - GitHub로 자동 운영되는 오픈소스 업타임 모니터 | GeekNews
  • 10분만에 평생 무료인 모니터링 도구 만들기 - peterkimzz
• uptime-kuma: A fancy self-hosted monitoring tool
  • Uptime Kuma - 셀프호스트 모니터링 오픈소스 | GeekNews
  • Uptime-Kuma, 오픈소스 Health Check 서비스 – Lamanus' Archive
• vnStat - a console-based network traffic monitor for Linux and BSD

Observability

• cncf/tag-observability: Technical Advisory Group for Observability 🔭⚙️
  • tag-observability/whitepaper.md at main · cncf/tag-observability
• Lessons from Building Observability Tools at Netflix
• What is Observability 2.0
• “모니터링의 새로운 경계” 관찰 가능성의 이해 - ITWorld Korea
• Beyond Monitoring: The Rise of Observability | by Aparna Dhinakaran | Medium
• Monitoring의 현재와 미래, 그리고 Observability | by KC | Dec, 2022 | Medium
• Chaos Engineering Observability with Visual Metaphors - YouTube
• Observability Engineering - O'Reilly Book 2022 Download
• Effective Observability: Best Practices with Elastic by Evelien Schellekens - YouTube
• 대시보드로 보는 모니터링의 미래, '풀스택 옵저버빌리티' | 요즘IT
• 토스ㅣSLASH 23 - 분산 추적 체계 & 로그 중심으로 Observability 확보하기 - YouTube
• GitLab 밋업으로 알아보는 Observability 이야기 | InfoGrab, DevOps 전문 기술 기업 | 인포그랩 | GitLab기반 DevSecOps 구축,컨설팅,교육,기술지원 서비스 제공
  • Observability 개념과 도구 발전과정 | GeekNews
• Book Observability Engineering :: Outsider's Dev Story
• Lessons from a Hyperscaler • Casey Rosenthal • GOTO 2024 - YouTube
  • VidiGo Lessons from a Hyperscaler • Casey Rosenthal • GOT
  • 하이퍼스케일러가 주는 교훈 - Casey Rosenthal - GOTO 2024 | 완벽한 영상요약, 릴리스에이아이 | Lilys AI
• Domain-Oriented Observability
  • 모니터링은 마틴 파울러처럼: Domain-Oriented Observability 도입기
    • ab180에서 애플리케이션 내에서 로그와 메트릭을 수집하기 위해서 비즈니스 로직에 관련 로직이 포함되어 있고 테스트에서 이에 대한 검증도 포함되어 있었는데 최근에 Martin Fowler가 작성한 Domain-Oriented Observability를 사내에 소개하고 이 개념으로 코드를 수정한 과정을 설명한 글
    • 기존에 비즈니스 로직과 로깅이 섞여 있었는데 이를 Instrumentation 관련 부분을 캡슐화한 Domain Probe로 분리하는 과정을 예시 코드를 개선하면서 보여주고 이제 로깅이나 메트릭 수정도 쉽게 할 수 있고 비즈니스 로직 파악도 쉽게 변경된 결과를 보여줌
• Logging, tracing and metrics are 3 pillars of system observability
• Observability Survey Report 2024 - key findings | Grafana Labs
  • Grafana Labs에서 300명 이상의 실무자에게 설문 조사를 한 결과
    • 중앙 집중화된 옵저버빌리티를 가진 조직의 79%가 시간과 비용 절약
    • 70%의 팀은 4가지 이상의 옵저버빌리티 기술 사용
    • 사용중이라고 답한 옵저버빌리티의 도구는 62가지
    • 응답자 중 61%는 옵저버빌리티의 가장 큰 우려 사항으로 비용이나 예상치 못한 청구서
    • 응답자의 98%가 오픈소스 옵저버빌리티 도구 사용중
    • 가장 많이 쓰이는 기술은 Grafana, Prometheus, Grafana Loki, OpenTelemetry, ELK
• Logging, tracing and metrics are 3 pillars of system observability
• Journey to Observability — STAYGE LABS | by Victor Kang | staygelabs | Mar, 2024 | Medium AWS CloudWatch, AWS X-Ray, Sentry
• The Business Case for Observability - Observability Engineering: Achieving Production Excellence
• 지금 주목해야 할 옵저버빌리티 트렌드 5가지 | InfoGrab, DevOps 전문 기술 기업 | 인포그랩 | GitLab기반 DevSecOps 구축,컨설팅,교육,기술지원 서비스 제공
• 옵저버빌리티 비용 어떻게 절감할까? | InfoGrab, DevOps 전문 기술 기업 | 인포그랩 | GitLab기반 DevSecOps 구축,컨설팅,교육,기술지원 서비스 제공
• Clymene: the Clymene is time-series data and Logs collection platform for distributed systems
  • 분산 환경의 효율적인 시계열 데이터 수집 및 관리 방안. MSA! 마이크로 서비스 아키텍처는 이제 서비스를 개발하고 운영할 때… | by allen | Medium
  • 오픈소스를 이용한 다중 k8s 클러스터 환경의 모니터링 시스템 구축 | by allen | Aug, 2022 | Medium
  • 오픈소스를 이용한 다중 k8s 클러스터 환경의 Node/POD 리소스 사용량과 로그 모니터링 | by allen | Aug, 2022 | Medium
  • Best practice, k8s Node/POD resource usage and log monitoring system for multi-k8s cluster environment using Open source | by allen | Aug, 2022 | Medium
  • CLYMENE-PROJECT 시연 영상 - YouTube
• honeycomb-opentelemetry-web: Honeycomb's Distro for OpenTelemetry in the browser
  • Introducing Honeycomb for Frontend Observability | Honeycomb
    • 옵저버빌리티 서비스를 제공하는 Honeycob에서 프론트엔드를 위한 옵저버빌리티의 얼리 엑세스 프로그램 발표
    • Honeycomb OpenTelemetry Web를 사용하면 프론트엔드의 Web Vitals 데이터를 수집할 수 있고 데이터만 수집하기 때문에 비싼 RUM보다 많은 관점 제공 가능
• OpenTelemetry
  • The Future of Observability with OpenTelemetry
  • Observability Powered by SQL: Understand Your Systems Like Never Before With OpenTelemetry Traces and PostgreSQL
  • OpenTelemetry on Kubernetes. In a previous article A beginner’s… | by Magsther | Aug, 2022 | Medium
  • A beginner’s guide to OpenTelemetry | by Magsther | FAUN Publication
    • 애플리케이션의 트레이싱 데이터를 추적할 수 있게 해주는 Open Telemetry에 관해 설명
    • OpenTelemetry는 특정 벤더에 의존하지 않고 어떤 언어에서도 사용할 수 있고 스토리지를 선택적으로 사용 가능
    • OpenTelemetry를 쓰려면 SDK로 애플리케이션을 인스트루먼트 해야 하는데
      • 자동 인스트루먼트(auto-instrumentation)을 사용하면 코드를 거의 수정하지 않고 사용 가능
      • 수동 인스트루먼트는 특정 코드를 앱에 추가해야 하므로 더 효과적으로 요구사항에 맞출 수 있음
    • 생성된 데이터는 OpenTelemetry 컬렉터에 보내지는데 리시버, 익스포터, 스토리지 등 OpenTelemetry의 기본적인 구성 요소에 관해 알 수 있음
  • State of OpenTelemetry, Where Are We and What’s Next? - YouTube
  • Golang instrumentation with OpenTelemetry
  • 카프카를 통해 전달되는 메시지의 테넌트 분리를 설계하기 위한 분들이 참고할 수 있는 전반적인 사항 소개
  • Tracing NodeJs Applications with OpenTelemetry | by Fabio Reis | 직방 기술 블로그 | Sep, 2023 | Medium
  • Effective and Efficient Observability with OpenTelemetry - YouTube
  • Measuring Git performance with OpenTelemetry - The GitHub Blog
    • Microsoft가 Windows나 Office의 저장소를 Git으로 마이그레이션 했을 때 300GB가 넘었고 역대 가장 큰 규모였기에 성능 개선이 필요했고 Git의 성능을 알 수 있도록 Trace2 기능을 Git에 포함했다. 이 Trace2만으로는 분석하기가 어렵기에 이를 OpenTelemetry로 수집할 수 있도록 오픈소스 수집기인 trace2receiver를 만들었다. 이를 통해 Git 명령어를 사용할 때 시간이 오래 걸리는 부분은 분석 추적해서 파악할 수 있게 되었다
  • OpenTelemetry Tools You Should Never Leave the House Without - YouTube
  • From k9s to OpenTelemetry: A guide to observability for your apps in K8s by Matthias Haeussler - YouTube
  • From k9s to OpenTelemetry: A guide to observability for your apps in K8s by Matthias Haeussle - YouTube
  • Observability 101 with Spring and Micrometer by Nele Uhlemann - YouTube
  • OpenTelemetry for Go: Measuring the Overhead - DEV Community
    • 관측성(Observability) 도입은 항상 비용-가치 트레이드오프 존재
      • 그 비용을 “감”이 아니라 벤치마크 수치로 제시
    • Go에서 OpenTelemetry 트레이싱을 활성화하면, 벤치마크 결과
      • CPU 오버헤드 약 35% 증가, p99 지연이 10ms → 15ms로 악화, 메모리 사용량 대략 50~80% 증가
    • 결론적으로 비용이 작지 않지만, 가시성이 실제로 중요한 서비스라면 대다수 유스케이스에서 치명적이기보다는 수용 가능한 수준
      • 다른 환경에서도 유사한지 비교·검증해 볼 만하다는 논지
  • opentelemetry-with-scala-futures: Example Play Scala application with OpenTelemetry instrumentation and detailed walkthrough
  • otel4s: An OpenTelemetry library for Scala based on Cats-Effect
    • Distributed Context Propagation with otel4s | Matt Langsenkamp
    • Publishing test traces to Grafana using otel4s and weaver | Maksym Ochenashko
  • Phoenix
• qryn: Lightweight, Polyglot, Snap-on Observability Stack. Drop-in Compatible with Loki, Prometheus, Tempo, Pyroscope, Opentelemetry and more! Vendor independent LGTM replacement and Splunk/Datadog/Elastic alternative! WASM powered ⭐️ Star to Support
  • Kubernetes Korea Group | 안녕하세요, 오늘은 옵저버빌리티 관련 오픈소스 하나를 소개 드립니다 | Facebook
• Vector | A lightweight, ultra-fast tool for building observability pipelines
  • Vector를 활용해 멀티 CDN 로그 및 트래픽 관리하기

Prometheus

• Monitoring Apache Spark with Prometheus on Kubernetes
• Going open-source in monitoring, part I: Deploying Prometheus and Grafana to Kubernetes
• #14 - 모니터링 (2/3) Prometheus
• kubernetes를 부탁해~ Prometheus 기반 Monitoring 구축&활용기
• Monitoring HBase with Prometheus
  • 오픈 소스 모니터링 시스템인 Prometheus에 HBase 메트릭을 연결하는 방법
• Prometheus를 통한 서버 모니터링
• 쿠버네티스 모니터링 : 프로메테우스(kubernetes monitoring : phrometheus)
• 오픈소스 모니터링 툴 - Prometheus #1 기본 개념과 구조
• 오픈소스 모니터링 툴 - Prometheus #2 Hello Prometheus
• 오픈소스 모니터링 툴 - Prometheus #3 그라파나를 이용한 시각화
• A Prometheus fork for cloud scale anomaly detection across metrics & logs
• Prometheus Node Exporter Tutorial | Monitor CPU, Memory, Disk etc
• prometheus-for-developers: Practical introduction to Prometheus for developers
• Level up your shell history with Loki and fzf | Opensource.com
• Prometheus in a Clojure stack: Duct, Jetty, Compojure/Reitit and Hugsql
• A guide to setting up Kubernetes Service Level Objectives (SLOs) with Prometheus and Linkerd | Cloud Native Computing Foundation
• 🚀 Your Guide to Prometheus Monitoring on Kubernetes with Grafana - DEV Community
• 토스의 서버 인프라 모니터링
• Amazon debuts fully managed, Prometheus-based container monitoring service - SiliconANGLE
• A different and (often) better way to downsample your Prometheus metrics
• Monitoring Rust web application with Prometheus and Grafana | Roman Kudryashov's tech blog
• Introducing Prometheus Agent Mode, an Efficient and Cloud-Native Way for Metric Forwarding | Prometheus
  • 새로운 운영 모드인 Agent 설명
  • Prometheus는 Pull 방식으로 메트릭을 수집하는데 설계는 달라지지 않았지만 클라우드 네이티브가 발전하면서 클러스터 자체를 Pet이 아니라 Cattle로 취급 가능하게 됨(구분하지 않는다는 의미)
  • 엣지 네트워크의 발전으로 작은 클러스터가 사방에 퍼지게 되어 글로벌 수준으로 매트릭을 수집해서 보여주어야 하게 되었는데 이를 Global-View라고 부른다
  • Global-View를 위해 원격 네트워크를 통해 스크래핑하거나 애플리케이션에서 바로 Push하는 것은 나쁜 접근. 둘 다 신뢰하기 어렵고 많은 문제 발생 가능
  • Prometheus는 글로벌뷰를 위해 3가지 접근 지원: Federation, Remote Read, Remote Write
  • Remote Write
    • Prometheus가 수집한 매트릭을 원격으로 포워딩하는 프로토콜. 이를 통해 글로벌뷰의 매트릭을 중앙에 저장 가능, 관심사도 분리
    • 앞에서 Push 방식은 나쁘다고 하지 않았는가? Remote Write의 놀라운 점은 애플리케이션에서 매트릭을 수집할 때는 여전히 Pull 방식 사용
    • 다음 릴리스인 Prometheus v2.32.0에 실험적인 --enable-feature=agent 플래그가 추가되고 에이전트 모드는 remote write에 맞게 Prometheus를 최적화
    • 에이전트 모드는 write가 성공하면 데이터를 즉시 지우기 때문에 효율적이고 ingestion의 수평적 확장 용이
    • 에이전트 모드로 Prometheus 기반 스크래핑의 자동확장 기능을 쉽게 적용 가능
• CNCF Prometheus Agent Could Be a ‘Game Changer’ for Edge – The New Stack
• What Is Prometheus and Why Is It So Popular? – CloudSavvy IT
• How to set up API monitoring with Prometheus & Grafana | Golang API - YouTube
• Prometheus - YouTube
• Prometheus 를 이용한 모니터링 — Part 1. 프로메테우스란 무엇인가? | by SangHyo Han | Medium
• 바른모 블로그: Prometheus 와 Grafana 로 시스템과 애플리케이션 모니터링
• Exporter Review: Elasticsearch - NexClipper
• 블록체인 노드 모니터링 해보기 Part 1(feat. Grafana, Prometheus) | by HS | Boom💥Labs — The open basecamp for Web3 Builders. | Sep, 2022 | Medium
• 블록체인 노드 모니터링 해보기 Part 2(feat. Grafana, Prometheus) | by HS | Boom💥Labs — The open basecamp for Web3 Builders. | Sep, 2022 | Medium
• 프로메테우스, 그라파나를 이용한 모니터링
• Prometheus on EKS
• Prometheus on NKS
• 쿠버네티스에서 마이크로소프트 애저 프로메테우스 모니터링 사용하기 - ITWorld Korea
• Prometheus 설정 가이드(Auto Scale 대상 모니터링) - BESPIN Tech Blog
• How DoorDash Migrated from StatsD to Prometheus - DoorDash Engineering Blog
  • DoorDash에서 옵저버빌리티 도구로 StatsD를 사용
    • 트래픽이 폭증할 때 같이 장애가 나서 정작 필요할 때 사용할 수가 없었기 때문에 Prometheus 기반 모니터링으로 마이그레이션
  • StatsD는 Etsy에서 개발한 네트워크 데몬
    • 메트릭 손실 가능성이 있고 메트릭 이름 표준화가 어렵고 히스토그램 기능이 없어 백분위수 집계가 어려워서 메트릭의 가치를 전체적으로 하락
  • 새로운 솔루션의 요구사항
    • 오픈 소스를 이용해서 관리 효율성 향상
    • 표준 이름과 태그로 거버넌스 향상
    • 마이그레이션을 원활하게 하려고 셀프서비스로 자동화 가능 필요
  • 마이그레이션은 인프라팀이 먼저 모니터링을 새로운 시스템으로 마이그레이션
    • 서비스팀에서 Prometheus 계측과 라이브러리로 엔드포인트를 변경하는 단계로 진행
• 14. 프로메테우스 – 쿠버네티스 모니터링 시스템 – 제니퍼소프트
• A brief illustrated history of Prometheus
• 이루다 서버의 모니터링 스택을 소개합니다 – 스캐터랩 기술 블로그
  • 스프링 부트 서버 모니터링하는 법 | 요즘IT
• AWS 오픈 소스 관찰 가능성(Observability) 도구로 커스텀 메트릭 모니터링 | AWS 기술 블로그
• Kubernetes Korea Group | 안녕하세요, | Facebook
  • 프로메테우스를 쿠버네티스 모니터링으로 많이 사용
    • 모니터링 지표의 평상시와 다른 변화를 조금 더 쉽게 확인하는 게 필요하고, 프로메테우스를 사용한다면, 빠르게 접근해 볼 수 있는 방법 공유
  • Grafana Prometheus: Detecting anomalies in time series – David Vassallo's Blog
    • PromQL과3-Sigma(Z-Score)를 활용한 간단한 이상감지
  • 기본 접근방법은 3-Sigma(대략 "정상"은 3 표준편차이내) Z-Score = (x-μ) / σ
    • 예를 들어 node_disk_writes_completed_total 라는 메트릭이 있을때
    • μ = avg_over_time(node_disk_writes_completed_total{}[1h]))
    • σ = stddev_over_time(node_disk_writes_completed_total{}[1h])
    • x = avg_over_time(node_disk_writes_completed_total{}[$__rate_interval]
    • Z-Score 쿼리 abs(((avg_over_time(node_disk_writes_completed_total{}[$__rate_interval]) - (avg_over_time(node_disk_writes_completed_total{}[1h])))) / (stddev_over_time(node_disk_writes_completed_total{}[1h])))
    • 기존 node_disk_writes_completed_total에 위 Z-Score를 함께 표시하고 Z-Score가 3이 넘는 경우를 "이상"으로 확인
  • Anomaly 그래프에서 흔히 보는 Upper/Lower Band는
    • Upper Band 쿼리 avg_over_time(node_disk_writes_completed_total{}[1h]) + (3 * stddev_over_time(node_disk_writes_completed_total{}[1h]))
    • Lower Band 쿼리 avg_over_time(node_disk_writes_completed_total{}[1h]) + (-3 * stddev_over_time(node_disk_writes_completed_total{}[1h]))
  • 간단하게(눈이 아닌 통계로) 이상을 확인하는 것이 가능, 하지만 풀어야할 숙제도 있음
    • 스파이크가 발생하면 밴드가 크게 흔들림
    • 바라보는 시간 간격에 따라 오탐이 잦을 수도, 또는 없을 수도 있음
    • 계획된 작업 또는 계절적인 지표 변화는 별도 처리가 필요
  • 실무에 바로 사용하기에는 부족하지만, 쿼리와 통계만으로 추가 시스템 없이 기존 그래프에 더해 볼 수 있는 방법
  • 위 접근에 보완이 필요한 내용들은 PromCon에서도 소개
    • PromCon 2024 - Practical Anomaly Detection at Scale With PromQL - YouTube
• alertmanager: Prometheus Alertmanager
  • alertmanager 분석
• client_golang: Prometheus instrumentation library for Go applications
• Cortex: Prometheus-as-a-Service
  • 오픈소스를 활용한 모니터링 플랫폼 개선기 feat. Cortex | NHN FORWARD
  • Prometheus-Cortex Deep dive — Part 1 | by SangHyo Han | Mar, 2022 | Medium
• prom2json: A tool to scrape a Prometheus client and dump the result as JSON
• Prometheus - YouTube
• Prometheus Remote-Write 2.0 EXPERIMENTAL | Prometheus
  • Prometheus의 원격 쓰기 명세의 2.0 릴리스 후보
  • 1.0은 아주 유용했지만
    • 네트워크 대역폭 사용이 효율적이지 않았고 메타데이터, examplars, 네이티브 히스토그램, 타임스탬프 등 최신 Prometheus 기능 미지원
    • 또한, 읽기와 쓰기의 프로토콜이 통합되어 있었는데 이는 큰 의미가 없었고
    • 압축이나 content negotiation 메커니즘도 불포함
  • 2.0에서는
    • Protobuf 사용, 메시지는 binary Wire 형식, Google Snappy로 압축 필요
    • 1.0 때 gRPC를 사용하지 않았기 때문에 도입이 용이하도록 이번에도 gRPC 미사용
• Thanos - Highly available Prometheus setup with long term storage capabilities
  • Prometheus 를 스케일링 하기 위한 Thanos (타노스)
  • 모니터링에서 보라색 맛 났어!(Prometheus & Thanos)
  • k8s 클러스터에 설치된 Prometheus를 Thanos와 연동하기 · 클라우드메이트 기술 블로그🦒

VictoriaMetrics

• VictoriaMetrics: Simple & Reliable Monitoring for Everyone
• VictoriaMetrics/VictoriaMetrics: VictoriaMetrics: fast, cost-effective monitoring solution and time series database
• DEVIEW 2023 :: VictoriaMetrics: 시계열 데이터 대혼돈의 멀티버스
• VictoriaMetrics Overview
• What makes VictoriaMetrics the next leading choice for open-source monitoring | by Amit Karni | Israeli Tech Radar | Medium
• Prometheus Vs Victoria Metrics Load Testing | by 'Celebration of Engineering' | Jan, 2024 | Medium
  • Prometheus와 Vitoria Metrics 성능 비교
  • Prometheus는 압축할 때 active time series를 메모리에 저장하지만, Vitoria Metrics는 VM insert 스토리지에 저장
    • 이런 설계의 차이는 성능에도 영향
  • active time series, 수집률, 수집 대상의 수를 부하 테스트를 하면서 프로덕션에 운영하는 정도의 매트릭으로 둘을 비교
    • 부하가 커지면 Prometheus는 메모리가 Vitoria Metrics는 CPU가 커지는 특징, Vitoria Metrics에 최적화한 뒤에는 전체적으로 Vitoria Metrics 리소스 사용이 훨씬 적은 것으로 확인
• 네이버 검색 SRE의 시계열 데이터베이스 운영기 - VictoriaMetrics로 수천만 개의 시계열 데이터 다루기