본문 바로가기
APM 관점에서 본 통합 모니터링의 필요성 앞서 통합 모니터링 솔루션의 필요성에 대해 소개했습니다. (링크) 이번 회차에서는 통합 모니터링 솔루션의 필요성을 APM(Application Performance Monitoring) 관점으로 다뤄보고자 합니다. On-Premise에서 Cloud로 전환 On-Premise에서 클라우드(Public, Private, Hybrid, Multi)로의 전환은 애플리케이션의 배포 방식에 중요한 변화를 가져옵니다. 기존 On-Premise 방식에서는 물리서버에 수동적으로 배포 및 관리를 했다면, 클라우드 환경으로 전환되면서는 가상화된 인프라에 Container, Pod 형태로 배포하는 방식으로 변경되었습니다. 이렇게 변화된 환경에서는 애플리케이션의 동적인 확장과 유연한 관리가 가능해졌고, 이들 환경에서 수행되는 .. 2024. 3. 27.
통합 모니터링 솔루션의 필요성과 exemONE IT 인프라 관리 및 모니터링 분야는 최근 몇 년 동안 큰 변화를 겪고 있습니다. 전통적으로 온프레미스 시스템 모니터링은 웹 애플리케이션 서버(WAS), 데이터베이스, 네트워크, 운영체제(OS) 등 개별적인 영역에 중점을 둔 제품군 기반이었습니다. 각 모니터링 도구는 각각의 영역에 특화된 기능을 제공했으며, 이 접근 방식은 특정 시스템에 대한 깊이 있는 분석과 세밀한 관리를 가능하게 했습니다. 그러나 시간이 지나며 기술 환경의 변화는 전통적인 모니터링 분야에도 영향을 미쳤습니다. 이로 인해 새로운 도전과 과제가 생겨났으며, 기존의 모니터링 방식을 재검토하고 새로운 환경에 적응해야 하는 필요성이 대두되었습니다. 이러한 변화는 IT 모니터링 분야에 보다 진보적인 접근을 요구하며, 새로운 기술과 방법론의 도입.. 2024. 1. 25.
궁금하면 드루와요 | Druid Tiering Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.1 Apache Druid란(링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화(링크) Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 이번 글에서는 Apache Druid의 티어링 시스템과 필요성을 알아보고, Druid에서 데이터 티어링을 설정하는 .. 2023. 12. 27.
궁금하면 드루와요 | Druid Tuning Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화 Part.1 Apache Druid란 (링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화 Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 Kafka로부터 데이터 수집 후 데이터 처리 방법 드루이드에서는 스트리밍 데이터와 배치성 데.. 2023. 11. 30.
궁금하면 드루와요 | Druid Operator Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 Part.1 Apache Druid란 (링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화 Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 Druid Operator란 Druid Operator는 쿠버네티스에서 실행 중인 드루이드 클러스터를 관리.. 2023. 10. 26.
클라우드 A to Z | Kubernetes 모니터링이 필요한 이유 시대의 흐름에 따라 서비스의 고가용성을 제공하기 위해 배포 모델이 진화해 왔습니다. Kubernetes에 이르러서는 애플리케이션을 구성하는 컨테이너의 수평적 확장이 용이해지고 전체 시스템에 영향을 미치지 않으면서도 언제든 빠르게 새로운 기능을 제공하는 것이 가능해졌습니다. 하지만 여러 서버와 사설/공용 클라우드 환경을 연결해 복잡하게 구성하는 것이 가능해지고, 설정된 워크로드 정책을 기반으로 수요에 따라 컨테이너가 지속해서 파괴되고 가동되면서 애플리케이션이 어디에서 어떻게 실행되고 있는지 알기 어려워졌으며, 과거의 배포 환경보다 Entity의 수가 100배 이상 많아지는 경우가 생겼습니다. 따라서 문제가 시작되면 조사할 로그와 기타 데이터 및 구성 요소가 많아졌습니다. 기존 환경에서는 한두 가지의 로그 .. 2021. 11. 24.
클라우드 A to Z | 쿠버네티스에서 리소스 관리하기 쿠버네티스는 서비스를 수평적으로 확장하고, 가용 리소스를 더 효율적으로 사용할 수 있는 기능을 제공합니다. 각 컨테이너는 파드(Pod) 단위로 배포되는데요, 이때 파드가 위치할 노드는 쿠버네티스의 스케줄러에 의해 결정됩니다. 파드가 노드에 배치된 이후, 컨테이너는 커널에 의해 관리되게 됩니다. 컨테이너는 프로세스이기 때문입니다. 리눅스 커널은 프로세스를 핸들링하는 많은 기능이 있습니다. 우리는 컨테이너에 대해 cgroup을 사용하여 CPU, 메모리에 대한 사용률을 설정할 수 있습니다. 도커에서는 다음 명령어로 0.5코어와 128MB 메모리만 사용되도록 제한된 nginx를 배포할 수 있습니다. docker run -m 128M -c 0.5 nginx 세가지 QoS 클래스 쿠버네티스에선 다음과 같은 설정을 .. 2021. 10. 27.
클라우드 A to Z | Kubernetes 디자인 패턴 Kubernetes에는 서비스의 안정적인 운영을 위해 여러 가지 디자인 패턴이 존재합니다. 이 시간에는 Kubernetes에 적용된 많은 디자인 패턴 중에 가장 중요한 패턴 10가지를 살펴보고자 합니다. Kuberentes의 디자인 패턴은 크게 ‘핵심 패턴’, ‘구조 패턴’, ‘행위 패턴’, ‘고급 패턴’의 4가지로 구분할 수 있고, 그 패턴들의 상세한 내용은 아래와 같습니다. 핵심 패턴 핵심 패턴은 세부적으로 ‘Health Probe 패턴’, ‘Predictable Demands 패턴’, ‘Automated Placement 패턴’이라는 총 3개의 패턴으로 분류할 수 있습니다. Health Probe 패턴 Health Probe는 운영 중인 컨테이너 애플리케이션이 정상적으로 동작하는지 체크하는 API를.. 2021. 9. 29.
클라우드 A to Z | 컨테이너 오케스트레이션 컨테이너 오케스트레이션이란? 컨테이너 오케스트레이션은 복잡한 컨테이너 환경에서 소수의 인원으로 많은 서버와 컨테이너를 효과적으로 관리하기 위해 등장한 개념입니다. 쉽게 말해 컨테이너가 대규모로 운영될 때 생기는 스케줄링 문제나 관리 등을 지원해주는 도구인데요. 컨테이너의 배포, 관리, 확장, 네트워킹을 자동화하여 수동 프로세스가 거의 필요하지 않습니다. 또한 컨테이너를 사용하는 모든 환경에 적용이 가능하며, 동일한 애플리케이션을 부가적인 재설계 없이 각기 다른 환경에 배포할 수 있으므로, 워크로드의 로드 밸런싱(부하 분산)이 용이해집니다. 오케스트레이션 시스템은 프로비저닝 및 배포를 비롯하여 인프라 전반의 컨테이너들의 상태를 모니터링하고 스케일링합니다. 그 밖에도 스케줄링, 리소스 할당 등 단순히 컨테이.. 2021. 8. 25.