본문 바로가기
통합 모니터링 솔루션의 필요성과 exemONE IT 인프라 관리 및 모니터링 분야는 최근 몇 년 동안 큰 변화를 겪고 있습니다. 전통적으로 온프레미스 시스템 모니터링은 웹 애플리케이션 서버(WAS), 데이터베이스, 네트워크, 운영체제(OS) 등 개별적인 영역에 중점을 둔 제품군 기반이었습니다. 각 모니터링 도구는 각각의 영역에 특화된 기능을 제공했으며, 이 접근 방식은 특정 시스템에 대한 깊이 있는 분석과 세밀한 관리를 가능하게 했습니다.그러나 시간이 지나며 기술 환경의 변화는 전통적인 모니터링 분야에도 영향을 미쳤습니다. 이로 인해 새로운 도전과 과제가 생겨났으며, 기존의 모니터링 방식을 재검토하고 새로운 환경에 적응해야 하는 필요성이 대두되었습니다. 이러한 변화는 IT 모니터링 분야에 보다 진보적인 접근을 요구하며, 새로운 기술과 방법.. 2024. 1. 25.
궁금하면 드루와요 | Druid without Middle Manager Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 Part.1 Apache Druid란(링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화(링크) Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 (링크) Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 이번 글에서는 Apache Druid Middle .. 2024. 1. 25.
DB 인사이드 | PostgreSQL 16 Release - New Feature (3) 이번 문서에서는 PostgreSQL 16 Release New Feature 중 Replication에 대한 내용을 다룹니다. Logical Replication From Standby Server PostgreSQL 15 버전까지는 Primary Server에서만 Logical Replication의 게시(Publication)을 구성할 수 있었습니다. Replication이 다중으로 구성되어 있다면 그 만큼 Primary Server의 부하도 증가합니다. PostgreSQL 16 버전부터는 Standby Server에서 게시(Publication)을 구성할 수 있습니다. 이 기능을 통해 Primary Server의 Replication 부하를 감소 시킬 수 있습니다. 📢 Primary → Physic.. 2023. 12. 27.
궁금하면 드루와요 | Druid Tiering Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.1 Apache Druid란(링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화(링크) Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 이번 글에서는 Apache Druid의 티어링 시스템과 필요성을 알아보고, Druid에서 데이터 티어링을 설정하는 .. 2023. 12. 27.
Chapter 4-5. AutoEncoder 오토인코더란? 오토인코더는 데이터의 압축을 통해 특성을 학습하는 비지도 방법의 인공 신경망이다. 오토 인코더의 목적은 고차원 데이터를 저차원으로 압축하여 데이터의 중요한 특성을 찾는 것이다. 오토인코더는 3가지 부분으로 이루어진다. 먼저, 인코더는 입력 데이터를 작은 차원으로 압축하는 부분이다. 이어지는 바틀넥 부분은 압축된 정보를 담고 있는 영역으로 오토인코더 알고리즘의 핵심에 해당한다. 이 부분을 잠재(latent) 영역, 혹은 코딩(coding) 영역이라고도 부른다. 마지막 디코더 부분은 압축되었던 데이터를 다시 입력형태와 동일하도록 변형하는 부분이다. 신경망의 핵심인 바틀넥 부분에 대해 조금 더 이야기하겠다. 바틀넥은 통과하는 정보의 양을 제한하기 위해 존재한다. 아키텍처를 보면 바틀넥의 크기가 .. 2023. 12. 27.
DB 인사이드 | PostgreSQL 16 Release - New Feature (2) 이번 문서에서는 앞서 나열된 PostgreSQL 16 Release의 주요 변경내용 중 일부를 테스트한 내용을 기술합니다. [성능 개선] FULL OUTER JOIN 및 RIGHT OUTER JOIN의 병렬 처리 PostgreSQL 16 버전부터 FULL OUTER JOIN 및 RIGHT OUTER JOIN의 병렬 처리를 지원함에 따라 Query Planner가 기존 버전 보다 더 효율적인 실행계획을 수립할 수 있습니다. 📢 병렬 처리는 enable_parallel_hash 파라미터로 제어할 수 있습니다. -- PostgreSQL 15 버전 EXPLAIN (COSTS OFF) SELECT COUNT(*) FROM repltab a FULL OUTER JOIN repltab b USING (c1); QUE.. 2023. 11. 30.
DB 인사이드 | PostgreSQL 16 Release - New Feature (1) 2023년 9월 14일 PostgreSQL Global Development Group은 최신 버전의 PostgreSQL 16을 출시하였습니다. PostgreSQL 16의 주요 기능은 아래와 같습니다. 📢 PostgreSQL 릴리즈 현황은 DB 인사이드 | PostgreSQL Setup - Version & Utility에서 확인할 수 있습니다. 성능개선 새로운 Query Planner 최적화로 PostgreSQL 기능의 성능 향상 FULL OUTER JOIN 및 RIGHT OUTER JOIN의 병렬 처리 가능 집계 함수(ex. string_agg, array_agg) 사용 시 DISTINCT 또는 ORDER BY와 함께 사용할 경우, 쿼리에 대한 더 최적화된 실행 계획 생성 enable_presorte.. 2023. 11. 30.
궁금하면 드루와요 | Druid Tuning Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화 Part.1 Apache Druid란 (링크) Part.2 Druid Operator: 드루이드 오퍼레이터 도입으로 드루이드 설치부터 관리까지의 과정 개선 (링크) Part.3 Druid Tuning: 제한된 자원속에서 카프카 스트림으로부터 데이터 수집하는 기능(성능)의 최적화 Part.4 Druid Tiering: 데이터가 조회되는 빈도 기준으로 데이터를 구분 Part.5 Druid without Middle Manager (MM less): k8s 리소스(파드)를 사용한 드루이드 태스크 관리 개선 Kafka로부터 데이터 수집 후 데이터 처리 방법 드루이드에서는 스트리밍 데이터와 배치성 데.. 2023. 11. 30.
Chapter 4-4. Seq2Seq Seq2Seq란? Seq2Seq, 즉 Sequence-to-Sequence는 인코더-디코더 형태의 구조로 이루어져 있어 sequence 형태의 데이터를 처리하는 모델이다. 인코더 : 입력 시퀀스로부터 정보를 압축하여 고정된 크기의 문맥 벡터로 변환하는 역할 디코더 : 인코더가 전달한 문맥 벡터를 기반으로 출력 시퀀스를 순차적으로 생성하는 역할 그래서 Seq2Seq는 기존의 단순히 LSTM, GRU로만 구성된 모델들에 비해 sequence 데이터를 처리하는 데에 있어 대부분 더 좋은 성능을 발휘하게 된다. Seq2Seq 구조의 종류 Seq2Seq의 구조는 모델 각각의 입 / 출력 형태에 따라 다양한 종류로 나뉘게 된다. one-to-many : vector 형태의 데이터를 입력하여 sequence 형태의 .. 2023. 11. 30.

티스토리툴바