이.빅.스. | Flamingo의 오픈소스 안녕하세요. 이.빅.스 시리즈 여섯 번째 시간이자 마지막 시간입니다. 이번 편에서는 이.빅.스의 모니터링과 서비스 운영, 관리의 역할을 하고 있는 플라밍고에 사용된 오픈소스들을 소개하고자 합니다. 개발자 생태계에는 수많은 오픈소스가 존재합니다. 폐쇄적으로 개발해오던 예전과 달리 기업이나 개발자 개개인들이 자신의 프로젝트를 공개하고, 최신 기술 정보와 문제점을 공유함으로써 더 나은 개발 환경을 만들어 나가고 있습니다. 공개된 오픈 소스를 사용함으로써 새 소프트웨어를 개발하는데 드는 비용을 절감하고 검증된 소스를 통해 안정성 있는 서비스를 제공할 수 있는 환경이 되었습니다. 플라밍고 역시 수많은 오픈소스 라이브러리를 활용해 개발되었습니다. Vue.js 플라밍고는 프론트엔드 프레임워크로 Vue.js를 사용하고.. 2023. 8. 31. 이.빅.스 | 기하급수적으로 수집되는 많은 양의 데이터는 어떻게 처리해야 할까? 안녕하세요. 네 번째 이.빅.스 입니다. HDFS, Amazon S3, Google Cloud Storage 등 다양한 스토리지가 발전하면서 정형 데이터는 물론 비정형 데이터까지 대량으로 수용할 수 있게 되었고, 많은 기업들이 이런 스토리지들을 활용하여 방대한 양의 데이터를 수집하고 데이터 레이크를 만들고 있습니다. 이번 달에는 이러한 대용량 데이터 레이크를 쿼리할 수 있는 쿼리 엔진인 Trino를 소개합니다. Trino는 하나 이상의 다양한 데이터 소스에 분산된 대규모 데이터 세트를 효율적으로 쿼리하도록 설계된 오픈 소스의 분산 SQL 쿼리 엔진입니다. Hive나 Pig처럼 MapReduce 작업의 파이프라인을 사용해 HDFS를 쿼리하는 도구의 대안으로 설계되었으나, 점차 확장되어 관계형 데이터베이스나.. 2023. 5. 25. 엑셈 뉴스룸 | 빅데이터 전문기업 EXEM의 빅데이터 STORY 빅데이터 속에서 의미를 찾고, 새로운 가치를 만들어 내는 사람들을 무엇이라고 부를까요? 바로 데이터 사이언티스트(Data Scientist)입니다. 엑셈에도 데이터 사이언티스트들이 활약하고 있는데요. 이번에는 지난 달 인터뷰에 이어 IT 성능관리, 빅데이터, 인공지능 전문기업 EXEM의 빅데이터 사업 및 제품, 콘텐츠들을 소개해드립니다 :) #사업 한국전력공사 엑셈은 한국전력공사(이하 한전)와 인연이 깊습니다. 2017년 “KEPCO 빅데이터 통합 플랫폼 구축”사업을 수행하였을 뿐만 아니라, 한전 임직원들을 대상으로 빅데이터 분석 심화 교육도 진행하였지요. 최근 연이어 “빅데이터 분석 사례 자산화”사업과 “빅데이터 플랫폼 운영유지보수”사업도 수주하여 수행하고 있습니다. 본 사업은 Decision Tree.. 2019. 3. 7. 플라밍고 | 빅데이터 성능관리 솔루션, 플라밍고 다양한 빅데이터 분석 환경에서 시스템 운영자 및 분석가는 시스템 성능 관리에 큰 어려움을 겪고 있습니다.서버 중단 시 인지하기 조차 힘든 Scale Out 및 HA 특성을 가진 빅데이터 분석 환경을 보다 투명하게 관리할 수 있는 통합된 솔루션이 필요하죠. 바로 엑셈의 Flamingo 입니다! 빅데이터 성능 관리 솔루션 플라밍고가 업데이트 되었다고 하는데요, 함께 알아봅시다 :) 1. 제품 개요Flamingo는 빅데이터 플랫폼인 하둡 클러스터의 통합 관리 솔루션으로, 하둡과 에코 시스템의 실시간 서비스 감시 및 주요 성능 지표의 수집, 진단 및 모니터링, 데이터 처리를 위한 워크플로우 작성, 데이터 분석 지원까지 이르는 하둡 시스템의 가용성 및 성능의 관리를 효율적으로 수행할 수 있도록 지원합니다. 2. .. 2018. 8. 9. 이전 1 다음
