태터데스크 관리자

도움말
닫기
적용하기   첫페이지 만들기

태터데스크 메시지

저장하였습니다.

플라밍고 | 빅데이터 성능관리 솔루션, 플라밍고



다양한 빅데이터 분석 환경에서 시스템 운영자 및 분석가는 시스템 성능 관리에 큰 어려움을 겪고 있습니다.

서버 중단 시 인지하기 조차 힘든 Scale Out 및 HA 특성을 가진 빅데이터 분석 환경을 보다 투명하게 관리할 수 있는 통합된 솔루션이 필요하죠. 

바로 엑셈의 Flamingo 입니다! 

빅데이터 성능 관리 솔루션 플라밍고가 업데이트 되었다고 하는데요, 함께 알아봅시다 :)



1. 제품 개요

Flamingo는 빅데이터 플랫폼인 하둡 클러스터의 통합 관리 솔루션으로, 하둡과 에코 시스템의 실시간 서비스 감시 및 주요 성능 지표의 수집, 진단 및 모니터링, 데이터 처리를 위한 워크플로우  작성, 데이터 분석 지원까지 이르는 하둡 시스템의 가용성 및 성능의 관리를 효율적으로 수행할 수 있도록 지원합니다.



2. 제품 특징
2.1 Realtime Monitoring
- Hadoop과 EcoSystem에 최적화된 다양한 성능 지표의 실시간 감시
- 지원 Hadoop Ecosystems
 (1) Hadoop Core Server 
 (2) Apache Spark
 (3) Apache Hive
 (4) HDFS
 (5) Apache Oozie
 (6) Zookeeper
 (7) HBase
 (8) Cluster Servers

2.2 Workflow
- 작성하기 어려운 워크플로우를 간단히 작성하고 손쉽게 테스트할 수 있는 환경 지원
- workflow지원 형식
 (1) Workflow (Designer & Monitoring)
 (2) Apache Oozie workflow (Designer & Manager & Monitoring)

2.3 Data Analysis
- 다양한 빅데이터 환경에서 필요한 정보 도출을 위한 분석 환경 지원
- 지원 방식
 (1) Notebook(R/python 등)
 (2) Hive, HBase Editor
 (3) R-Studio 연계 지원

2.4 Security
- 설정하기 어려운 Hadoop과 Ecosystems의 보안 및 권한레벨까지의 설정까지 쉽게 할 수 있도록 지원
- 지원 Ecosystems 
 (1) HBase
 (2) Hive
 (3) Kafka
 (4) Solr
 (5) NiFi
 (6) Yarn
 (7) HDFS



3. 제품 스펙


구분

내용

비고

OS

Linux Kernel 2.6 이상

CentOS 6 이상

Database

PostgreSQL 9.2 이상

UTF-8 Character Set
Oozie
모니터링은 현재 PostgreSQL만 지원

CPU

8Core 이상

Memory

16G 이상

Java

JDK 1.8 이상

Hortonworks HDP

Hortonworks HDP 2.4 이상

상세 기능 지원 여부는 확인 필요

Cloudera CDH

Cloudera CDH 5.4 이상

상세 기능 지원 여부는 확인 필요

Apache Hadoop

Apache Hadoop 2.3 이상

Web Browser

Internet Explorer 10+, Google Chrome, Safari, Firefox

Chrome 사용을 권장함

제품 권장 해상도

1440 X 900 이상

기타

Jupyter notebookSSL 기능 사용을 위해서는 URL
도메인 및 유료 인증서를 확보한 사이트만 적용 가능

URL 도메인 및 유료 인증서를 확보하지 못한
사이트에서는 HTTP 방식으로만 세팅 가능



4. 업데이트 내용

4.1 Apache oozie 지원 기능 향상

- Apache ecosystem 중 workflow scheduler system인 oozie를 손쉽게 사용할 수 있는 기능 대거 추가

- oozie workflow designer : oozie의 workflow를 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 디자이너 기능


- oozie coordinator designer : oozie의 coordiantor를 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 디자이너 기능


- oozie bundle manager : oozie의 bundle을 GUI 기반으로 손쉽게 만들고 테스트 할 수 있는 관리자 기능



4.2 Security 기능 추가

- Hadoop과 Ecosystem들의 보안을 손쉽게 설정하고 권한 레벨까지 설정할 수 있는 기능 추가 (Ranger 기반)

- 지원 Ecosystems 

(1) HBase

(2) Hive

(3) Kafka

(4) Solr

(5) NiFi

(6) Yarn

(7) HDFS


<policy 관리 화면>


<audit 화면>


<보안 관련 세팅 화면>



앞으로도 계속 발전해 나갈 Flamingo 많은 기대와 응원 부탁드립니다.^^

플라밍고 파이팅 :)




기고 | 빅데이터개발팀 한현우

편집 | 사업기획팀 박예영



이벤트 | 엑셈에게 바란다!

유머/이벤트 2018.08.08 17:44




당첨자를 발표합니다!

1등) 정해교

2등) 유미현

3등) 정운식/박준용/임지영/이규승/김보명

8월 뉴스레터 이벤트에 참여해주셔서 감사합니다. 9월에도 많은 참여 부탁드려요~


기획 및 글 | 사업기획팀 박예영

이미지 디자인 | 디자인기획팀 김보명



  • 개개발발자자 2018.08.31 12:17 신고 ADDR 수정/삭제 답글

    신시웨이나 강남연구소 등 엑셈과 연결된 자회사 및 부속연구소, 플라밍고 등 어떤 일을 하고 엑셈과 어떤 관련이 있는지 등 궁금한데 그런 면들을 다루는 콘텐츠가 있으면 좋을 거 같아요. 애사심도 생기고 업무 파악도 더 잘될거같아요~

    • 2018.08.31 12:21 수정/삭제

      비밀댓글입니다

  • FrontEnd 2018.08.31 12:20 신고 ADDR 수정/삭제 답글

    엑셈 솔루션에 대한 정보나 특징(장점 ,단점)에 대한 콘텐츠가 있으면 좀 더 솔루션에대한 이해도가 항샹 될거 같습니다. 또 회사에 대한 근무 환경이 어떤지 다루면 좀더 좋을거 같습니다.

    • 2018.08.31 12:21 수정/삭제

      비밀댓글입니다

  • aq 2018.08.31 12:48 신고 ADDR 수정/삭제 답글

    각 팀에서 하고 있는 일, 팀원들에 관한 내용이 있는 콘텐츠가 있었으면 좋겠습니다~~

    • 2018.08.31 12:49 수정/삭제

      비밀댓글입니다

  • 굿잡 2018.08.31 13:23 신고 ADDR 수정/삭제 답글

    사내 동호회 현황(목록, 활동 내역)등을 소개해주는 컨텐츠를 추가하면 좋을 것 같습니다. 어떤 동호회들이 있으며 어떤 활동을 하고있는지, 보다 자세하게 알 수 있다면 더 많은 직원분들이 사내 동호회에 대해 관심을 갖게 되는 계기가 될 것 같습니다.

    • 2018.08.31 13:28 수정/삭제

      비밀댓글입니다

  • 깔깔 2018.08.31 15:25 신고 ADDR 수정/삭제 답글

    데이터베이스, 인공지능, 개발 등 간단한 퀴즈를 푸는 이벤트를 했으면 좋겠습니다~

    • 2018.08.31 15:26 수정/삭제

      비밀댓글입니다

  • 피자빙수아메리카노 2018.08.31 16:51 신고 ADDR 수정/삭제 답글

    IT에 관한 신기술 동향 트렌드, 보안 이슈 같은 것들을 전해주는 뉴스레터 같은게 있으면 좋을 것 같습니다.

    • 2018.08.31 16:51 수정/삭제

      비밀댓글입니다

  • 트렌드를 이끄는 회사들의 기업문화를 소개하는 컨텐츠가 있었으면 좋겠고 엑셈만의 기업문화가 생겨났으면 좋겠습니다. (Ex 구글, 네이버, 카카오, 라인, 넥슨)

    • 2018.08.31 17:38 수정/삭제

      비밀댓글입니다

  • 피자1인1판 2018.09.02 00:42 신고 ADDR 수정/삭제 답글

    IT만평 인상깊었습니다. 평소에 관심 없던 분야였음에도 불구하고, 센스있는 글과 그림으로 표현해주셔서 재밌게 보게 되더라구요. 특히 그림이 개성있어서 눌러본 게 컸습니다ㅎㅎㅎ 요즘 일러스트로 엽서나 스티커도 많이 만드는 추세잖아요. 뉴스레터 외에도 좀 더 활용해서 독자의 흥미를 유발하고, 유용한 정보들이 널리 알려지면 좋을 것 같아요! (엑셈도 같이 알려지겠죠?><)

  • 2018.09.02 00:43 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 이규승 2018.09.03 08:16 신고 ADDR 수정/삭제 답글

    기존컨텐츠
    - EXEM Academy에는 너무 좋은 내용이 많아 그대로 넘겨주세요.
    새로운컨텐츠
    - 장애복구 사례 공유 내용 추가해주시면 좋을것 같습니다.

    • 2018.09.03 08:16 수정/삭제

      비밀댓글입니다

  • 해겨 2018.09.03 17:18 신고 ADDR 수정/삭제 답글

    엑셈을 알게 된지 벌써 10년이 넘었네요.
    DBA 업무를 하면서 유용한 정보를 많이 얻는데요.
    특히 엑셈 백과사전의 주옥같은 정보와 거의 매년 발간하는 서적은 업무를 하면서 많은 참고가 되고 있습니다.
    아쉬운점은 Aster와 함께하는 Oracle Event Tour는 47회차로 잠시 쉬는 걸로 알고 있는데요.
    참 접근하기 어렵고 이해하기 어려운 Oracle Event 를 이해하기 쉽게 만화로 만들어 주셨는데 하루 빨리 다시 연재 해주시면 좋겠습니다.

    • 2018.09.03 17:19 수정/삭제

      비밀댓글입니다

  • 류성민 2018.09.04 13:14 신고 ADDR 수정/삭제 답글

    현장 탐방 같은 기획 이벤트가 많았음 좋겠습니다.
    요즘도 프로도 많이하는 '구내식당 맛보기' 등 복지가 좋은 엑셈이 내세울 것이 많았음 좋겠어요. 그리고 예전처럼 그림으로 알기쉽게 DB를 설명한 연재만화도 있었음 좋겠습니다. 엑셈이 어려운 오라클전문 DB관리 솔리션을 제공하지만 다른 DB들도 관리하는 솔루션이 나왔음 합니다.

    • 2018.09.04 13:15 수정/삭제

      비밀댓글입니다

  • 유미현 2018.09.04 16:23 신고 ADDR 수정/삭제 답글

    안녕하세요. 엑셈하면 딱딱한 소프트웨어 회사라는게 느껴지는데
    『기술이야기』 를 통해 같은 전문소프트웨어 회사를 바라보는 시선들이
    흥미로웠습니다. 기존에 몰랐던 다른 기술회사들의 다양성과 직원들의 복지향상에 서로 상생하는 느낌의 편집기사였습니다. 서로 이끌어주고 밀어주는 상생 기업이야 말로 우리가 원하고 바라던 그런 기업문화라고 생각합니다. 이런 연재는 계속해서 만들어주셨음 좋겠어요 ^^

    • 2018.09.04 16:23 수정/삭제

      비밀댓글입니다

  • 임지영 2018.09.04 16:34 신고 ADDR 수정/삭제 답글

    셈통으로 다시 연재되는 엓셈이야기 기대됩니다.
    엑셈이 추구하는 '행복한 기업'처럼 행복한 직원들의 일상을 보여주었으면 좋겠습니다. 그리고 간혹 어려운 직원이나 아픈직원이 있다면 어떻게 대처하고 보호하는지 알고 싶어요 ㅎㅎ. 일반 회사처럼 어려운 직원을 바로 내치는지 아니면 가족처럼 품는지 궁금합니다. 회사에선 항상 좋은일만 있을 수 없으니까요 ㅋㅋ. 그리고 엑셈의 활약상을 소개해주세요. 해외에서 어떤 나라에서 '엑셈을 BUY' 하는지 정말 궁금합니다. 이런 엑셈의 활약상 국내뿐 아니라 해외에서도 기대됩니다. 소개 많이 해주세요.

    • 2018.09.04 16:36 수정/삭제

      비밀댓글입니다

IT 만평 | AI가 바꾸는 미래, 날씨 편







가뭄 시 '제발 비를 내려주세요~'하며 제사를 지내던 시절은 이미 옛 말!

기상청을 믿지 못하는 시절도 이젠 안녕!

지금은 인공지능으로 보다 더 정확하고 빠르게 날씨를 예측하는 시대!

인공지능을 통한 날씨 예측으로 가뭄에 미리 대비한다면?

올 해 농사는 대박 예측!





기획 및 글 | 사업기획팀 박예영

그림 | 디자인기획팀 김보명


엑셈 뉴스룸 | 2018 신규 입사자 On the Job Training

엑셈 인사이드 2018.08.08 17:41


2016년 신규 입사자 OJT이후 다시 돌아온!

지난 7월25일에 진행되었던 신규 입사자 OJT는 어떤 모습이었을까~요?

이번 신규 입사자 교육은 

2017년 1월 입사자부터 2018년 7월 입사자를 대상으로 엑세머들에게 꼭 필요한 강의들로 준비되었습니다!

이 날 행사는 아래와 같은 일정으로 진행되었습니다.



사회는 경영관리본부의 조광현 상무님께서 담당해 주셨는데요, 

사진만 봐도 조광현 상무님 특유의 부드러운 목소리가 들리는 것 같네요ㅎㅎ


☝🏻먼저, 조종암 대표께서 강의를 해주셨습니다.

엑셈과 엑세머가 의미하는 것들에 대해서 말씀해 주셨는데요,

중력과 사랑 외에 시간을 초월하는 것은 기록(지식)이라고 말씀해주시면서

엑셈의 이념인 기술자의 길을 통해 정진하고 수련하여 

우리의 인생이 기회로 넘치는 지식창조의 장이 되길 바란다고 격려해 주셨습니다.


✌🏻다음으로, 경영기획본부의 고평석 상무님께서 커뮤니케이션에 대한 강의를 해주셨습니다.

소통을 왜 해야 하는지, 소통이 얼마나 중요한지, 그렇다면 소통을 어떻게 해야 하는지에 대해서 강의를 해주셨는데요,

중국 고전으로 풀어내는 강의가 귀에 쏙쏙 들어왔습니다.


강의 내용이 더 궁금하다고요? 

엑세머가 되시면 자세한 강의 내용을 알 수 있습니다 ㅎㅎㅎㅎㅎ


교육 종료 후 다함께 저녁식사도 했는데요, 함께 보시죠 :)

사진만 봐도 흥겨운 분위기가 느껴지시죠?

맛있는 치맥과 피자로 마무으리!

회사 규모가 커지면서, 같은 회사의 직원인데도 불구하고 모르고 지나치는 경우가 종종 있었답니다 ㅠㅠ
이번 기회를 통해 유익한 강의도 듣고, 서로 알아갈 수 있어서 넘넘 좋았다는!!

👏🏻👏🏻👏🏻

행사 기획에서부터 진행까지 고생하신 모든 분들께 감사의 말씀 전하면서!
신규 입사자 OJT 소식은 여기서 마무리 하도록 하겠습니다.




기획 및 글 | 사업기획팀 박예영

현장사진 | 사업기획팀 박예영










  • 임지영 2018.09.04 16:28 신고 ADDR 수정/삭제 답글

    소통하는 기업문화가 부럽네요.

척척박사 윤박사가 들려주는 AI | 특별편, 지능형 관제 솔루션의 방향과 비전


요약(Abstraction)

 4차 산업혁명 시대에서 인공지능 역할은 기반 산업들의 성공적인 발전을 위해 자동화된 지능형 시스템으로 진화하여 디지털 트랜스포메이션(Digital Transformation)으로 발전시키는 것이다. 디지털 트랜스포메이션으로 진화하기 위해 기존 관제 시스템은 다양한 센서나 에이전트로부터 디지털화된 데이터를 확보하고, 정밀한 의사결정을 지원하기 위해 인공지능 기반의 이상증상 탐지 및 예측 지원 학습 모델을 구성하는 것이다. 의사결정 지원 방법은 논리적 의사결정과 비즈니스적 의사결정으로 구분할 수 있다. 논리적 의사결정은 시스템의 정보를 통해 시스템의 장애 진단과 해결을 위한 정보 제공으로 자동화된 의사결정 수행을 지원한다. 비즈니스적 의사결정은 관리자 또는 경영자의 의사결정을 효과적으로 지원하기 위해 효율적인 판단을 위한 지표 데이터를 예보 형태로 제공하는 구조이다. 그렇기 때문에 관제 시스템에서 인공지능 도입은 비즈니스적 의사결정보다는 논리적 의사결정 중심으로 진행하고 있다. 따라서 본 고에서는 이러한 기능을 갖추기 위한 지능형 관제 솔루션이 디지털 트랜스포메이션으로 진화하기 위한 방향과 비전을 살펴보고자 한다.


1. 서론

 최근, 4차 산업혁명이라는 키워드 아래 다양한 산업분야에서 인공지능 기반의 자동화된 의사결정을 지원하는 지능형 관제 솔루션을 구성하고 있다. 구글은 2016년 데이터센터에 머신러닝 기반의 딥마인드 시스템을 이용하여 서버 구동 방법과 전력, 냉각 장비의 운영을 조정함으로써 에너지 절감 효과를 40% 정도 절감하였다. 이를 통해 수천만 달러의 비용을 절감할 수 있도록 하였다. 또한 벨라트릭스 소프트웨어의 알렉스 로비오 사장은 데이터 센터의 지능화를 위한 노력과 사례를 축적하고 네트워크와 같이 능동적으로 대처할 수 있는 시스템의 머신러닝 도입을 주장하고 있다. 이러한 방향은 지능형 관제 시스템이 디지털 트랜스포메이션 구조로의 전환을 전제로 하고 있다. 그리고 다양한 센서에서 발생된 데이터를 어떻게 확보할 것인지와 물리적 환경에 대한 조치보다는 소프트웨어적 환경에 대한 조치 방법의 직시를 지능형 관제 시스템의 방향으로 제시하고 있다[1].

 인공지능 모델을 통한 데이터 센터 운영은 대용량 데이터 기반의 분석으로 과거의 패턴을 추출하여 소프트웨어의 장애나 고장 및 논리적 오류에 대한 확장 패턴을 학습함으로써 최적화된 데이터 센터 운영이 가능한 모델을 수립할 수 있다. IBM 분석 개발 담당 부사장인 디네시 니말은 미래 데이터 센터의 자율적 운영을 위해 탈중앙집중형(Decentralised) 클라우드 환경에서 인공지능을 적용한 이상 징후 감지 기능을 차세대 데이터 센터의 필수 요소로 언급하고 있다. 이를 위해 가용 데이터의 양, 품질 그리고 속성등에 대한 데이터의 표준화와 거버넌스 필요성도 함께 제시하고 있다[1].

 따라서 본 고에서는 4차 산업혁명에서 요구하는 지능형 관제 솔루션의 방향을 살펴보고, 인공지능의 역할과 도전 방향을 재조명하고자 한다. 그리고 도전 방향에 필요한 기반 기술을 소개하고 도전 중에 발생할 수 있는 이슈들을 간략히 소개한다. 본 고의 구성은 2장에서 지능형 관제를 이해하기 위해 데이터의 특징과 구조를 설명한다. 3장에서는 지능형 관제 솔루션들이 가지고 있는 기술과 특징을 기술하고 지능형 관제 솔루션이 나아가야 할 방향과 비전을 기술한다. 마지막으로 지능형 관제 솔루션의 방향에 대한 고찰과 제언으로 마무리 한다.


2. 데이터 전환과 이해

우리는 10년 전 정보화의 물결인 IT 홍수를 겪으면서 기하급수적으로 증가하는 디지털 데이터의 양을 확인하고 홍수속에서 정보를 찾기 위한 노력을 거듭해 왔다. 정보를 찾기 위해 데이터 흐름을 만들고, 그 흐름 속에서 많은 정보와 지식을 생산하는 체계를 지속적으로 구축하였다. 현재의 정보처리 기술들은 정보화 물결 속에서 하나 둘 생겨난 문제들을 해결하고자 하는 데이터 처리 방법론 속에서 등장한 기술들이며, 이러한 기술들을 이용하여 데이터 물결을 지배하려는 많은 노력들도 함께 진행되었다. 이러한 노력으로 이루어진 4차 산업혁명은 디지털 사회로 진화되는 사회적 물결 속에서 데이터 기반의 과학적 의사결정을 처리하는 자동화 물결을 먼저 확보하기 위해 인공지능 기술들이 재조명되고 있다.


<그림 1> 사회를 변화시킨 각 단계별 물결 정보[2]

* 참조문헌 : 의사결정의 자동화 시대, 필수 요건은 데이터(http://www.bloter.net/archives/284744)


 과학적 의사결정을 효과적으로 처리하기 위해 생산되는 데이터는 사회적 물결에 따라 변화되어 왔다. 사회적 물결의 흐름 속에서 생산되는 데이터는 [그림 1]과 같이 시대별로 생산되는 지식 데이터의 구조적 차이가 있다. 즉, 아날로그 형태의 데이터에서 디지털 형태로 변화되면서 연속적인 표현에서 이산적인 표현으로 변경되고 있다. 불과 10여 년 전의 데이터인 아날로그 데이터는 신호의 연속성을 가지고 물리량으로 나타낸다. 예를 들면, 빛의 밝기, 소리의 높낮이, 크기, 바람의 세기 등이 대표적이며, 이를 사람이 이해하고 직관적 의사결정을 할 수 있는 도구로 속도계, 온도계, 녹음기나 음반과 같은 것들을 이용하고 있다. 디지털 시대의 데이터는 ‘0’과 ‘1’의 논리적 구조로 표현되며, 이산적 수치를 이용하여 데이터를 처리하고 분석하여 과학적 의사결정을 할 수 있도록 시각화하고 있다. 하지만 연속적인 아날로그 데이터를 디지털 데이터로 변환하는 과정에서 샘플링으로 데이터를 변환하기 때문에 데이터의 품질이 떨어지거나 왜곡되는 특징을 가지고 있다. 또한 최근에는 양자 데이터의 등장으로 디지털 데이터는 확장된 새로운 데이터 형태의 표현과 해석이 추가되고 있다. 이렇듯 데이터 표현은 사회적 흐름이 변화되면서 데이터가 의미하는 특징도 변화되고 있기 때문에 의사결정을 위한 데이터의 특징 이해와 해석을 표준화하는 것이 필요하다. 

 모든 데이터는 다양한 장치와 환경으로부터 아날로그 형태 및 디지털 형태로 생산되고 있으며, 다양한 방법으로 수집되거나 변환되어 저장되고 있다. 그리고 데이터를 해석하기 위해서는 데이터를 발생시킨 장치의 특징과 통합, 정제의 방법에 따라 어떤 해석을 할 수 있는가에 대한 판단이 중요하다. 예를 들면, 사람의 몸에서 발생되는 이상 신호는 외부의 자극 또는 내부의 이상 신호가 신경세포를 통해 뇌에 전달되어 신호 해석과 함께 이상 판단을 진행한다. 이와 같이 시스템에서 의사결정을 지원하기 위해서는 전체 데이터 중에서 이상 데이터의 특징을 추출하고 조건에 맞는 패턴을 찾아 강화시켜 이상정도를 의사결정하기 위한 정보로 재가공해야 한다. 그리고, 가공된 정보는 이상정도의 신호 세기에 따라 의사결정과 제어가 각각 달라질 수 있다. 즉, 수집된 데이터 그룹에는 각각의 상황을 판단하고 의사결정을 하기 위한 데이터가 존재하며 이 데이터의 특징을 얼마나 잘 추출하고 가공하는지가 중요하다. 그리고, 각각의 데이터 해석 높낮이에 따라 의사결정을 달리하고 제어할 수 있는 지식베이스를 구성하는 것이다. 이것은 기계학습에서 데이터를 분류하기 위해 레이블된 데이터만을 학습할 경우, 해당 조건만을 판단하기 때문에 단편적인 의사결정만을 시도하는 문제를 가지고 있다. 그리고 레이블된 데이터가 아닌 전체 데이터를 이용하여 학습할 경우에는 정확한 의사결정과 해석 판단을 할 수 없기 때문에 항상 의사결정의 오류를 포함하고 있을 수 있다. 그렇기 때문에 어떠한 기계학습 방법을 적용하든지 모든 데이터에 대한 학습과 함께 레이블 데이터를 생성하고 관리하기 위한 지식베이스 구축이 필요하다. 그리고 지능형 관제를 위해 데이터의 특징을 먼저 이해하고 신호 강도가 높은 특징 데이터를 중심으로 데이터 스팩트럼을 측정하고 학습 모델을 훈련시키는 것이 필요하다. 데이터 스텍트럼을 측정하기 위해서는 인공지능을 포함하여 다양한 학문에 기초하여 데이터의 특징과 해석을 많이 다루어 본 데이터 사이언티스의 역할이 중요하다.


3. 지능형 관제 솔루션 구조 및 방향

 관제 솔루션(EMS : Enterprise Management System)은 일반적으로 서버, 네트워크, DBMS, 부대설비 등과 같은 다양한 인프라를 하나의 플랫폼에서 통합 관리하거나 차량, 범죄, 방재 등과 같은 사회 안전망을 관리하는 플랫폼으로 정의되고 있다. 관제 솔루션의 범위는 활용 목적에 따라 다양한 영역을 포함하고 있으며, 업무 범위에 따라 관제의 영역도 함께 정의되고 있다. 예를 들면, 항공기의 이착륙과 운항을 위한 항공관제, 정보 시스템의 운영과 관리를 위한 네트워크 및 시스템 관제, 건물의 이상이나 재난을 예방하기 위한 건물 및 방재 관제, 전력 상태를 관리하기 위한 전력 관제, 사회적 관계망이나 도시 범죄, 교통 등을 관리하는 도시환경 및 교통보안 관제 등 다양한 범위에서 활용되고 있다. 각각의 관제 시스템은 유사한 구조를 가지고 있지만 서로 다른 제품으로 플랫폼이 구성하고 있기 때문에 제조사에 대한 의존성이 매우 높다. 이는 제조사마다 데이터의 정의와 구조가 서로 다르고 표준화되지 않은 포맷(구조)를 사용하고 있다는 반증이기도 하다. 또한 서로 다른 제품을 사용하기 때문에 장치의 제어 신호가 다른 상태로, 해당 제조사와 연관된 소프트웨어만을 사용해야 하는 불편함도 있다. 그렇기 때문에 데이터 중심의 의사결정을 수행하는 인공지능을 도입하기 위한 접근이 제한적이고 시스템 제조사에서 제작한 인공지능 모델에 의존할 수 밖에 없는 것이 현실이다.  

 관제 솔루션의 구조는 앞에서 언급했듯이 활용 범위에 따라 달라지지만 본 고에서는 정부의 통합 관제 시스템을 이용하여 구조를 살펴보고자 한다. 정부에서 운영하는 대표적인 통합관제 시스템 구조는 [그림 2]와 같다. 물리적 환경은 통합운영 소프트웨어를 통해 전체 상황을 관리하는 통제센터를 중심으로, 영상 장비를 관리하는 영상설비 시스템, 네트워크와 통신을 관리하는 네트워크 시스템, 그리고 부대설비를 관리하고 내부와 외부를 연결하는 관리 시스템 등으로 구성된다. 중앙센터의 통합운영 소프트웨어는 단위 시스템에서 수집된 데이터를 실시간 수준에서 분석하여 그 결과를 출력하도록 한다. 단위 시스템에서 실시간 분석은 지능형 통합 관제를 위해 통계 모형, 인공지능 모형 등을 적용할 수 있으며, 데이터의 특징과 분석 목적에 따라 혼용되어 사용하고 있다.


<그림 2> 통합 관제 시스템의 구조 예

* 참조 : 블로그, http://blog.daum.net/visionetware/10 


 지능형 통합 관제에서 사용되고 있는 인공지능 모형은 규칙기반 모델(Model of Rule-based)과 기계학습 기반의 비전인식 모델(Model of Vision Mining)이 가장 많이 적용되고 있다. 최근에는 딥러닝을 이용한 비전인식과 추적 기술을 도입하거나 준비하고 있다. 이에 비해 시스템 에이전트나 센서에서 수집된 데이터의 이상신호 분석은 미진한 상태이며, 오류나 장애를 탐지하는 목적보다는 통계적 분석을 통해 장비 최적화나 배치 지역 선정, 교체 시기 등과 같은 관리 최적화 분석을 우선적으로 하고 있다. 그 이유는 단위 시스템에서 분석된 결과의 성능이 기계학습으로 분석하는 것이 통계 확률 또는 규칙기반으로 분석하는 것보다 많은 차이를 보이고 있지 않기 때문이다. 그래서 관리자나 운영자는 관제 시스템을 기존의 방법으로 유지하고 운영하는 것을 선호하고 있다. 이러한 현상은 신경망의 입력값으로 디지털 신호 데이터를 이미지로 변환하여 분석하고 있기 때문이다. 이 변환 과정은 정밀한 소수점 데이터를 이미지상의 하나의 점으로 표현하면서 소수점 데이터가 절삭되거나 감소되는 문제를 가지고 있다. 감소된 파형을 서로 매핑하면서 비교하기 때문에 통계 확률이나 규칙기반 모델보다 높은 성능을 보여주지 못하고 있다. 특히, 딥러닝은 아직까지 점과 같은 아주 작은 이미지를 해석하는 것이 어려운 것이 현실이다. 그리고, 특별한 장애는 2~3년에 한 번 정도 발생되는 경우가 있기 때문에 전체 데이터를 장기간 관리할 수 있는 빅데이터 모형을 기본적으로 이해하고 있어야 한다. 또한 기계학습의 입력값으로 정밀한 신호 데이터를 제공하고 통합된 데이터간의 연관성을 전처리하여 제공하는 데이터 모델링 과정도 해결해야 한다.

 이와 같은 상황에서 지능형 관제 시스템의 대표 주자인 IBM은 마드리드에서 2014년도 스마트 시티 프로젝트인 MiNT[5]를 진행하면서 데이터 통합 관리와 운영 모델을 확립하였다. IBM은 MiNT 프로젝트에서 IBM Intelligent Operations과 Maximo를 이용하여 구축하였으며, 서비스 구성을 위해 [그림 3]과 같은 개념으로 도입하였다. 다면적 상황 인식을 위해 CCTV와 시민의 제보, 스마트폰 위치 정보등과 같은 데이터를 실시간으로 수집하고 과거 도시 데이터 기반의 예측 분석을 구성하였다. 또한 스마트 도시 서비스 및 시민들과 상호작용을 통한 자원 조정 및 서비스 품질 향상을 목표로 진행하였다. MiNT 프로젝트는 과거 도시 데이터와 현재 수집된 데이터를 이용하여 통계 확률 기반의 데이터 마이닝 모델, 기계학습 기반의 새로운 패턴 탐지하도록 하였다. 이 과정에서 IBM은 데이터 생산과 통합을 통해 도시의 기능적 요소들을 분석하였으며 통합 데이터에서 새로운 패턴의 발견과 검증 가능성을 확인하였다.


<그림 3> IBM MiNT Project[2]

* 참조문헌 : City of Madrid Implements Large Smarter Cities Environmental Analytics Project


 이와 같이 지능형 관제 시스템은 단위 시스템에서 발생되는 데이터만을 분석하고 판단하기 보다는 통합된 전체 데이터를 이용한 분석을 추구하고 있으며, 새로운 패턴의 발견 가능성을 검증하고 있다. 즉, 데이터가 가지고 있는 단순한 의미들을 하나로 통합했을 때 새로운 의미를 가진다는 기본 원리를 재조명한 것이다. 그리고 딥러닝으로 구성된 시스템이 훌륭할 수 있지만 통합된 데이터의 특징을 반영하고 검증하기에는 현실감이 부족하다. 그렇기 때문에 소프트웨어 테스트 방법 중에서 자주 사용되는 A/B 테스트 시나리오를 설계하고 지능형 관제 솔루션의 분석용 소프트웨어 개발을 진행하는 것이 좋을 것이다. 기존의 통계 방식의 분석 소프트웨어가 존재한다면, 해당 기능 중 일부를 기계학습 모델로 전환하고이전 분석 모델과 비교하여 어느 부분에서 우수한지를 검증하고 우수성을 증명하는 것이 필요하다.


4. 제언 및 맺음말

 이제까지 지능형 관제 시스템에 대한 개괄적인 내용과 지능형 분석 소프트웨어의 방향을 설명하였다. 최근에는 스마트 어플리케이션 서비스와 같이 연관되면서 지능형 관제 시스템의 기능도 확장되고 있다. 

 또한 IoT 기술의 단계적 적용으로 데이터의 특징이나 인식 범위도 넓어지고 있어서 지능형 모델을 이용한 분석 범위도 증가하고 있다. 이와 같이 확장되고 있는 지능형 관제 시스템의 기능들은 자동화에 맞춰 있다. 영역별로 살펴보면, 데이터 표준화와 통합을 위한 자동화 기능, 통합된 데이터에서 실시간으로 특징을 추출하는 기능, 특징의 연관성과 확장성을 판단하는 기능, 통계 확률 모델과 인공지능 모델의 분석결과에 대한 연계 분석 기능, 분석에 따른 제어 자동화 기능 등이 필요하다. 이러한 기능들은 인공지능 개발자의 역량에 따라 단계적인 접근하고 시도하는 것이 좋으며, 이를 검증하기 위한 단계적 절차도 마련되어야 할 것이다. 특히 성능 검증 절차는 앞에서 언급한 소프트웨어 성능 테스트 모델을 적용할 수 있는 모델과 모델간의 성능 비교를 권고한다. 이전 모델이 있다면 성능 비교에 더욱더 좋을 것이다. 그리고 인공지능 개발자는 기존 시스템이나 소프트웨어 개발보다 인공지능 모델 개발이 상당한 시간과 노력이 요구되는 것을 알고 있다. 그렇기 때문에 기업에서 요구하는 제품을 만들기 위해서는 단계적으로 접근하기 위한 기능 설계와 구성을 위한 자신만의 점검 항목을 가지고 있어야 할 것이다. 그래서 필자는 지능형 모델을 구성하기 위해 스스로 점검하고 있는 목록 중의 일부를 기록하면서 정리하고자 한다. 


 - [Data Governance] 데이터의 이해도는 완벽한가?

 - [Data Governance] 데이터의 변환과 프로세스는 어떻게 구성하였는가?

 - [Data Governance] 다른 시스템을 위해 데이터 표준화는 갖추어 놓았는가?

 - [Intelligence Model] 인공지능 모델간의 협업 체계를 구성할 수 있는가? 

 - [Intelligence Model] 제품의 성능을 비교하기 위한 검증 모델은 수립되어 있는가?

 - [Intelligence Model] 인공지능 모델을 변경하는 것이 아닌 진화할 수 있는 모델인가?


 이밖에도 지능형 시스템을 구축하기 위해서는 위에서 언급한 내용보다 많은 검증 사항들이 숨겨져 있다. 이를 위해 데이터 사이언티스 중심의 인공지능 모델링 개발이 이루어져야 할 것이다. 인공지능은 황금알을 낳는 거위가 될 수 있지만 거위를 배를 가르는 순간 황금알은 사라질 것이다.



[참고문헌]

[1] 효성인포메이션시스템, “자율운영 데이터센터가 온다” AI와 머신러닝 기반의 데이터센터 운영 효율화 – IDG Tech Focus, IDG TechLibary, 2018.07.12.

[2] 블로터, “의사결정의 자동화 시대, 필수 요건은 데이터,” 블로터(Bloter), 2017.07.11.

[3] 위키백과, “제3의 물결 (토플러),” https://ko.wikipedia.org/wiki/제3의_물결_(토플러)

[4] Mohamed A. Ahmed, Chul-Hwan Kim, “Communication Architecture for Grid Integration of Cyber Physical Wind Energy Systems,”, Applied Sciences, Vol.7, No.10, 1034, 2017.

[5] IBM,  “City of Madrid Implements Large Smarter Cities Environmental Analytics Project,” https://www-03.ibm.com/press/us/en/pressrelease/44328.wss





편집 | 사업기획팀 박예영

IT 만평 | AI가 바꾸는 미래, 성형 편

엑셈뉴스룸 | Match業 프로그램 빅데이터 분야 대표기관 엑셈

엑셈 인사이드 2018.07.12 11:05


요즘 완전 핫한 4차 산업혁각 산업체 및 정부에서도 주목하고 있는데요!

엑셈은 4차 산업혁명의 선두기업이라고 할 수 있죠.

그 명성에 맞게! 

엑셈이 지난 5월 매치업 프로그램의 인공지능(AI) 분야 교육기관으로 선정된 데 이어서

매치업 프로그램 빅데이터 분야 대표기관으로 선정되었다는 소식입니다.

 


Match業 프로그램, 들어보셨나요?

잘 모르시는 분들도 있을 것 같은데, 먼저 매치업 프로그램에 대해서 잠깐 설명 드릴게요~



(출처: http://knano.kr/about/)


이런 프로그램에 엑셈이 빅데이터 분야 대표기관으로 선정 되었다니, 정말 기쁜 소식이군요!

(다시 한번 말씀드리지만, 인공지능 분야에서는 엑셈이 직접 교육한다는!)


그래서 이번에는 지난 7월 13일 진행되었던 업무 협약(MOU) 체결식 현장을 전해드리려고 합니다!

먼저 행사에 참석해주신 분들을 모시고 대표이사실에서 환담회가 진행되었습니다.

훈훈한 분위기 속에서 담화를 나누고, 저희 엑셈의 이념인 '기술자의 길'에 대해서도 조종암 대표님께서 설명해주셨습니다.


모두 다 일어나서 국민의례를 함으로써 사업 체결식은 시작되었습니다.


엑셈에서는 조종암 대표이사님엑셈 아카데미 권건우 상무님, 경영기획본부 고평석 상무님께서 참석해 주셨고, 

교육부에서는 박춘란 교육부 차관님, 유지완 미래교육기획과 과장님께서,

국가평생교육진흥원에서는 권재현 기획경영관리처 처장님께서 참석해 주셨습니다.


이어서 박춘란 교육부 차관님과 엑셈의 조종암 대표이사님께서 축사를 해주셨는데요,

박춘란 교육부 차관님께서는 엑셈 아카데미의 이념인 지식 나눔을 언급하셨습니다.

엑셈이 매치업 프로그램에 아주 적합한 기업임을 알게 되어 다행이고, 

4차 산업 혁명 시대에 유연하게 대처할 수 있는 인재 양성 조건이 조성되기를 기대하신다고 당부하시며 

함께 배우면서 끝까지 함께 가자는 말씀을 해주셨습니다.


엑셈 조종암 대표이사님께서는 혁신과 성장을 강조하셨습니다. 

교육 세미나와 기술 컨텐츠 생산을 회사의 주요 전략으로 하여 직원과 기업의 성장을 도모해온 경험을 바탕으로

4차 산업 핵심 기업으로서 끊임 없는 혁신을 위한 지식 공유를 통해 실무형 인재를 양성하여

사회에 기여하는 선순환 구조를 만들어 나갈 것이라고 하시며 엑셈 아카데미가 어떤 역할인지를 다시 한 번 언급해 주셨습니다. 


다음으로 경영기획본부 고평석 상무님께서 엑셈에 대해서 소개를 해주셨는데요, 

사명 EXEM에 대한 의미와 경영방침, 연혁 및 제품 등 중요한 내용들을 잘 설명해 주셨습니다.


마지막으로 엑셈 아카데미 권건우 상무님께서 아카데미의 지식 프레임 워크에 대해 소개해 주셨습니다. 

엑셈 아카데미에서는 세미나 뿐만 아니라 서적 출판, 기술 만화 업로드 등도 하고 있지요.


엑셈 아카데미 바로가기


협약서에 서명한 뒤 기념촬영으로 행사는 마무리 되었는데요, 

대표기업 신청에서부터 협약식까지 모든 과정에서 준비해주시고 함께해주신 분들 정말 수고 많으셨습니다!



그리고 오후에는 이어서 교육 기관 사업설명회가 진행되었는데요,

국가평생교육진흥원 관계자분들을 포함하여 설명회 참가를 신청한 다수의 교육기관 관계자분들께서 자리를 채워 주셨습니다.

과연 어느 교육기관이 빅데이터 교육기관으로 선정될지 기대가 됩니다!



앞으로 인공지능 뿐만 아니라 빅데이터 분야에서도 더욱 진가를 발휘할 엑셈!

많은 기대와 응원 부탁 드릴게요~



기획 및 글 | 사업기획팀 박예영
이미지 디자인 | 디자인기획팀 김보명
현장사진 | 교육운영팀 홍성덕, 이주아


이벤트 | 맞춰봐요 엑셈 퀴즈! 빈칸 채우기 이벤트

유머/이벤트 2018.07.11 17:35



당첨자를 발표합니다^-^

황지원/남서현/유병인/기현식/최인수/이예연/구민정/박영민/이서정/김형웅


7월 이벤트에 참여해주셔서 감사합니다. 8월에 또 시원~한 이벤트로 만나요!





기획 및 글 | 사업기획팀 박예영

이미지 디자인 | 디자인기획팀 김보명











  • 이전 댓글 더보기
  • 2018.07.30 09:07 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 09:08 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 09:08 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 09:10 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 09:12 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 09:19 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 09:21 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 09:46 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 10:15 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 11:04 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 11:44 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 13:01 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.30 14:04 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.31 08:55 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.31 08:55 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.31 08:57 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.31 11:02 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.31 12:22 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 2018.07.31 14:44 ADDR 수정/삭제 답글

    비밀댓글입니다

  • 김병오 2018.08.01 13:06 신고 ADDR 수정/삭제 답글

    AI Edition,
    AI Consulting
    AI R&D
    입니다~

    김병오/010-4437-2894

    • Favicon of http://exem.tistory.com EXEM 2018.08.01 13:47 신고 수정/삭제

      비밀댓글로 참여 부탁드려용~

고평석의 '잘 하는 것들의 비밀' | 여섯 번째, 자빠졌을 때 일어날 수 있는가?



  영웅 들은 사람들을 휘어잡는다. 칭기즈칸은 겨우 10여 명의 인원만 남은 최악의 상황에서 몽골 제국을 건설했다. 윈스턴 처칠은 독일군의 맹폭 속에서도 두둑한 배짱을 담은 연설로 영국인들을 하나로 모은 후 2차 세계대전을 승리로 이끌었다. 스티브 잡스도 매번 신제품 발표때마다 전세계 수백 만명의 IT업계 종사자들의 마음을 뒤흔들었다. 보통 사람들의 고민은 한결 같다.



“나는 왜 저들처럼 강하지 못하고 나약할까?" 



힘이 강하고 항상 승승장구해서 영웅이라 불릴까? 이들은 오히려 많은 실패를 거듭했다. 그것을 딛고 일어서는 회복력이 남달라서 영웅이 되었다. 강력한 힘보다는 탄력적인 회복력이 우선이다. 특히 소프트웨어 기업과 업계 종사자들에게는 필요한 덕목이다. 소프트웨어 기업들은 실패 비용이 상대적으로 적다. 실패에서 배우고 바로 다음 단계로 넘어가는 게 중요하다. 그 대표적인 기업과 기업인들이 바로 유튜브와 그 창업자들이다.


“초창기에 유튜브는 ‘튠 인 훅 업(Tune In Hook Up)’이라는 영상 데이트 사이트였다. 이 사이트는 실패했지만 아카이브(Archive.org)에 가보면 아직 그 유령이 살고 있다. 초창기 유튜브닷컴을 캡처한 것을 보면 ‘나는 18세에서 99세 사이의 남성/여성/모두를 찾는 남성/여성입니다.’라는 메뉴도 있다.” 


(책 ‘더 빨라진 미래의 생존 원칙 나인(9)’, 조이 이토, 제프 하우 저)



하지만 이 영상 데이터 서비스는 인기가 없었다. 이 때 유튜브 창업자들은 인터넷에 필요한 것이 영상 콘텐츠를 쉽게 공유할 방법임을 금세 깨닫게 된다. 널리 회자되던 몇몇 동영상들을 아무리 찾으려고 해도 검색할 수 없는 경험을 했기 때문이다.



“채드 헐리와 스티브 첸, 자베드 카림은 2005년 2월 14일 유튜브닷컴을 등록하고 그해 4월 사이트를 출범시켰다. 카림은 사이트에 업로드한 첫 번째 영상에 출연하는데, 23초짜리 이 영상에서 그는 샌디에이고 동물원의 코끼리 울타리 앞에 서 있다. 2006년 10월 세 사람은 자신들의 작품을 17억 달러에 구글로 팔았다.” 


(책 ‘더 빨라진 미래의 생존 원칙 나인(9)’, 조이 이토, 제프 하우 저)



유튜브 창업자들이 견고함과 강력함을 고집했다면, 오히려 별 볼일 없는 영상 데이트 서비스 운영자에 그쳤을 것이다. 이들은 회복력이 상당했다. 잃을 것이 없다고 생각했다. 시대의 바람을 반영했다. 이런 회복력은 평범한 기업을 위대한 기업으로, 보통의 사람을 영웅으로 변신시켜 준다. 


무언가 지금 어려움을 겪고 있다면, 나약함을 고민하거나 강력하기를 바라지 말고 회복할 방안을 고민해 보면 어떨까?







편집 | 사업기획팀 박예영

BigData만화| 빅 앤 데이라