세상은 많은 데이터를 갖게 될 수록 더 많은 것을 원하고 있습니다. 지구에서 달까지 거리와 맞먹는 데이터 용량이 추가되고 분석 기술에 대한 요구가 더욱 강렬해지면서, 플랫폼이 데이터를 공유하고 활용할 수 있도록 만들어져야 한다는 컨셉이 생겼습니다. 오늘 인터뷰 주인공은 빅데이터 플랫폼 '플라밍고'의 개발자이자, 오픈소스 전문가 중 한 분으로 손꼽히는 김병곤 클라우다인 대표님 입니다.
Q: 소개
아마 자바 개발을 하는 분들이라면 저를 아실 수도 있을 것 같습니다. 한국자바개발자 협의회(자바 커뮤니티)에서 꽤 오랫동안 총괄 운영을 맡아 일을 해왔습니다. 오픈소스 쪽에 몸을 담고 있는 개발자라고 소개해드리고 싶고, 대표이사 보다는 커뮤니티 개발자로 봐주셨으면 합니다. 자바 커뮤니티는 개발자들 사이에서 꽤 규모 있는 커뮤니티 연합이라, 회장직을 역임하면서 홍보가 많이 되기도 했습니다. 제 나름대로는 빅데이터 발전을 위해 많은 노력을 해왔다고 생각하고 있습니다.(웃음)
* 한국자바개발자 협의회(JCO, Java Community.Org): 16년의 역사를 지닌 한국의 대표 개발자 커뮤니티 연합. 여러 자바 커뮤니티 운영자들이 모여 개발자 사회에 의미 있는 활동을 하기 위해 만든 비영리 단체
Q: 자바 커뮤니티(JCO) 그리고 컨퍼런스
처음 객체 기술을 다루는 연구소에서 책을 집필한 계기로 커뮤니티를 만들게 되었고, 이후 오픈소스 솔루션 개발 업체를 창업하면서 오픈소스 커뮤니티로 이어졌습니다. 제가 원래 생각이 많고, 소심한 편이에요.(웃음) 남 앞에 나서서 말을 잘 못하는데, 커뮤니티를 하면서 성향이 많이 바뀌었습니다. JCO는 '한국자바개발자 컨퍼런스'라고 해서 매년 대규모 컨퍼런스를 개최하고 있습니다. 자바관련 최신기술이 공유되는 자리에 보통 3-4천명의 개발자들이 오는데, 제가 행사 기획부터 홍보, 스폰서 섭외 등 행사 전반을 준비하고 사람들을 모으면서 리더쉽을 발휘해야 했어요. 그러면서 제 본연의 성격들에 영향을 주지 않았나 생각합니다.
Q: 빅데이터의 매력
빅데이터는 종합예술에 가깝습니다. 빅데이터 시스템을 구축하기 위해 개발, 운영, 수집, 분석, 데이터 처리 등 전체 시스템 아키텍처를 다룰 수 있어야 하기 때문에 해야 할 것도 많고 굉장히 어렵습니다. 이런 부분이 호기심 많은 저 같은 엔지니어에겐 오히려 매력으로 다가옵니다. 기존과 전혀 다른 세상에서 빅데이터 라는 거대한 산을 넘고 있습니다. 다만 이 분야는 내가 가야 할 길이 명확하지 않으면 적응이 굉장히 힘들어요. 고민이 많았던 부분입니다. 빅데이터 자체가 오픈소스를 위한 시장이기 때문에, 오픈소스를 하면서 자신의 커리어를 관리하고 스스로 동기부여 해야만 합니다. 후배들에게도 지속적으로 이야기 하고 있습니다.
Q: K-ICT 빅데이터센터 2주년 기념 세미나 미래창조과학부 장관상 수상, 수상소감
공교롭게도 두 번 상을 받게 되었습니다. 먼저는 자바 커뮤니티를 운영하면서 커뮤니티 활성화에 기여한 공로를 인정받아 수상을 했고, 이번에는 빅데이터 생태계(오픈SW 분야)에 기여한 공을 인정받았습니다. 감사하면서도 책임감이 많이 따릅니다. 앞으로 할 일이 더 많겠지만, 좀 더 노력해서 오픈소스가 더 많이 활용될 수 있도록 하는 게 제 임무인 것 같습니다.
Q: 빅데이터 플랫폼, '플라밍고'
플라밍고는 아파치 하둡 에코시스템을 기반으로, 다양한 데이터를 실시간 수집해서 빅데이터 기술을 활용해 분석 가능한 플랫폼입니다. 플라밍고는 6-7년 전부터 수많은 공공기관이나 기업에서 쌓아온 현장 노하우와 아이디어를 녹인 프로젝트이자 제품명입니다. 상용SW의 여러 가지 문제점들을 경험하면서 직접 툴을 만들고자 결심했고, 개발 기간만 3년 이상이었기 때문에 상당히 유서 깊은 툴이라고 볼 수 있습니다. 2011년에 클라우다인을 설립 후 1.0 버전을 2014년에 선보였습니다. 저희가 지향했던 부분도 빅데이터를 다루는 사람들에게 개발과 운영의 통합 관리가 가능해 '이거 하나면 되겠다' 라는 인식을 주는 것이었습니다. 지난 6월, 2.0버전을 출시하고 다각적으로 고객 요구를 수용함에 따라 UI를 재구성하는 등, 사용자 편의성이 개선되었습니다. 최근에는 어떻게 하둡을 이용해서 빅데이터 분석을 할 것인가를 두고 기업 간 경쟁력이 달라질 것으로 보입니다. IoT에서 빅데이터를 통합하면서 데이터 분석을 통합할 수 있는 플랫폼 SW로 발전시킬 예정입니다.
Q: 경쟁제품 대비 '플라밍고' 만의 경쟁력
우선 플라밍고는 오픈소스 기반이기 때문에 상용SW와는 경쟁하지 않습니다. 그 이유는 상용SW는 결코 오픈SW 퍼포먼스를 따라갈 수 없기 때문입니다. 여기서 말하는 퍼포먼스는 개발 속도 입니다. 오픈소스는 굉장히 빨리 진화하고 빅데이터는 결국 하둡의 급변하는 기술을 얼마나 빨리 따라가 지원하느냐가 경쟁력의 관건입니다. 거기다 대기업이 사업자라고 하면 직접 개발이 아닌 용역의 형태가 되기 때문에 아무래도 오너십의 문제가 있을 수 있습니다. 저희 같은 경우 고객을 직접 만나서 요구 사항을 수용하기 때문에 속도가 빠르고 제품의 완성도가 높은 편입니다.
오픈SW와 경쟁에서 다른 빅데이터 플랫폼들은 플라밍고와 제품 컨셉이 다릅니다. 대개는 개발자를 위한 도구에 가깝습니다. 개발자들이 쓰기에는 좋지만, 이 툴을 가지고 통합 운영을 한다거나 고객에게 서비스를 제공한다고 하면 문제가 있을 수 있습니다. 플라밍고는 처음부터 지향점이 다릅니다. 개발자, 분석자, 운영자 즉, 어느 사용자가 사용하더라도 자유롭게 데이터를 공유하고 활용할 수 있도록 개발되어 동일 환경에서 통합 운영이 가능합니다. 얼핏 봐서는 유사해 보이지만 실제 툴을 사용하시는 분들은 컨셉이 많이 다름을 인식합니다.
또한 자바로 만들어져서 접근성이 좋습니다. 외산은 대부분 국내에서 안 쓰는 언어들을 사용하다 보니 수정이 용이하지 않습니다. 그런 구조 때문에 현업 요구사항이 수용되기 어려운 현실이구요. 실제 사용자가 직접 경험해 보고 다시 플라밍고를 찾은 사례도 있었습니다.
Q: 빅데이터 플랫폼 구축사례
공공 분야는 '한국정보화진흥원', 민간 분야는 '삼성'이 대표적입니다. 제시한 두 곳은 플라밍고의 사용자가 많기 때문에 신속하게 제품 검증을 받을 수 있는 사이트 입니다. 대용량 데이터를 취급하는 회사는 많지만 비용이 많이 드는 문제를 해결하기 위해 하둡으로 전환이 이루어지고 있고, 앞으로 빅데이터는 점점 더 늘 수 밖에 없는 상황입니다.
흔히들 빅데이터 분석이라 하면 하둡만 설치하면 끝났다고 생각하지만 제가 봤을 땐 전혀 그렇지 않습니다. 툴만 깔았다고 자유롭게 분석할 수 있는 건 아니거든요. 쿼리로 못하는 분석도 많습니다. 플랫폼 SW는 데이터를 공유 분석할 수 있는 환경을 제공하는 SW입니다. 막상 분석을 위해 고객사에 들어가 보면 분석이 아니라 플랫폼을 구축하는데 2/3 이상의 시간을 소요하고 있습니다. 그럼 분석은 언제 할래? 가 되는 거죠. 플라밍고 같은 SW의 가치는 바로 이겁니다. 빅데이터를 한다고 했을 때 바로 분석부터 시작할 수 있게 해줍니다. 실제 이걸 구현하기 위해 많은 회사들이 빅데이터 플랫폼을 시도하지만 포기하는 업체들이 속속 나오고 있습니다. 그만큼 쉽게 만들어지기 어렵다는 것을 시사합니다. 더구나 앞서 말한 바와 같이 오픈소스의 개발 속도를 따라가기 또한 여간 쉽지 않습니다.
저희 같은 경우 현장에서 고객들을 만나면서 고객의 요구사항을 듣고 선행연구를 시작합니다. 어느 정도 연구 사례가 모아지면 개발을 진행하죠. 그게 수시로 이루어 지는 게 특징입니다. 자꾸 만들어 봐야 좋은 제품이 나옵니다. 그래서 오픈소스 개발자들은 언제 어디서나 새로운 아이디어를 가지고 제품을 만들 수 있도록 자유로운 환경이 주어져야 합니다. 외산은 대규모 기술투자를 통해 개발이 이루어지고 있지만 국내는 현실적으로 이 부분이 어렵기 때문에 서비스로 살아남아야 합니다. 제가 SW 마에스트로를 하고 있는데, 멘티들이 만드는 걸 보면 기술적으로 단순한 주제를 가지고 접근했다가, 결국 그걸 서비스화 시켜서 넘어가는 걸 많이 봅니다. 결국 오픈 소스도 서비스로 표출되는 게 중요하다고 보고 있습니다. 결국 오픈소스의 마지막 종착지는 서비스가 아닐까요.
* SW 마에스트로(SW Maestro): SW 분야 인재 육성을 위한 국가지원 프로젝트, 전문가의 도제식 교육을 통해 단계별 프로젝트를 수행하면서 노하우를 직접 전수 받을 수 있는 프로그램
Q: 엑셈관계사와 시너지 기대
엑셈 연합군은 데이터를 다루는데 전문적인 인프라 플랫폼 SW 개발사들입니다. 그렇기에 각 기업마다 많은 경험을 지닌 전문 엔지니어가 많고, 다수의 레퍼런스를 보유하고 있습니다. 사람과 기술이 모여 빅데이터의 무언가를 한다고 하면 분명 시너지가 굉장할 것입니다. 어차피 빅데이터 라고 하면 어느 한 기업이 해답을 제시할 수 없습니다. 빅데이터 생태계에서는 어떤 업체들과 손을 잡고 파트너쉽을 구축하는 가가 중요하다고 생각합니다. 다만 빅데이터 시장 자체가 특화된 형태로 운영되다 보니, 빅데이터 플랫폼 SW를 딜리버리 할 때 개별 제품들을 어떻게 통합할 것인가, 그리하여 고객들에게 어떤 가치를 제공할까를 신속하게 고민해야 합니다. 현재 빅데이터는 춘추전국시대로, 혼란스러운 시장 속에서 리딩하는 팀이 될 수 있길 기대해 봅니다.
Q: 연합군 솔루션들 내에서 플라밍고의 역할
빅데이터는 종합 패키지와 같이, 각각의 영역들이 조금씩 다 필요합니다. 그렇기에 어쩔 수 없이 이를 아우르는 SW가 필요합니다. 플라밍고는 백엔드 영역보다 통합에 집중하고 있기에 관계사들의 솔루션을 한 데 모으는 기능을 할 수 있습니다. 각 솔루션들을 패키지 SW로 통합하는 형태로 가져가면, 딜리버리 할 때 협력사가 같이 들어갈 수 있는 구조가 됩니다. 그리고 엔니지니어가 강한 조직이다 보니 고객사에서 신뢰할 수 있는 서비스 제공이 가능할 것으로 봅니다.
Q: 보안
솔직히 고민입니다. 보안이 여러 종류가 있는데, 하둡 영역의 보안은 꽤 오래 전부터 시도했지만 여전히 풀기 어려운 숙제 입니다. 외산 중에 리눅스에 파일 시스템 보안을 적용해서 하둡에서 일어나는 일들을 리눅스 커널 레벨에서 보면서 암호화 하는데, 전통적인 암호화 솔루션에 적용하는 기술이 과연 적합한 방식일까. 그렇지 않다면 하둡 운영 프로그램 레벨에서 할 것 인가. 어려운 문제입니다. 인프라 측면에서는 가능하지만, UI 통합이 어려운 거죠. 이게 또 플랫폼 레벨에서 사용자 편의성 측면(UI)과 연결되면 암호화 프로그램이 유기적으로 동작하기 힘들 수 있습니다. UI, 시스템 레벨부터 응용프로그램 레벨까지 쉽게 쓸 수 있는 통합된 툴이 필요합니다. 보안 쪽은 좀 더 지켜봐야 할 상황입니다. 인도에서 만든 특화된 솔루션이 있긴 한데, 사실 초기 버전이라 완성도는 떨어져요. 그럼에도 불구하고 니즈가 크게 있습니다. 저희는 플라밍고와 쉽게 통합되면서 저희의 권한 체계를 암호화 레벨까지 끌고 갈 수 있는 솔루션이 나오면 강력하다고 봅니다.
Q: 대표님의 꿈
개발자라면, 내가 만든 SW가 널리 인정받고 사람들이 애용해 준다면 그것만큼 좋을 게 있을까요. 시행착오를 두려워하지 않고 사용자가 원하는 툴을 지속해서 만들어 가고 싶습니다.
Q: 마지막으로 하둡의 동물 이름, 그리고 "플라밍고"
하둡의 부족한 기능을 서로 보완하는 '하둡 에코시스템'에서, 하둡과 연동해 사용할 수 있는 제품들이 대부분 동물이름과 관련이 있어요. 아마 하둡이 노란 코끼리 인형을 아이콘으로 사용했기 때문에 동물 시리즈가 탄생하지 않았나 봅니다. 피그(Pig, 돼지), 하이브(Hive, 벌떼), 주키퍼(Zookeeper, 사육사) 등. 저희는 플라밍고(Flamingo, 홍학)를 고민할 때 서울대공원에 갔어요.(웃음) 플라밍고가 떼를 지어 다니는데 마치 데이터가 흐르는 느낌이었다고 할까요. 빅데이터 자체가 다소 딱딱한 느낌이라 이름을 통해 부드러운 이미지를 주고 싶었고, 플라밍고를 보는 느낌처럼 화려한 UI 를 중심으로 개발자의 편의성을 고려해주고 싶었습니다. 이름이 강해서인지 많은 분들이 기억을 해주셔서 만족합니다. 앞으로 플라밍고가 더 많이 각인될 수 있도록 노력하겠습니다.
'엑셈 기업문화 > 엑셈 사람들' 카테고리의 다른 글
| 엑셈사람들| 알면 알수록 R찬 남자, 빅데이터플랫폼팀 문병준 과장을 만나다. (6) | 2016.02.23 |
|---|---|
| 엑셈사람들| 행복 경영, 행복한 CEO, 엑셈 조종암 대표를 만나다. (5) | 2016.02.02 |
| 엑셈사람들| 제품의 비주얼 담당, 클라이언트팀 권병락 수석 개발자를 만나다. (6) | 2015.10.28 |
| 엑셈사람들| 인메모리 DBMS 시장의 초석, 선재소프트 김기완 대표를 만나다. (8) | 2015.10.06 |
| 엑셈사람들| APM신규 시장 확대 그 중심에 선, 오명훈 부장을 만나다 (8) | 2015.08.13 |
댓글