“하둡 코어인 하둡분산파일시스템(HDFS), 얀(YARN), 맵리듀스는 모두 각기 경쟁자를 갖고 있다. 최초의 하둡 코어 3개가 더 이상 쓰이지 않는다해도 하둡이란 이름은 영원히 남을 것이다. 콤포넌트가 대체되더라도 실패 아니다.”

​

하둡 창시자인 더그 커팅 클라우데라 최고아키텍트는 14일 방한해 가진 기자간담회에서 이같이 말했다.

​

그는 점차 하둡의 코어 요소인 HDFS, 얀, 맵리듀스 등을 위협하는 대체재의 등장에 대해 환영한다는 뜻을 밝혔다. 현재 파일시스템인 HDFS는 쿠두와, 리소스 스케줄러인 얀은 메소스와, 맵리듀스는 스파크와 경쟁하고 있다.

​

그는 하둡의 기본 설계 철학인 모듈러 아키텍처에 큰 의미를 부여했다.

​

그는 “하둡은 일반적인 운영체제보다 더 모듈화된 설계를 갖는다”며 “코어 요소 세개가 대체된다는 건 모듈 방식 오픈소스가 성공적이었다는 걸 뜻한다”며 “모듈 아키텍처를 진전시키는데 기여했기에 더 성공이라 생각한다”고 설명했다.

더그 커팅 클라우데라 최고아키텍트

​

2000년대 초반 더그 커팅은 웹검색 프로젝트인 넛치를 개발하던 중 구글에서 발표된 구글파일시스템(GFS) 논문을 접했다. 구글의 논문을 오픈소스 기술로 구현한 하둡이 2006년 세상에 첫선을 보이게 된다.

​

그는 “하둡은 저렴한 하드웨어로 전보다 더 방대한 양의 데이터를 많은 사람이 활용할 수 있게 했다”며 “개인적으로 트위터, 링크드인 같은 웹서비스에 적용된 게 끝이라고 생각했는데, 엔터프라이즈에도 적용 가능하다고 판단한 사람들이 클라우데라를 창업했다”고 말했다.

​

그는 이어 “나는 2008년 당시만해도 엔터프라이즈가 오픈소스를 쓸거라 생각하지 않아 클라우데라 합류를 거절했다”며 “그러나 1년 뒤인 2009년 클라우데라에 합류했고, 엔터프라이즈도 하둡 기술을 도입할 준비가 돼 있다는 창업자들의 비전이 옳았다는 걸 느꼈다”고 덧붙였다.

​

하둡은 2011년 2.0 버전 공개 이후 큰 변화를 겪고 있다. HDFS와 맵리듀스를 반드시 사용해야 했던 것에서, 사용자가 각 요소를 다른 대체기술로 바꿀 수 있게 된 것이다. 수많은 하둡 생태계 프로젝트는 맵리듀스 대신 스파크, 타조 같은 새로운 데이터처리엔진을 쓸 수 있게 지원한다. 파일시스템도 굳이 HDFS를 쓰지 않고 또다른 분산파일시스템을 택해도 된다. 이에 하둡 코어가 사라지는 것 아니냐는 전망도 나오는 상황이다.

​

더그 커팅의 발언은 이 같은 상황에 대한 언급이다. 오늘날 나오는 새로운 대체 기술은 향후에도 하둡 생태계에서 살아갈 것이란 의미로 읽힌다. 이같은 의미에서 그는 기업에서 빅데이터를 고려할 때 당연히 하둡에서 시작하게 됐다는 점을 강조한다.

​

그는 ‘하둡과 클라우데라는 트렌드’라고 밝혔다. 모든 기업이 디지털 중심으로 변모하는 가운데 하둡과 빅데이터를 당연하게 쓴다는 얘기다.

​

그는 “비즈니스를 디지털로 전환하는 작업이 업계를 불문하고 광범위하게 퍼졌다”며 “뱅킹, 보험, 헬스케어, 제조, 리테일, 정부, 농업 등 어디서나 비즈니스에서 데이터가 중심을 이루고 있다”고 강조했다.

​

그는 하둡의 빠른 진화 속도도 언급했다.

​

그는 “SQL, 머신러닝, 스트리밍 애널리틱스 등 다양한 기능으로 확장되고 있다”며 “하둡은 아주 빠르게 진화하고 있어서, 매년 플랫폼이 근본적인 변화를 겪으면서 이전보다 더 빠르게 변화하고 있다”고 말했다.

​

이미 트렌드를 이룬 하둡, 그리고 그 하둡이 변화를 멈추지 않는다는 점에서 하둡의 생명력에 자신감을 보인 것이다.

​

그는 “비즈니스에선 지속적으로 데이터로 더 많은 가치를 창출할 것이고, 오픈소스 기술 플랫폼도 계속 진화를 거듭해 비즈니스에 더 많은 가치 제공할 것”이라며 “비즈니스와 오픈소스가 서로 도움을 주는 선순환구조가 만들어져, IT업계에 전례없는 좋은 시기를 겪고 있다”고 말했다.

​

그는 인텔과 협력에 대해서도 긍정적인 발언을 내놨다. 작년 인텔에서 선보인 ‘3D 크로스포인트’ 기술도 언급했다.

​

그는 “인텔과 협업 프로젝트를 진행함으로써 하둡의 소프트웨어 스택이 인텔 등의 CPU 하드웨어에서 더 많은 혜택을 받게 되고 있다”며 “암호화 최적화의 경우 인텔의 지원을 통해 하둡 데이터 전체 암호화에도 1~2% 수준의 성능저하만 나타나게 됐다”고 설명했다.

​

이어 “인텔 3D크로스포인트는 D램만큼 빠르면서 SSD만큼 저렴한 새로운 저장매체 기술”이라며 “인메모리 처리가 가능하고, 액세스 속도도 높아지며, IO처리와 연산 속도도 높아지므로 다양한 데이터에서 혜택을 볼 것이라 생각한다”고 덧붙였다.

​

3D크로스포인트는 인텔에서 선보인 새로운 비휘발성 메모리 기술로 스토리지와 시스템 메모리 양쪽에서 모두 쓰일 수 있다. 현존 기술보다 더 많은 용량을 더 빠르게 저장, 처리하면서, 수명은 낸드플래시보다 길다. 클라우데라는 자체 분산파일시스템인 쿠두를 인텔 3D크로스포인트에 최적화되게 설계했다.

​

더그 커팅은 현재 프로그래밍에서 손을 뗀 상태다. 현재의 관심사는 개발자의 윤리라고 밝혔다.

​

그는 “프라이버시, 사용자 신뢰 구축이 앞으로 과제라 생각한다”며 “정부나 법령은 윤리강령을 가졌지만, 컴퓨터 분야에선 윤리라는 게 아직 자리잡지 않아 시급히 노력해야 한다”고 말했다.

​

이어 “이제 데이터베이스 기술에 주력하기보다, 윤리 이슈를 강조하고 화두로 만드는 게 나의 역할이라 여긴다”고 덧붙였다.

원문출처 : http://www.zdnet.co.kr/news/news_view.asp?artice_id=20160414155724

김우용 기자 (yong2@zdnet.co.kr)

저작권자 © ZDNet Korea 무단전재-재배포 금지