구글이 개발해 오픈소스로 내놓은 데이터 주도 프로그래밍 모델 ‘빔’이 아파치소프트웨어재단의 톱레벨 프로젝트로 승격됐다.

​

아파치 빔은 실시간, 배치 등의 데이터 처리 엔진을 단일 프로그래밍 모델로 처리할 수 있게 하는 프레임워크다.

​

스파크, 스톰, 에이펙스, 플링크 등의 실시간 데이터처리 엔진과 변환 함수, 연산 엔진, 소스, 타깃 등의 구성요소로 이뤄지는 데이터파이프라인을 추상화해 만들고, 어떤 엔진에서든 이동시켜 활용할 수 있게 한다.

빅데이터 처리 엔진은 저마다 다른 API를 사용하므로, 통합적인 활용이 어렵다. 예를 들어 아파치 스파크로 만들어놓은 데이터 분석 환경에서 엔진을 플링크로 변경하려면 기존의 데이터 활용 방식은 쓸 수 없다. 하둡 기반의 배치 분석 환경은 실시간 스트리밍 분석 환경과 병렬로 따로 운영해야 한다.

​

아파치 빔은 배치나 실시간성에 상관없이 여러 데이터 엔진을 단일한 API로 쓰게 하고, 단일 코드와 클러스터를 기반으로 운영하게 함으로써 개발자의 생산성을 높여준다.

​

아파치 빔은 그간 구글의 빅데이터 분야 오픈소스 전략에 중대한 변화를 보여준다는 점에서 주목된다.

​

구글은 그동안 내부에서 개발한 인프라 기술을 오픈소스로 내놓기보다, 기술논문 형태로 개념만 공개했었다. 오픈소스 진영의 개발자들은 구글의 논문을 참고해 직접 소프트웨어를 구현했다. 대표적인 게 하둡 생태계다.

​

아파치 빔은 애초부터 오픈소스로 공개됐다는 점에서 이전과 전혀 다른 발전방식을 취한다. 구글도 내부 인력에 의존하는 개발로...(기사더보기)