클라우드에서의 ‘애널리틱스’, 주요 문제와 극복 방법

가트너가 밝힌 2021년의 10가지 상위 데이터 및 애널리틱스 기술 트렌드 중 하나는 개방적이고 컨테이너화 된 분석 아키텍처의 활용이다. 이를 통해 기업들은 데이터 분석가들이 인사이트를 조치와 연계시키는 데 유용한 정보 애플리케이션을 신속하게 생성할 수 있다고 해당 조사 기업이 밝혔다.

가트너는 “데이터의 무게 중심이 클라우드로 이동하면서 구성 가능한 데이터와 분석(composable data and analytics )이 분석 애플리케이션을 구축하는 더욱 탄력적인 방법이 될 것이다”고 밝혔다.

실제로 클라우드는 데이터 분석을 새로운 수준으로 발전시킬 수 있다는 평가다. 서비스 기업 LEAP(Loveurope and Partners)의 시스템 및 기술 책임자 아이단 타웁은 “클라우드는 연산력이 많이 필요한 워크로드에 필요한 확장성을 가능하게 한다”라고 말했다.

타웁이 “전 세계가 모든 것을 계속해서 디지털화 하면서 조직들은 기하급수적인 규모로 파일 데이터를 구축할 수 있어야 하는 상황이다. 우리가 LEAP에서 처리하는 비디오, 이미지, 오디오 등의 구조화되지 않은 데이터가 많으면 다음 작업이 얼마나 클지 예상할 수 없다. 전통적인 분석은 클라우드처럼 확장되지 않는다”라고 말했다.

하지만 클라우드를 통한 분석은 전통적인 방식으로 일괄 분석을 내부적으로 수행하는 것과 비교하여 접근방식, 스킬, 아키텍처, 경제가 달라야 한다. 그리고 이 모든 변화로 인해 극복해야 할 장애물이 발생한다. 기업 직면할 수 있는 문제와 클라우드를 통한 데이터 분석으로 전향하면서 해결할 수 있는 방법에 관해 알아본다.

통제력 상실의 두려움 – 그리고 무지
데이터 분석은 기업에게 있어 매우 전략적 요소다. 분석 프로세스를 클라우드로 이전하는 것은 이런 리소스를 완벽하게 통제하는 것에 익숙해져 있는 기술 리더에게 벅찰 수 있다.

클라이언트 기반 분석으로의 전향을 진행 중인 여러 고위 IT 임원들과 협력했던 딜로이트 컨설팅(Deloitte Consulting)의 고급 분석 지원 리더 수석인 앤서니 아바티스타는 “고객들이 직면하고 있는 주요 문제 중 하나는 조직적 관성/통제력 상실에 대한 두려움이다”라고 말했다. 아바티스타는 “IT와 CIO의 전통적인 역할은 데이터 자산을 보호하고 수호하는 것이었다”라고 덧붙였다. 

기업에 따라서는 클라우드의 특성이 기존의 관행에 부담이 될 수 있다. 제품 선택 및 평가가 더 제한되고 프로비저닝을 마우스로 할 수 있으며, 대대적인 점진적 자본 지출이 필요 없는 등의 성격이 기존 관행과 배치되기 때문이다. 

아바티스타는 “CDO(Chief Data Officer)와 CIO는 협력하여 클라우드 플랫폼에 익숙해져야 최소한 경쟁자들만큼 비즈니스 가치와 경쟁 우위를 확보하도록 도울 수 있다. 이를 위해 처음부터 분석 환경을 설계하는 대신에 시장에서 용인 가능하고 입증된 새로운 모델을 도입해야 할 수도 있다”라고 말했다.

많은 조직들이 기존 분석 프로세스의 경직성 때문에 새로운 분석 역량 탐구의 속도가 느리다고 보험 제공사 WAEPA(Worldwide Assurance for Employees of Public Agencies)의 CIO 브랜든 존스가 말했다. 그는 “이로 인해 새로운 역량을 시도하고 혁신을 유도해야 할 유인과 이니셔티브가 감소한다”라고 말했다.

이를 극복하기 위해 WAEPA의 IT 부서는 클라우드 기반 샌드박스(Sandbox) 환경을 이용해 시행착오 관념화 프로세스를 수립하고 주요 이해관계자들의 주요 성과 지표를 이용하며 프로토타입 우선적인 분석 환경을 완성했다. 

변화하기
통제력 상실에 대한 두려움을 극복하는 것 외에 IT 리더는 실질적인 클라우드로의 전향에 대응하고 서비스 중단이 없도록 해야 한다.

타웁은 “위험하다. 많은 IT 리더들에게 있어 특히 어려운 일이 클라우드로 가는 길을 찾는 것이다. 하지만 적절한 솔루션을 선택한다면 반드시 그렇지만은 않다”라고 말했다.

데이터 분석을 클라우드로 마이그레이션할 때, IT 리더는 많은 경우에 기존의 운영 활동을 클라우드로 포팅 하는 이른바 ‘들어서 옮기기’ 접근방식을 취한다고 타웁이 말했다. 그는 “이로 인해 애플리케이션과 시스템을 변경하여 클라우드에 맞춰 재구성해야 하는 경우가 많다”라고 덧붙였다. 

2019년 구형 데이터 인프라 재정비의 일환으로 LEAP는 큐물로(Qumulo)의 분석 플랫폼을 사용하여 엄청난 양의 구조화되지 않은 파일 데이터를 클라우드로 마이그레이션했다. LEAP의 파일 데이터는 일련의 이질적인 구형 스토리지 시스템에 분산되어 있었으며 워크플로 중 데이터 관리자가 위치가 다른 데이터를 관리하고 찾는 것이 매우 노동 집약적인 일이었다. 

타웁은 “다행히도 큐물로는 우리가 클라우드에 맞게 애플리케이션을 재구성하지 않고 모든 데이터를 이동할 수 있도록 도왔다. 여러 환경에서 쉽게 데이터를 복제하고 추출할 수 있는 [도구를] 찾는 것이 좋다”고 말했다. 

이 변화를 통해 해당 기업은 데이터 분석을 최적화하고 성과를 최대 240배나 높일 수 있었다. 이제 LEAP는 분석을 통해 얼마나 많은 고객들이 연결되어 있고 누가 가장 많은 대역폭을 사용하며 시스템의 어느 부분이 빠르게 성장하고 있는지 파악할 수 있다. 

타웁은 “창의적인 워크플로우의 성공은 클라우드를 통한 데이터 분석에 액세스하는 능력에 달려 있다. 우리에게는 재택으로 근무하는 수백 명의 예술가, 디자이너, 모션 그래픽 편집자들로 구성된 글로벌 네트워크가 있다. 창의적인 프로젝트를 위해 효율적이며 안전하게 협업하려면 클라우드를 이용해야 한다. 클라우드 기반 데이터 분석이 없다면 우리의 생산 프로세스가 중단될 것이다”라고 말했다.

적절한 역량 확보하기
IT 이니셔티브 성패는 역량 확보에 달려 있는 경우가 많다. 애널리틱스를 클라우드로 이전하는 것도 예외는 아니다.

딜로이트 컨설팅은 요구되는 스킬이 변화하고 있음을 감지하고 있다. 아바티스타는 “전문가가 전통적인 분석/BI(Business Intelligence)의 기술 스택의 각 부분을 지원하기보다는 클라우드 분석 환경에서 더 많은 ‘풀 스택(Full Stack)’ 사고방식을 요구한다”라고 말했다.

그는 “이 문제를 해결하기 위해 이 새로운 시대의 환경을 지원하는 기술팀은 새로운 기법, 도구, 제품을 사용할 수 있게 되면서 클라우드 플랫폼에서의 제품을 이해하고 표준 패턴을 도입하고 발전해야 한다”라고 덧붙였다. 

클라우드 환경에서 자체 분석 플랫폼을 구축하거나 벤더 시스템에 의존하기로 결정한 기업들은 구체적인 자체 기술 전문지식이 있어야 할 것이라고 조쉬 주웨트가 말했다. 그는 최근 소매 기업 달러 트리(Dollar Tree)의 CIO직에서 물러났다.

여기에는 데이터 레이크(Data Lake)로부터 분석을 생성하고 유지하고 파생시키는 스킬과 클라우드 네이티브 또는 제3자 인공지능 및 머신러닝 역량을 도입하여 환경에서 추가적인 인사이트를 얻는 최선의 방법이 포함된다고 주웨트가 말했다.

주웨트는 “이런 단점은 숙련된 파트너와 컨설턴트를 통해 극복할 수 있다”라고 말했다. 이상적인 방식은 외부의 전문가로부터 경험을 얻어 계약 만료 시 회사가 전문지식을 처리하여 필요에 따라 클라우드 기반 분석을 발전시키는 것이라고 그가 말했다.

달러 트리에서 주웨트는 회사가 데이터 분석을 포함하여 많은 시스템을 현대화하도록 도왔다. 그는 “다른 여러 소매 기업들과 마찬가지로 우리 회사는 하이브리드 전략을 도입했다”라고 말했다. 중요한 비즈니스 기능을 위한 구체적인 분석 역량을 제공해야 하기 때문에 서비스형 소프트웨어 플랫폼을 배치했다.

주웨트는 “그 예로 재고 생산성, 가격 설정 최적화, 손실 방지 완화, 인재 획득 및 성과 관리 등을 위한 도구가 있다”라고 말했다. 또한 해당 기업은 클라우드의 유연성, 확장성, 시장 출시 속도 이점을 누리기 위해 클라우드 환경에서 자체 분석 애플리케이션 중 일부를 개발했다.

데이터 보호
클라우드 서비스 제공자가 인프라의 보안을 아무리 강조해도 많은 고객들이 항상 클라우드에서 자신의 데이터가 실제로 얼마나 중요한지 걱정하고 있다. 데이터 분석을 통해 얻은 인사이트는 경쟁 차별화 요소가 될 수 있기 때문에 분석의 경우 더욱 그렇다. 또한 고객 정보 등의 매우 민감한 데이터를 노출시키는 것에 대한 우려도 있다.

타웁은 “보안이 회사의 중요한 데이터를 사설 데이터센터 밖으로 이동할 때 가장 중요하다. LEAP는 프리랜서 인재 등의 근로자로 구성된 글로벌 네트워크를 활용하기 때문에 내부 및 외부 사용자들이 액세스하는 클라우드에서 데이터를 보호해야 했다”라고 말했다.

가장 큰 보안 문제는 클라우드 애플리케이션과 데이터에 대한 액세스를 통제하는 것이다. 소프트웨어 제공기업 프리사이즐리(Precisely)의 CDIO 에이미 오코너는 “누군가 클라우드 애플리케이션을 편리하게 사용할 수 있는 경우 문제도 발생하며, 그 중 상당수는 사람들이 보안, 프라이버시, 경제적 우려를 발생시킬 수 있다는 사실에 기초한다”라고 말했다.

오코너는 “클라우드 계정 사이를 이동하고 키를 안전하게 보관 및 교환하는 이 보안 문제가 되고 있다. 적절한 데이터 사용에 관한 강력한 거버넌스가 필요하다. 구내보다 클라우드에서 더 시급하 이유는 사람들이 데이터를 복사하여 무단으로 사용하기가 너무 쉽기 때문이다”라고 말했다.

프리사이즐리는 컴퓨팅 및 스토리지 요구를 위해 다수의 클라우드 제공업체를 이용하는 하이브리드 멀티클라우드 모델을 갖고 있다. 오코너는 “우리는 클라우드 기반 데이터 레이크에 많은 양의 데이터를 보관한다. 데이터가 클라우드에 있으면 거기에서 처리를 시작한다. 간헐적인 분석 요구가 있는 경우 클라우드를 이용한다. 분석 처리를 신속하게 시작해야 하는 경우 클라우드로 시작한다. 구조화되지 않은 데이터를 처리해야 할 때와 머신러닝을 포함한 고급 분석 처리를 이용할 때 클라우드 기반 데이터 레이크를 이용한다”라고 말했다.

클라우드 비용 관리
클라우드 서비스를 이용하면 조직이 구내 스토리지 시스템 등의 비용을 피하는 데 도움이 되지만 머지않아 비용을 통제할 수 없게 될 수도 있다. 타웁은 “예산은 항상 중요하다. 만능 데이터 아키텍처는 IT 지출 함정이 될 수 있다. 분석을 클라우드로 이전하는 결정을 내릴 때 기업들은 높은 초기 비용을 지불하고 현재의 요구에 적합하지 않은 장기 계약에 얽매여야 한다는 느낌을 받는다”라고 말했다.

핵심은 클라우드 록인(Lock-in)을 강요하지 않는 제공자를 찾는 것이다. 타웁은 “클라우드 플랫폼 평가 시 현재의 분석 요구를 해결할 수 있으면서 미래의 요구에 맞춰 확장할 수 있는 유연성을 갖춘 적절한 솔루션을 찾아보아야 한다”라고 말했다.

-> ‘스스로 돕는 자’가 싸게 쓴다··· 클라우드 비용 절감 팁 7가지

그리고 클라우드에서 시작하기는 쉽지만 잘못된 유형의 작업을 클라우드로 이동하고 클라우드 애플리케이션 및 리소스가 필요 없어도 작동하는 상태로 방치하기도 쉽다고 오코너가 말했다.

클라우드 비용을 관리하는 효과적인 2가지 방법은 클라우드 계정 생선 방식을 통제하고 클라우드 리소스를 소비하는 사람에 관해 투명성을 유지하는 것이다. 오코너는 “첫 번째 사항을 해결하기 위해 우리는 각 제공자의 모든 클라우드 계정을 단일 ‘마스터’ 계정으로 이전했다. 우리는 누가 새로운 클라우드 계정을 생성할 수 있는지 중앙에서 관리했다. 새로운 클라우드 리소스가 필요한 사람과 그룹은 공식적인 요청 프로세스를 거친다. 요청에는 비즈니스적 근거, 부서 예산 정보, 비즈니스 책임자가 포함되어야 한다”라고 말했다.

투명성의 경우 요청이 승인될 때마다 중앙의 팀이 마스터 계정 아래에 새로운 클라우드 계정을 생성한다. 오코너는 “이 거버넌스 정책을 통해 우리는 클라우드 제공자들이 청구를 발행하는 비용에 대한 투명성을 제공할 수 있다. 각 계정은 요청 시 제공되는 정보를 통해 생성되고 우리는 클라우드 제공자의 포털 또는 콘솔을 이용해 각 초기 요청과 일치하는지 지출을 모니터링할 수 있다”고 말했다.

프리사이즐리는 이 지출 정보를 내부 지불 거절 모델에 사용하여 누적된 클라우드 비용을 요청자의 예산에 반영한다. IT는 이런 접근방식을 통해 “클라우드 비용에 대한 책무성을 유도하고 적절한 비즈니스 근거를 기반으로 지출하도록 한다”라고 오코너는 말했다.

dl-ciokorea@foundryco.com