SKT DataLake 워크로드 통합
추진배경
AI와 데이터 기반 의사결정이 기업 경쟁력의 핵심 요소로 자리 잡으면서, 기존 온프레미스(On-Premise) 환경을 넘어 확장성과 유연성을 갖춘 클라우드 기반 데이터 플랫폼으로의 전환이 산업 전반으로 빠르게 확산되고 있습니다. 특히 기존의 다양한 워크로드를 클라우드 환경에 맞게 체계적으로 분류·이전하고, 전환 이후 데이터 품질과 업무 연속성을 확보할 수 있는 표준화된 검증 체계 수립이 클라우드 도입의 필수 전제 조건으로 강조되고 있습니다.
이에 SKT는 분산된 On-Premise 기반 데이터 플랫폼을 AWS Cloud 기반으로 통합하고, 대규모 데이터 워크로드의 체계적인 전환과 안정적인 운영 기반을 마련하기 위해 'DataLake 워크로드 통합' 사업을 추진하였습니다.
사업범위
- 워크로드 분석 및 전환
- 데이터 보안 및 검증 체계 구축
- 자동화 기반 검증 프로세스 구현
- 분석가 워크로드 전환 지원
수행내용
1.워크로드 분석 및 전환 :
기존 비즈니스 로직이 포함된 사용자 환경을 정밀 분석하여 데이터 흐름에 따른 Job 유형별 전환 방안을 수립하고, AWS Cloud 기반 DataLake 환경에 적합한 전환 프로그램을 개발하였습니다. 이를 통해 기존 On-Premise 기반 데이터 처리 환경을 클라우드 환경으로 안정적으로 이전하였습니다.
2.데이터 보안 및 검증 체계 구축 :
데이터 보안 체계 수립 및 적용하고, 운영 환경과 전환 환경 간의 대규모 데이터를 정밀 비교·검증할 수 있는 표준 검증 체계를 구축하였습니다. 데이터 정합성과 정확성을 확인하는 검증 프로세스를 적용하였습니다.
3.자동화 기반 검증 프로세스 구현 :
검증 대상과 기준 정보를 자동으로 수집하고 검증 결과를 통합 관리하는 자동화 체계를 구축하였습니다. 이를 통해 신규 데이터 처리 작업에 대해서도 일관된 검증을 수행할 수 있는 지속 가능한 자동 검증 프로세스를 수립하였습니다.
4.분석가 워크로드 전환 지원 :
분석가 업무 환경을 사전 분석하여 전환 대상과 작업 간 연관관계를 도출하고, 체계적인 전환 계획과 안정적인 운영 기반 마련을 지원하였습니다.
성과 및 기대효과
본 프로젝트를 통해 분산되어 있던 On-Premise 기반 데이터 플랫폼을 AWS Cloud 환경으로 성공적으로 통합함으로써, 안정적이고 확장 가능한 데이터 처리 기반을 마련하였습니다.
Job 유형별 체계적인 전환과 정밀 검증을 통해 전환 과정에서 발생할 수 있는 오류를 최소화하고 전환 안정성을 높였으며, 데이터 정합성과 품질을 지속적으로 검증할 수 있는 표준화된 검증 체계를 구축하여 데이터 신뢰도와 업무 연속성을 확보하였습니다. 아울러 자동화된 검증 프로세스를 적용함으로써 전환 이후에도 일관된 기준으로 데이터 정확성과 품질을 관리할 수 있는 전사 품질 관리 체계를 확립했습니다.
나아가 분석가 워크로드 전환을 위한 사전 데이터 흐름 분석 결과는 체계적인 전환 일정 수립의 토대가 되었으며, 이를 통해 조직 내 분석 업무가 클라우드 환경에 안정적이고 원활하게 정착할 수 있도록 지원했습니다.