SKI E&S Data Intelligence Platform 구축
추진배경
최근 기업 환경에서 인공지능(AI)과 디지털 트랜스포메이션(DT)의 도입은 선택이 아닌 필수가 되었습니다. 이에 따라 대규모 데이터를 단순히 축적하는 것을 넘어, '어떻게 효과적으로 탐색하고 분석하여 비즈니스 가치로 전환할 것인가'가 핵심 과제로 부각되었습니다.
이에 SKI E&S는 AI·DT 활용을 위한 기반 마련과 데이터의 실질적 활용 확대를 위한 전사 통합 데이터 플랫폼 구축을 추진하였습니다. 내부 정형·비정형·실시간 데이터와 외부 데이터 소스를 통합 수집하고, 이를 분석·탐색·활용할 수 있는 클라우드 기반 전사 공통 저장소와 활용 환경을 마련함으로써 데이터 기반 업무 체계를 고도화 하고자 하였습니다.
사업범위
- 데이터 수집 체계 구축 - 내·외부 정형·비정형·실시간 데이터 수집 체계 구축
- 데이터 처리·저장 - 전사 통합 데이터 레이크하우스 및 DW·DM 구축
- 데이터 분석·시각화 - 개인 분석 환경 및 BI 기반 분석·시각화 환경 제공
- 데이터 카탈로그 - Biz Data Catalog 구축 및 데이터 탐색 체계 구축
- 데이터 거버넌스 - 데이터 거버넌스 원칙·정책·프로세스 정의
- 데이터 인프라 - 클라우드 인프라 구축 및 운영
수행내용
1.데이터 수집 체계 구축 :
내·외부에 산재한 정형, 비정형 및 실시간 데이터 등을 통합 수집하여 전사 데이터 자산화의 기반이 되는 Raw Zone에 안정적으로 적재하였습니다. 또한 주기적인 대용량 배치와 실시간 데이터 수집 프로세스 자동화 체계를 구현하였습니다.
2.데이터 처리·저장 :
- 데이터 레이크·마트 구축 : 원천 데이터가 실질적인 비즈니스 분석 및 의사결정에 활용될 수 있도록 가공·정제하여, 분석 및 활용이 가능한 데이터 레이크와 데이터 마트를 구축하였습니다. 또한 데이터 생애주기를 고려한 저장 구조와 보관 정책을 반영한 저장 환경을 설계·구축하였습니다.
- Airflow 개발 : 배치 및 주기별 데이터의 수집·적재·처리 워크플로우를 구현하고, 파이프라인 스케줄링과 재처리, 모니터링 체계를 수립하였습니다.
- 플랫폼 이관·통합 : 기존 재생에너지 플랫폼 서비스를 신규 플랫폼으로 이관·통합하였으며, 이관 데이터의 정합성을 검증하고 병행 운영을 거쳐 서비스를 안정화 하였습니다.
3.데이터 분석·시각화 :
비즈니스 인사이트를 한눈에 파악할 수 있도록 주요 분석지표 기반 대시보드와 리포트를 개발하고, 개인분석환경과 BI 시각화 환경을 제공하여 사용자의 데이터 접근성과 활용성을 높였습니다.
4.데이터 카탈로그 :
IT 기술메타와 Biz Data Catalog를 구성하고, 자동 생성·한글화·API 연계를 통해 사용자가 데이터를 쉽게 탐색하고 이해할 수 있는 활용 환경을 마련하였습니다.
5.데이터 거버넌스 :
데이터 관리 현황을 분석하고, 거버넌스 원칙·정책 및 핵심 프로세스를 정의하여 전사 데이터 관리 기반을 체계화하였습니다.
성과 및 기대효과
본 사업을 통해 SKI E&S는 데이터의 수집부터 가공·정제, 분석·활용, 거버넌스에 이르는 전 과정을 아우르는 전사 통합 Data Intelligence Platform을 성공적으로 구축하였습니다.
이를 통해 산재된 데이터를 통합·자산화하고, 데이터 생애주기를 고려한 저장 구조와 자동화된 수집·처리 파이프라인을 통해 데이터 운영의 효율성과 확장성을 확보하였습니다. 또한 기존 재생에너지 플랫폼을 안정적으로 이관·통합하여 전사 데이터를 하나의 플랫폼에서 통합 관리하고 활용할 수 있는 기반을 마련하였습니다.
동시에 직관적인 데이터 카탈로그와 BI 시각화 환경을 제공함으로써 사용자가 필요한 데이터를 손쉽게 탐색하고 즉각 활용할 수 있는 환경을 구축하였습니다. 이로 인해 데이터에 기반한 신속하고 정확한 의사결정을 지원할 수 있게 되었습니다.
나아가 명확한 거버넌스 원칙과 프로세스를 통해 데이터의 신뢰성과 품질을 지속적으로 유지할 수 있는 제도적 기반을 마련하였으며, 향후 전사 AI/DT 활용을 한층 가속화하고 데이터 기반 비즈니스 혁신을 지속적으로 창출할 수 있는 토대를 마련하였습니다.