AI 시대에 데이터는 기업의 가장 큰 자산입니다. 하지만, 데이터 마이그레이션에 실패하면 어떤 일이 벌어질까요? 많은 기업이 신규 시스템 도입 후 데이터 신뢰도 문제로 인해 오히려 비즈니스 연속성이 위협받고 있습니다.
데이터 마이그레이션은 무엇인가?
데이터 마이그레이션은 기존 시스템의 데이터를 새로운 시스템으로 안전하고 효율적으로 옮기는 과정을 의미합니다. 이는 단순한 데이터 이동을 넘어 데이터의 정제, 표준화, 활용성 향상을 목표로 하는 중요한 작업입니다. 다시 말해, 원천 시스템의 데이터를 추출, 변환, 로딩 과정을 통해 목적 시스템으로 옮기는 작업입니다. 원천 시스템은 해당 정보를 관리하던 이전 시스템으로 하나가 아닌 여러 개일 수 있으며 목적 시스템은 새로 구축하는 신규 시스템을 의미합니다.
그러나 이 과정에서 발생할 수 있는 오류는 신규 시스템의 신뢰도를 저하시키고 비즈니스 연속성을 위협할 수 있습니다. 데이터 마이그레이션 오류는 데이터 신뢰도 문제를 발생시켜 신규 시스템의 오픈 지연 및 오픈 후 활용도 감소, VoC 증가로 인한 운영 업무 가중 등의 악영향을 불러옵니다. 특히 신규 시스템이 기준정보 시스템이면 연계된 ERP와 MES 등의 기간계 시스템에서 운영 오류를 발생시켜 구매, 생산, 물류 등 프로세스 간 업무 단절 및 지연 등 막대한 피해를 일으킬 수 있습니다.
데이터 마이그레이션 전략
데이터 마이그레이션은 추출, 변환, 로딩이라는 세 가지 주요 단계를 통해 이루어집니다.
[그림 1] 데이터 마이그레이션 절차 (출처: 에스코어)
| 진행(Step) | 추출(Extraction) | 정제,정비,변환(Transformation) | 로딩(Loading) | 검증(Verification |
| Activity |
|
|
|
|
| 본사 데이터 → E(추출) 법인 데이터 → E(추출) 자회사 데이터 → E(추출) E(추출) → T(정제/정비/변환) "데이터 변환" T(정제/정비/변환) "데이터 변환" → L(로딩) L(로딩) → 신규 시스템(MDM, ERP) | ||||
위 그림에서 각 단계의 주요 고려사항과 실질적인 전략을 살펴보겠습니다.
(1) 데이터 추출(Extraction)
데이터 추출은 마이그레이션의 출발점입니다. 이 단계에서는 신규 시스템에서 관리해야 할 속성과 범위를 명확히 정의해야 합니다. 신규 시스템의 목적에 따라 관리 속성의 정의와 기준은 다르겠지만 기준정보 시스템을 구현할 때는 “2개 이상의 시스템에서 사용하는 공통 속성”과 “기준정보 입력 프로세스 제거”라는 관점을 따르면 됩니다.
관리 대상 속성이 정의되면 각 시스템에서 해당 속성에 대한 데이터를 내려받아 분석을 진행합니다. 분석을 통해 △정제(중복 데이터 식별), △정비(데이터값이 누락되어 있는지 “완전성” 검토, 유효한 값인지 “유효성” 검토), △변환(데이터 표준화를 병행하여 기존값을 신규 시스템에 적합한 형태로 바꿈) 중에서 유형에 따라 정비 대상을 정의합니다.
데이터 추출 단계에서 정의된 속성과 기준은 다음 단계인 데이터 변환의 방향성을 결정합니다. 이 과정이 명확하지 않으면 변환 작업이 더 복잡해질 수 있습니다.
(2) 데이터 변환(Transformation)
데이터 변환은 데이터 마이그레이션 중 가장 많은 시간과 리소스를 소모하는 단계입니다. 변환 작업은 데이터의 정제, 정비, 변환으로 구분합니다. 데이터 정비는 데이터 오너인 현업 사용자의 참여가 필수적이며, 사전 정의된 표준에 따라 진행해야 합니다. 그래야 정확한 정비 데이터값으로 변환할 수 있으며 시스템 오픈 후 발생하는 오류를 최소화할 수 있습니다. 대용량 데이터 정비는 정비 조직이 사전에 정의된 후 PI 조직과 정비 조직이 유기적으로 데이터를 검증해야 합니다. 그리고 정비 대상 속성 중 표준화가 필요한 속성들(예를 들어 회사에서 많이 사용하는 속성이나 관리 주체가 정의되지 않아 여러 시스템에서 중복적으로 생성되어 다르게 사용되는 속성)을 표준화하기 위해서는 생성 기준, 네이밍 규칙(Naming Rule), 결재선 정의 등이 필요하며, 운영 기준 정의가 함께 동반되어야 합니다.
현업의 정비 지원을 위해 정비 가이드를 작성하고 설명회를 진행하여 목적 및 일정을 공유하는 것이 중요합니다. 특히 현업 정비 조직의 의견을 반영하는 것이 무엇보다 관건입니다. 필자가 경험한 사례를 들자면, 설비정보 내의 조직 관련 데이터는 변경이 잦고 특정 시점에 대량으로 바뀌는 경향이 있으므로 마지막 단계에서 정비하는 것이 효과적이라는 정비 조직의 의견을 반영함으로써, 여러 번 정비할 뻔한 수고를 덜 수 있었습니다. 이처럼 실제 정비 과정에서 현업의 인사이트를 잘 활용하면 작업 효율성을 높이고 작업 오류를 줄일 수 있습니다.
데이터 변환을 통해 표준화된 데이터는 로딩 단계에서 새로운 시스템의 효율성을 극대화할 수 있도록 준비됩니다.
(3) 데이터 로딩(Loading)
데이터 로딩은 정비된 데이터를 신규 시스템에 적용하는 단계로, 연계 시스템과의 호환성이 핵심입니다. 정비 결과를 신규 시스템에 로딩하여 새로운 시스템에서 정비된 데이터를 기준으로 대상 시스템들이 활용할 수 있도록 합니다. 데이터 로딩 시 연계 시스템들은 변경된 로직을 반영하고 데이터를 로딩하기 위한 최소한의 시스템 시간인 “프리징(Freezing) 시간”이 필요합니다. 그런데 프리징 시간이 거의 허용되지 않는 프로젝트도 존재합니다. 이런 경우에는 정비된 결과를 구 시스템(예를 들어 가장 많은 속성을 관리하는 시스템)에 먼저 적용하는 “선(先) 적용”이라는 방법을 활용할 수 있습니다. 이를 통해 로딩 시점의 추가 정비 대상 데이터를 최소화하여 프리징 시간을 단축하는 효과를 볼 수 있습니다. 마치 자동차 경주에서 타이어를 번개같이 갈아 끼우는 상황을 생각하면 됩니다.
신규 시스템에 데이터를 로딩하기 위해서는 여러 가지 선∙후행 작업이 필요합니다. 데이터들이 서로 연관 관계를 가지고 있고 연계된 시스템의 영향도도 고려해야 해서 타임 테이블(Time Table)별로 액티비티를 정의하는데, 이것을 “컷오버 플랜(Cutover Plan)”이라고 합니다. 실제 시스템 오픈 시 행해지는 컷오버는 시간 또는 분 단위로 액티비티들이 실행되어야 하므로 로딩 시 에러가 발생하는 모든 요인을 사전에 제거해야 합니다. 그래서 실제 컷오버에 앞서 복잡도에 따라 최소 1회에서 3회까지 사전에 컷오버 시뮬레이션을 시행합니다. 실제와 동일한 조건으로 진행해야만 발생 가능한 모든 오류 가능성을 사전에 조치할 수 있고 안정적인 시스템 오픈이 가능해집니다.
결론
AI 시대에 데이터는 가장 중요한 자산입니다. AI가 세상의 중심이 되면서 정비해야 하는 데이터의 양도 늘어나고 있습니다. 그만큼 데이터 마이그레이션의 복잡도 및 중요성이 더 커지고 있다는 사실을 잊지 말아야 할 것입니다. 증가하는 데이터의 복잡성과 양을 효과적으로 관리하기 위해서는 철저한 계획과 협업이 관건입니다.
데이터 마이그레이션은 이제 선택이 아닌 필수입니다. 다만, 데이터 마이그레이션은 단순히 데이터를 옮기는 작업을 넘어 비즈니스 프로세스와 시스템의 신뢰도를 결정짓는 중요한 프로젝트입니다. 또한 많은 사람들의 노력이 들어가는 힘든 프로젝트입니다. 하지만 그만큼 사용자의 데이터 활용도 및 효율을 높일 수 있는 중요한 작업임이 틀림없습니다. 앞서 설명한 데이터 마이그레이션 전략은 일부 프로젝트에 적용할 수 있을 것이나 어떤 사례들은 참조하는 정도로 삼아 실제 여건에 부합하는 운영 기준을 정의해 프로젝트를 진행하는 것이 보다 효과적일 것으로 생각됩니다. 성공적인 데이터 마이그레이션은 데이터 활용성을 높이며, 신규 시스템의 가치를 극대화할 것입니다.
▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.
에스코어㈜ 컨설팅사업부 데이터컨설팅팀
생산∙구매 프로세스 및 기준정보 전문가로 현재 하이테크 업종의 설비정보 글로벌 확산을 담당하고 있습니다.