설비 기준정보를 위한 데이터 마이그레이션 접근 방향

2022-06-10 강진호

본 아티클에서는 시스템을 설계하고 오픈하는데 있어 중요한 성공 요인 중의 하나인 데이터 마이그레이션의 정의와 중요성에 대해 설명하고 필자가 수행한 기준정보 시스템 구축 프로젝트 사례를 바탕으로 마이그레이션 시 꼭 고려해야 할 사항을 공유하겠습니다.

마이그레이션 정의와 중요성

마이그레이션은 데이터의 추출, 변환, 로딩 과정을 통해 원천 시스템의 데이터를 목적 시스템으로 옮기는 작업을 말합니다. 원천 시스템은 해당 정보를 관리하던 이전 시스템으로 하나가 아닌 여러 개 일 수 있으며 목적 시스템은 새로 구축하는 신규 시스템을 의미합니다.

마이그레이션 오류는 데이터 신뢰도 문제를 발생시켜 신규 시스템의 오픈 지연 및 오픈 후 활용도 감소, VoC 증가로 인한 운영 업무 가중 등의 악영향을 불러옵니다. 특히 신규 시스템이 기준정보 시스템인 경우는 연계된 기간계 시스템인 ERP와 MES 등의 운영 오류를 발생시켜 구매, 생산, 물류 등 프로세스간 업무 단절 및 지연 등 막대한 피해를 야기할 수 있습니다.

데이터 마이그레이션 절차

데이터 마이그레이션은 추출, 변환, 로딩 순으로 아래 표와 같이 진행됩니다. 단계별 주요 고려 사항은 다음과 같습니다.

마이그레이션 절차, 에스코어

1) 데이터 추출

데이터 추출 시 전제 조건은 관리 대상 항목 및 범위를 정의하는 것입니다. 한마디로 신규 시스템에서 관리해야 하는 속성들을 명확히 정해야 합니다. 신규 시스템의 목적에 따라 관리 속성의 정의와 기준은 다르겠지만 기준정보 시스템을 구현할 때는 “2개 이상의 시스템에서 사용하는 공통 속성” 또는 “타 시스템의 기준정보 입력 프로세스 제거”라는 관점을 따르면 됩니다.

관리 대상 속성이 정의되면 각 시스템에서 해당 속성에 대한 데이터를 다운받아 분석을 진행합니다. 분석은 △중복을 선별하는 “정제” △반드시 값이 있어야 하나 존재하지 않는 경우(완전성 결여) 및 데이터가 있지만 유효하지 않은 데이터가 존재하는 경우(유효성 결여)인 “정비” △데이터 표준화 병행시 기존 값을 표준화된 값으로 바꾸는 “변환” 중에서 유형에 따라 정비 대상을 정의합니다.

2) 데이터 변환(정제, 정비, 변환)

데이터 변환 작업은 데이터 마이그레이션 중 가장 많은 시간과 리소스를 필요로 합니다. 변환 작업은 데이터의 정제, 정비, 변환으로 구분됩니다. 데이터 오너인 현업 사용자에 의해 진행되어야 정확한 정비 데이터 값으로 변환될 수 있으며 시스템 오픈 후 발생하는 오류를 최소화할 수 있습니다. 정비를 현업이 진행해야 하므로 대용량 데이터 정비는 정비 조직이 사전에 정의된 후 PI 조직과 정비 조직이 유기적으로 데이터를 검증해야 합니다. 그리고 정비 대상 속성 중 표준화가 필요한 속성들(예를 들어 회사에서 많이 사용하는 속성이나 관리 주체가 정의되지 않아 여러 시스템에서 중복적으로 생성되어 다르게 사용되는 속성)을 표준화하기 위해서는 생성 기준, 네이밍 규칙(Naming Rule), 결재선 정의 등 운영 기준 정의가 함께 동반되어야 합니다.

현업의 정비 지원을 위해 정비 가이드를 작성하고 설명회를 진행해 목적 및 일정을 공유하는 것이 필요하며 특히 현업 정비 조직의 의견을 반영하는 것이 무엇보다 중요합니다. 필자가 경험한 사례를 들자면, 설비 정보 내의 조직 관련 데이터는 변경이 잦고 특정 시점에 대량으로 바뀌는 경향이 있어 가장 나중에 정비를 해야 한다는 정비 조직의 의견을 반영한 결과, 여러 번 정비할 뻔한 수고를 덜 수 있었습니다.

3) 데이터 로딩

마지막으로 정비 결과를 신규 시스템에 로딩하여 새로운 시스템에서 정비된 데이터를 기준으로 대상 시스템들이 활용할 수 있도록 해야 합니다. 데이터 로딩 시 연계 시스템들은 변경된 로직을 반영하고 데이터를 로딩하기 위한 최소한의 시스템 시간인 “프리징(Freezing) 시간”이 필요합니다. 그런데 프리징 시간이 거의 허용되지 않는 프로젝트도 존재합니다. 이런 경우에는 정비된 결과를 구시스템(예를 들어 가장 많은 속성을 관리하고 있는 시스템)에 먼저 적용하는 “선(先)적용”이라는 방법을 활용할 수 있습니다. 이를 통해 로딩 시점의 추가 정비 대상 데이터를 최소화하여 프리징 시간을 단축하는 효과를 볼 수 있습니다. 마치 자동차 경주에서 타이어를 번개같이 갈아 끼우는 상황을 생각하면 됩니다.

신규 시스템에 데이터를 로딩하기 위해서는 여러 가지 선∙후행 작업이 필요합니다. 데이터들이 서로 연관 관계를 가지고 있고 연계된 시스템의 영향도도 고려해야 해서 타임 테이블(Time Table)별로 액티비티를 정의하는데, 이것을 “컷오버 플랜(Cutover Plan)”이라고 합니다. 실제 시스템 오픈 시 행해지는 컷오버는 시간 또는 분 단위로 액티비티들이 실행되어야 하기 때문에 로딩 시 에러가 발생하는 모든 요인을 사전에 제거해야 합니다. 그래서 실제 컷오버에 앞서 복잡도에 따라 최소 1회에서 3회까지 사전에 컷오버 시뮬레이션을 시행합니다. 실제와 동일한 조건으로 진행해야만 발생 가능한 모든 오류를 사전에 조치할 수 있고 실제 컷오버 시 오류가 발생하지 않아 안정적인 시스템 오픈이 가능해집니다.

지금까지 데이터 마이그레이션에 대해 살펴보았습니다. 일부 내용은 모든 프로젝트에 적용할 수 있을 것이나 어떤 사례들은 참조하는 정도로 삼아 실제 여건에 부합하는 운영 기준을 정의해 프로젝트를 진행하는 것이 보다 효과적일 것으로 생각됩니다. 데이터 마이그레이션은 많은 사람들의 노력이 들어가는 힘든 프로젝트입니다. 하지만 그 만큼 사용자의 데이터 활용도 및 효율을 높일 수 있는 중요한 작업임에 틀림없습니다.

디지털이 세상의 중심이 되면서 정비해야 하는 데이터의 양도 늘어나고 있습니다. 그만큼 데이터 마이그레이션의 복잡도 및 중요성이 더 커지고 있다는 사실을 잊지 말아야 할 것입니다.

▶ 해당 콘텐츠는 저작권법에 의하여 보호받는 저작물로 기고자에게 저작권이 있습니다.
▶ 해당 콘텐츠는 사전 동의 없이 2차 가공 및 영리적인 이용을 금하고 있습니다.

이 글이 좋으셨다면 구독&좋아요

여러분의 “구독”과 “좋아요”는
저자에게 큰 힘이 됩니다.

강진호

에스코어㈜ 컨설팅사업부 데이터컨설팅팀

생산∙구매 프로세스 및 기준정보 전문가로 현재 하이테크 업종의 설비정보 글로벌 확산을 담당하고 있습니다.