데이터 표준점검 도구_1.개요

이 글은 새로운 블로그로 옮겼습니다. 5초후 자동으로 이동합니다.

▶ 새로운 블로그 주소: https://prodskill.com/

▶ 새로운 글 주소: https://prodskill.com/data-standard-checker-1-overview/

목차

 

1. 데이터 표준점검 도구 개요

데이터 아키텍트의 업무중 하나인 데이터 표준화는 상당히 고된 작업이다.

 

데이터베이스 테이블/컬럼의 comment, 테이블 정의서 등으로부터 현행 속성명(논리명, 물리명), 데이터유형, 길이를 수집하고 의미 단위를 단어로 분리,  동일 의미의 컬럼을 묶어 동일 논리명, 물리명, 데이터 유형, 길이를 가지는 하나의 용어로 정의하는 과정은 많은 수작업을 반복해야 한다.

 

(Note. 이글에서는 데이터 표준화에 대한 상세 개념은 설명하지 않는다. 아래 URL을 참조하기 바란다.)
https://dataonair.or.kr/db-tech-reference/d-guide/da-guide/?mod=document&uid=269 

데이터 표준화 개념

 

 

 

 

 

데이터 표준화 작업은 기초사전과 현행 속성명을 반복 검토하여 단어/용어/도메인 사전을 엑셀 sheet로 작성 후 표준관리자와 리뷰를 통해 보완, 확정하는 과정으로 요약할 수 있다.

데이터 표준화 작업의 흐름 요약

 

이 과정에서 다음과 같은 여러 세부 작업들이 실행된다.

• 속성 논리명 변경
• 단어 물리명 변경
• 단어의 속성 분류어 지정/해제
• 속성 분류어에 대하여 도메인분류명 지정
• 단어 2개(또는 그 이상)을 복합단어로 등록
• 동의어 관계 지정: 하나의 단어만 표준이 되고 다른 동의어는 비표준으로 지정
• 도메인의 데이터 유형, 길이 변경
• 등...

 

현행 속성명과 데이터 유형/길이에 대해 위 작업을 반복하여 1)표준단어 사용, 2)표준도메인 지정, 최종적으로 3)표준용어로 만들어져서 표준화된다.

 

현장에서 데이터 표준화 작업을 수행하는 대부분의 데이터 아키텍트(DA)들은 엑셀을 활용하여 수작업을 하고 있다. 데이터 표준을 관리하는 메타데이터 관리 솔루션은 여러 회사의 제품이 있으나, 이 제품들은 대부분 데이터 표준사전을 작성하는 기능보다는 데이터 표준사전이 작성된 이후 관리하는 기능에 중점을 두고 있기 때문이다.

 

 

필자도 여러 고객사에서 데이터 표준화 작업을 수행하면서 많은 어려움을 겪었다. 2012년에 도구화를 처음 시도하였고, 꾸준히 짬짬이 개발하여 2016년 4월에 기본적인 기능을 갖춘 도구를 만들었다. 도구는 엑셀 VBA를 사용하여 개발하였고, 그 화면은 다음과 같다.

데이터 표준점검 도구 화면

 

이 도구는 아래 github repository에서 확인할 수 있다.

https://github.com/DAToolset/ToolsForDataStandard

DAToolset/ToolsForDataStandard

 

 

또는, 이 URL에서 직접 다운로드할 수 있다.

https://github.com/DAToolset/ToolsForDataStandard/blob/main/속성 표준점검 도구_v1.33_20210606_1.xlsm?raw=true

 

---

다음 글에서 데이터 표준사전의 구성과 표준 점검 기능에 대하여 살펴보겠다.