단어 추출 도구 설명글 목록, 목차, 다운로드

이 글은 새로운 블로그로 옮겼습니다. 5초후 자동으로 이동합니다.

▶ 새로운 블로그 주소: https://prodskill.com/

▶ 새로운 글 주소: https://prodskill.com/word-extractor-toc/

단어 추출 도구 처리 과정

 

단어 추출 도구에 대한 설명글을 6개로 나누어 작성하고 모두 블로그에 포스팅했다. 전체 목차를 별도의 글로 작성하여 올려둔다.

 

1. 단어 추출 도구 개요

• 1.1. 단어 추출 도구를 개발한 이유
• 1.2. 단어 추출 도구 개념
• 1.3. 단어 추출 도구 동작 방식
  • 1.3.1. 단어 추출 도구 입력 자료
  • 1.3.2. 단어 추출 도구 처리 로직
  • 1.3.3. 단어 추출 도구 출력 자료

 

2. 환경구성

• 2.1. 환경 구성 개요
  • 2.1.1. 권장사항
  • 2.1.2. 형태소 분석기 선택: Mecab
• 2.2. Miniconda 설치
• 2.3. 가상환경 생성, 활성화
• 2.4. 가상환경에 Python 설치
• 2.5. 필요한 package 설치

 

3. 단어 추출 도구 실행

• 3.1. 단어 추출 도구 다운로드
• 3.2. 단어 추출 도구 실행 방법
  • 3.2.1. 다운로드 파일 압축 해제하고, Python 가상 환경 활성화
  • 3.2.2. 도움말 확인
  • 3.2.3. 실행방법1: 문서 파일에서만 단어 추출
  • 3.2.4. 실행방법2: DB Table, Column comment에서만 단어 추출
  • 3.2.5. 실행방법3: 문서 파일과 DB Table, Column comment 모두 에서 단어 추출
  • 3.2.6. 실행 결과 확인 방법
  • 3.2.7. 실행시 주의/참고사항

 

4. 단어 추출 도구 소스코드

• 4.1. 개요
  • 4.1.1. 소스코드 일러두기
  • 4.1.2.단어 추출 도구 함수 호출 관계
• 4.2. main 함수
  • 4.2.1. argument parsing
  • 4.2.2. 처리할 파일 목록 추출
  • 4.2.3. Multi processing으로 get_file_text 실행
  • 4.2.4. Multi processing으로 get_word_list 실행
  • 4.2.5. 단어 빈도를 구하고 make_word_cloud 실행
  • 4.2.6. 추출된 단어 목록과 단어 빈도 엑셀 파일로 저장하고 실행시간 출력, 종료
• 4.3. get_file_text 함수
  • 4.3.1. get_doc_text 함수
  • 4.3.2. get_ppt_text 함수
  • 4.3.3. get_txt_text 함수
  • 4.3.4. get_db_comment_text 함수
  • 4.3.5. get_hwp_text 함수
  • 4.3.6. get_pdf_text 함수
• 4.4. get_word_list 함수
• 4.5. make_word_cloud 함수

 

5. 단어 추출 도구 부가 설명

• 5.1. OLE Automation을 사용하는 이유
• 5.2. Text 파일 인코딩 관련 (UTF-8만 지원함)
• 5.3. multi processing 사용 이유
• 5.4. 복합어 추출 관련 참고사항
• 5.5. 형태소 분석기 품사 종류

 

---

단어 추출 도구는 아래 github repository에서 다운로드할 수 있다.

https://github.com/DAToolset/ToolsForDataStandard/tree/main/WordExtractor

GitHub - DAToolset/ToolsForDataStandard: Tools for Data Standardization (Data Standard Checker, Word Extractor, etc.)

 

실행에 필요한 소스코드, 글꼴, table/column 목록 예시 파일, 출력 예시 파일을 배포용 압축파일로 묶어 두었으니, 이 파일을 다운로드 받으면 된다.

https://github.com/DAToolset/ToolsForDataStandard/raw/main/WordExtractor/word_extractor.7z

 

데이터 표준화 작업에 조금이나마 도움이 되길 바란다.