[project] 악성 댓글 판별 위한 인공지능 모델 생성

프로젝트 진행 프로세스는 아래 깃헙 주소 readme에 있음

 

github : https://github.com/yuminkim97/AI_proj1_detect_vicious

 

해당 포스팅에서는 프로젝트를 진행하면서 생긴 에러와 해결 방법, 참고한 링크 위주로 정리하고자 함.

 

프로젝트 목적 : 짧은 포스팅(게시판 게시글) 혹은 댓글의 악의성(모욕, 비난, 욕설 포함) 판별

 

프로젝트 목적에 따라 악성 댓글 데이터를 사용하였고, 데이터 문자열 길이가 짧은 관계로 토큰 집합의 크기가 크지 않고 전체 데이터중 1회~2회 등장하는 희소 단어도 많았다.

 

---

형태소 분석기

 

토큰화를 진행하기 위해 konlpy 라이브러리를 사용하였다. 이때 아래의 단계를 거쳐야한다.

 

1. JAVA 설치

https://www.oracle.com/technetwork/java/javase/downloads/index.html

위 주소에서 운영체제에 맞는 jdk-~.exe 프로그램을 다운받아 설치를 진행한다.

이후 환경변수 내 JAVA 설치경로 등록이 필요하다

윈도우 기준 : 고급시스템설정 -> 환경변수 -> 시스템변수 -> 새로만들기 : 여기서 변수이름을 JAVA_HOME으로, 변수 값을 "C:\Program Files\Java\jdk1.8.0_291" 와 같은 jdk 폴더 경로로 설정한 후 확인 버튼을 클릭한다.

 

2. JPype 설치

https://www.lfd.uci.edu/~gohlke/pythonlibs/#jpype

위 사이트에서 가상환경의 파이썬 버전과 운영체제에 따라 JPype를 설치한다. 필자의 경우 3.8버전 파이썬과 64비트 윈도우를 사용중이므로 

JPype1-1.0.2-cp38-cp38-win_amd64.whl

를 다운받아 

해당경로에 들어가 커맨드 라인에 

pip install JPype1‑0.7.1‑cp37‑cp37m‑win_amd64.whl

를 입력하여 설치한다.

 

3. konlpy 설치

커맨드라인에 pip install konlpy를 설치하고

python 혹은 ipynb 파일에서

import jpype
from konlpy.tag import Okt

를 입력하여 사용할 수 있다.

(필자는 import jpype를 하지 않아 DLL 관련 에러가 계속 발생하여 한참 고민했다..ㅠ)

 

이 외에도 DLL load failed while importing win32api 등의 에러가 발생한다면

https://gentlesark.tistory.com/112

위 링크의 해결 방법으로 해결할 수 있을 것이다.

 

---

 

Jupyter lab ipywidgets 설치

 

https://laonjena227.tistory.com/13

위 포스팅을 참고하여 가상환경을 실행 후, 커맨드라인에 아래를 입력하여 설치하였다.

conda install -c conda-forge ipywidgets
conda install -c conda-forge widgetsnbextension

이렇게 해도 위젯이 보이지 않았지만, jupyter lab을 껐다가 다시 켰더니 해결되었다.