개발자식

TF-IDF와 XGBoost를 활용하여 네이버 리뷰 감정분석 모델을 학습시키고 구글 드라이브에 저장해보자 1. Install & Import Libraries !pip install konlpy==0.5.2 import konlpy import sklearn import pandas as pd import numpy as np import matplotlib.pyplot as plt import os import re import tqdm import urllib.request from collections import Counter from konlpy.tag import Okt 2. Load Data urllib.request.urlretrieve("https://raw.githubuserconten..

Text Similarity Analysis - 문서 간 얼마나 비슷한지, 단어 간 유사도를 분석한다. TF-IDF - 많은 문서에 공통적으로 들어있는 단어의 경우 문서 구별 능력이 떨어진다고 보아 가중치를 축소하는 방법 Cosine similarity - 두 벡터 사이 각도의 코사인 값을 이용하여 측정하는 값으로, 두 벡터의 유사한 정도를 의미한다. 1. 두 개의 영화 리뷰 텍스트 간 유사도 계산하기 영화 : The Shawshank Redemption (1994) The Godfather (1972) 라이브러리 import # 유사도 분석에 필요한 패키지를 불러온다 from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.met..

Text Similarity Analysis - 문서 간 얼마나 비슷한지, 단어 간 유사도를 분석한다. - 단어가 얼마나 겹치는 것을 기준으로 얼마나 많은지 분석한다. 0. 개요 Q. 어떻게 문서(document) 간 얼마나 비슷한지 판단할 수 있을까? - 문서 : 긴 문장 A. 문서들을 아래 예시와 같이 수치행렬의 형태로 표현한다. Ex) 문서 1. That is a nice car 2. John has that red car 문서들을 수치 행렬의 형태로 표현 (벡터 공간으로의 표현) - 문서내의 불용어는 제외하고 표현 - 벡터 (Vector) : 순서쌍, 하나의 행 or 열 문서 That Nice Car John Has Red 1 1 1 1 0 0 0 2 1 0 1 1 1 1 -> 위의 표는 단순 카..