[기업은행 혁신리그] 쇼핑몰 리뷰 평점 분류 경진대회

안녕하세요~

외부 데이터를 사용하고자 하는데,

외부 데이터 데이터 전처리 과정에서 Test 데이터셋과 중복되는 내용을 제거하기 위해

Test 데이터셋을 사용하는 것은 괜찮을까요??

모델 학습에는 사용하지 않았습니다.

tmp_train = pd.concat([train, train2]) # train2는 외부데이터입니다.

pd.merge(tmp_train, test, left_on = 'reviews', right_on = 'reviews', how = 'inner') # test 데이터와 조인하여 중복되는 내용 있는지 확인

# review열의 중복 제거

# test와 concat 후 중복되는 내용 전체 제거 -> train 데이터에는 test 데이터가 삭제되어있는 상태

tmp_train = pd.concat([tmp_train, test])

tmp_train = tmp_train.drop_duplicates(subset = ['reviews'], keep=False)

train = tmp_train.reset_index().drop('index', axis=1)