신용카드 사기 거래 탐지 AI 경진대회 월간 데이콘

...

비지도 학습은 처음해보는데 감사합니다

좀 헷갈리는 부분이 있습니다. 설명에 validation 데이터에서 통계 정보와 모델 평가에는 사용 가능 써있습니다.
후자인 모델 평가에는 사용 가능이라는 부분은 train으로 만들어진 모델의 성능 테스트를 하는 것이라 분명한데, 전자인 데이터에서 통계 정보로 활용 가능하다는 것은 어느 정도까지를 의미하나요?
간단히 예시를 들어보겠습니다. 이게 되는지 안 되는지만 알면 분명할 것 같아서요.

예) 
1. 트레인 세트에서 나만의 클래스를 뭔가 만듦.
2. validation세트에서 나만의 클래스와 validation의 0/1 클래스(normal / fraud)와 매칭하여 나만의 클래스를 최종 클래스로 변환 가능하도록 함
 -> 코드 공유된 것에서는 isolation forest를 사용하여 1이 나온 것은 정상, -1은 비정상으로 재조정하였습니다. 이것은 validation의 라벨을 보고 재조정한 것이 아니기 때문에 2번 질문을 재차 드리게 된 것입니다. 가령 나만의 클래스가 5개라고 했을 때 각 클래스0, 1, 2, 3, 4별로 validation의 정상과 fraud 통계를 보고 클래스를 리매핑 해주는 것이 허용되는지가 궁금한 것입니다.
3. test세트를 모델에 넣어 prediction하여 나온 나만의 클래스를 2번에서 만든 변환 가능한 함수로 변환한 뒤 submit

이 정도까지는 허용하는 것인지 궁금합니다.

감사합니다.

답변 감사드립니다~!

1, 2, 3 모두 답변 정확히 이해했습니다. 
중요한 것은 test 데이터는 무조건 infer만 가능하다는 것 / 그리고 validation은 직접적인 모델 학습의 input으로만 사용하지 않으면 됨. 이 정도로 이해했습니다만,
진행하다가 문득 한 가지 더 궁금하여 질문드립니다. validation의 활용 여부가 어느 정도까지인지 재차 확인하기 위함입니다.


1. train + 클래스 n개 생성
2. validation 확인 리매핑 후 리매핑 함수 설정 
3. train세트 데이터를 infer 후
4-1. 2에서 만든 리매핑 함수를 활용하여 클래스로 활용
4-2. 2에서 만든 리매핑 함수를 활용한 뒤 동일 또는 다른 모델 학습에 넣을 데이터 필터링
5. 4-1 또는 4-2를 진행 후에 새로 나온 모델을 활용하여 test 데이터 infer 후 submit

질문: 4-1 / 4-2는 3 이후에 나올 수 있는 서로 다른 시나리오인데 각각의 가능 여부를 알고 싶습니다.
감사합니다!

넵 이제 궁금한 것에 대해 완전한 답변이 되었습니다. 감사합니다.

안녕하세요, 이것저것 시도해보며 재미있게 진행중인데요. Ano GAN 같은 것은 data leakage로 판단하나요..? 

1. 학습된 모델 (generator, discriminator)가 있고 2. 정상/비정상 측정 데이터로 테스트 할 때 임의의 모델을 즉석으로 생성하고 해당 데이터를 학습한 뒤 그것을 활용하는데..
2번에서 문제가...  판단을 위한 데이터가 인입되면, 즉시 신규 모델을 생성하여 해당 데이터만 즉석으로 학습하여 latent space를 만들고 그 latent space로 1번에서 만든 generator로 데이터를 생성하게 되는데, 이것도 data leakage에 해당하는지 좀 확인이 필요한 거 같아 질문드립니다. 

정리
1. train으로 generator/discriminator 학습
2. val 데이터로 확인하여 최종 사용할 weight 선정 -> 이 때도 즉석 셀프 트레이닝이 진행되며 해당 학습 웨이트는 n개당 개별 데이터의 이상여부 판단 이후 소멸됨
3. test데이터 인입시 -> val과 같은 과정을 거쳐 이상 여부 확인

2 val data, 3 test data에서는 1번에서 학습된 모델의 update는 전혀 없음(1번 학습 후 고정됨)

질문요약.
val과 test데이터를 전혀 모르는데 한 개의 데이터가 들어올 때마다 셀프 학습하고 소멸되는 모델의 학습 가능 여부 확인. 이 과정에서 label은 사용되지 않음

:)