안녕하세요 GM님. 우선 답변 감사드립니다.

하지만 "PCA가 test dataset에 대하여 fit이 되었고 이를 통해 생성된 2d 이미지로 추론을 하였기에 Data Leakage입니다."라는 것에 대해서 저는 동의할 수 없습니다.

PCA를 fit 하는 과정은 단순히 이미지에 대해서 pca 알고리즘을 통해 가장 효율적으로 투영할 수 있는 2d 차원을 찾아서 투영하는 것에 불과합니다. 이전에 정형 데이터에서 fit_transform해서 생기는 관련 data leakage 문제와 완전히 다른 문제라는 것입니다.

"pca를 개별 image에 fit하고, 2d 차원으로 transform"하는 과정이 문제가 된다면, CNN에서 개별 image에 fit하고, pooling을 통해서 더욱 작은 image로 return하는 과정이 문제가 된다는 말과 같다고 생각됩니다. 이미지에서 노이즈를 제거하는 NLmeans와 같은 알고리즘도 우선 개별 이미지를 fit하는 과정을 통해서 내부 정보를 통해 알고리즘으로 계산하고, transform, 즉 결과를 뱉어내게 됩니다. albumentations같은 데이터 증강 알고리즘에서 사용하는 blur 등도 같습니다. 그러면 이러한 알고리즘을 사용해 test image를 preprocessing할때나 증강해 TTA를 진행하는 것이 문제가 되어왔나요? 전혀 아닙니다.

따라서 제가 한 행위는 image processing의 한 부분에 불과하며, test dataset에 PCA를 fit하는 행위는 개별 이미지에 pca 알고리즘을 사용해서 가장 변수의 분포가 많은 2d 차원에 대한 투영을 하기 위한 일환임을 다시 한번 말씀드립니다.

이러한 제 이유에도 불구하고 "PCA가 test dataset에 대하여 fit이 되었고 이를 통해 생성된 2d 이미지로 추론을 하였기에 Data Leakage"에 해당 된다면, 해당 근거를 자세히 설명해주시면 제가 이해에 도움이 될 것 같습니다.

감사합니다.

 lastdefiance20님의 코드는 PCA에 Test dataset의 전체에 대해 fit을 시키고 동시에 transform하였기때문에 단순 Blur와 같은 예시와는 다른 상황입니다.
PCA에 Test 모두를 fit시키고 Test에 대하여 PCA를 통해 변환된 결과를 얻는 것은 명백한 Data Leakage입니다. (Test dataset의 정보 활용)
따라서 PCA는 Train으로만 fit을 시켜야하며, Test데이터를 PCA를 통해 변환시키기 위해서는 fit_transform()이 아닌 train데이터로 fit된 PCA를 통해 transform()을 함수를 활용해야합니다.
감사합니다.

친절한 답변 정말로 감사합니다.

GM님 말씀대로 만약 전체를 fit한 결과를 사용하거나, 이미지를 fit한 결과를 저장하여 재사용한다면 data leakage가 발생하는 것이 맞습니다. GM님의 답변을 보고 다시 한번 제가 놓친게 없는지 살펴보았으나, 제 코드를 보면 전체에 대해 fit시키고 transform한 것이 아닌, 개별 이미지마다 새롭게 fit하는 모습을 보이고 있기 때문에 blur과 같은 예시와 같다고 생각하게 되었습니다.

코드를 들여다보면 df_pca부분에 fit_transform한 결과를 저장하게 됩니다. 따라서 fit이 진행된 pca 객체는 저장되지 않고 소멸되며, pca 변수는 항상 초기의 학습되지 않은 객체로 유지되고 있기 때문에 이후에 연속적으로 pca.fit_transform을 진행하더라도 똑같이 초기의 학습되지 않은 pca에 개별 이미지를 넣어서 투영을 진행하게 됩니다. 

같은 3d 이미지여도 90도 회전을 하게된다면 세로로 자르는 것이 아닌, 가로로 잘라야 가장 넓은 면을 투영할 수 있는 것처럼 개별적인 이미지마다 새로운 pca를 생성하고, fit하고, transform하는 것을 통해서 최적의 면을 pca 알고리즘에 의해 찾아내고, 자르는 preprocessing이 필요하기 때문에 다른 이미지들의 fit 정보를 사용할 수 없을 뿐더러, 저장되거나 사용하지도 않고 있습니다. 이러한 의미에서, 기존에 사용하던 pca의 방법과는 다르게 투영의 의미인 preprocessing으로 blur과 같은 사용을 했다고 말씀드리는 것입니다.

따라서 pca 변수에는 항상 초기 상태의 학습되지 않은 객체가 유지되기 때문에 제 코드로 생성한 모든 이미지들은 새로운 pca 객체가 개별 이미지 input을 받아 최적의 슬라이싱 output을 하고 소멸하게 되는 과정을 유지하고 있으며, 따라서 blur와 같은 맥락으로 3d 이미지에서 가장 표현력이 큰 면을 찾아 투영하는 알고리즘을 개별 이미지마다 적용했다고 생각하는것이 맞을 것 같습니다.

또한, 코드 내부에서 train_data 준비 과정이나, test_data 준비 과정 내부에 이미지가 저장된 변수 이름이 "test data"라고 적혀있지만, 이는 전체 train 데이터나, test 데이터에서 인덱싱을 통해서 뽑아온 1개의 개별적인 이미지라서 "tmp_img"라고 봐도 무방합니다. (코드를 대충 짜서 변수 이름이 이상합니다.)

test_data의 shape을 확인해보면, 3 shape을 가진 개별 흑백 이미지에 불과하다는 것을 확인할 수 있습니다. 변수 이름 때문에 헷갈릴 수 있으나, 데이터셋 전체에 대해서 fit_transform을 적용하지 않았습니다.

삭제된 댓글입니다

안녕하세요 lastdefiance20님,
말씀해주신 내용과 같이 Test dataset의 한개의 입력에 대해서만 독립적으로 PCA가 fit_transform이 이루어지기 위해서라면, PCA 선언이 for문 내부에서 이루어져야합니다.
감사합니다.

안녕하세요 GM님,
PCA 선언이 for문 내부에 이루어지나, 바깥에서 이루어지나 사이킷런의 Decomposition에 해당하는 PCA 모델은 fit을 진행할 시 새로운 객체를 생성하고, 이전 정보를 활용하지 않기 때문에 같은 결과가 나오게 됩니다. 따라서 한개의 입력에 대해서만 독립적으로 PCA가 활용됩니다.

제가 이 정보를 봤었던 글을 찾지 못하여, 깃허브에 올라온 사이킷런 내부 코드 분석과 실험을 글에 첨부했습니다.

감사합니다.

안녕하세요 lastdefiance20님,
말씀해주신 내용을 바탕으로 내부적으로 sklearn의 PCA 동작방식에 대해 내부 테스트한 결과,
PCA 선언 후 Test Dataset에 대하여 Sample 한개 마다 fit_transform()를 호출하는 경우의 결과값과 Test Dataset에 대하여 Sample 한개 마다 PCA를 선언 후 fit_transform()을 호출하는 경우의 결과값이 동일하게 나옴을 확인하였습니다.
따라서 lastdefiance20님의 방식과 Mingihong님의 방식은 PCA로 Test Dataset의 모든 정보를 활용하는 것이 아닌, 현재 입력으로 들어온 Test Dataset의 Sample 한개에 대한 전처리로 판단하여, Data Leakage 대한 결정을 정정하기로 결정하였습니다.
소중한 의견 주셔서 감사하며 최종 결과 발표 후 Data Leakage 결정에 대해 우려를 끼쳐드린 점 죄송합니다.
감사합니다.

안녕하세요 GM님,
실제로도 fit_transform 관련 leakage가 많이 발생함에 따라서 충분히 우려가 가능한 상황이었다고 생각합니다.
계속되는 질문에도 친절하게 답변해 주셔서 정말로 감사합니다!

감사합니다 •ᴗ•

감사합니다 XD