아 그렇군요 저는 output을 2개로 해서 알파벳에 따른 숫자 예측을 해봤었는데 결과는 엄청 안좋더라구요 ...

단 train, validation set 분할 시에 digit과 알파벳 데이터를 동시에 고려해서 층화추출하는 것은 고려해볼만 할 것 같습니다. 

네 그건 이미 하고있습니다. 저 같은 경우 알파벳 을 신경쓰지 않고 했을 때 왜인지 모르겠지만 depth를 얇게 하는게 더 좋은 결과를 보여주었습니다.