아래와 같은 에러가 CPU에서 트레이닝이나 추론을 할 때 발생하는 것을 알았습니다.

아래 메시지를 보면 gather_nd를 실행할 때 인덱스 값에 -1 이 있어서 에러가 나는 것 같습니다. GPU 에서는 - 값이 있는 경우 무조건 0으로 바꾸어서 처리를 하는데 CPU에서는 에러가 난다고 합니다.

그런데 어느 부분에서 왜 에러가 나는 지를 알 수가 없습니다.

baseline code로 트레이닝이나 인퍼런스 모두 CPU에서 실행하면 무조건 아래와 유사한 에러가 발생합니다.

하나의 예를 들어 보면  rfaster_rcnn_meta_arch_test_lib.py의 249행의 sess.run 실행하면 나옵니다.

0% 0/1237 [00:00<?, ?it/s]2020-02-24 11:31:43.286300: W tensorflow/core/framework/op_kernel.cc:1651] OP_REQUIRES failed at gather_nd_op.cc:47 : Invalid argument: indices[149,295,0] = [149, 295, -1] does not index into param shape [300,300,24]

2020-02-24 11:31:43.287139: W tensorflow/core/framework/op_kernel.cc:1651] OP_REQUIRES failed at gather_nd_op.cc:47 : Invalid argument: indices[224,299,0] = [224, 299, -1] does not index into param shape [300,300,24]