def count_parameters(model):

    return sum(p.numel() for p in model.parameters())

안녕하세요.

양자화를 공부해보고 있습니다. 모델 파라미터 수 제한 사항이 3B였는데요. 양자화 된 경우에는 바이트수가 줄어들면서 파라미터 수가 줄어드는 것처럼 보이는 것 같습니다.

아래 문서에서 numel() 함수의 용법이 나와있는데 해당 함수를 사용해서 모델의 파라미터 수를 측정하면 되는 것인지 궁금합니다. 비양자화 모델과 양자화 모델의 파라미터수가 같다고 생각했지만 count_parameters()를 써보면 양자화 모델이 훨씬 줄어든 것으로 보입니다. 양자화 모델이 3B 이하이면 해당 모델을 써도 되는 것일까요?

https://docs.pytorch.org/docs/stable/generated/torch.numel.html

>>> a = torch.randn(1, 2, 3, 4, 5)
>>> torch.numel(a)
120
>>> a = torch.zeros(4,4)
>>> torch.numel(a)
16

감사합니다.