UnpicklingError: invalid load key, 'v'. 문제 해결

UnpicklingError: invalid load key, 'v'. During handling of the above exception, another exception occurred: OSError Traceback (most recent call last) /usr/local/lib/python3.7/dist-packages/transformers/modeling_utils.py in from_pretrained(cls, pretrained_model_name_or_path, *model_args, **kwargs) 1064 except Exception: 1065 raise OSError( -> 1066 f"Unable to load weights from pytorch checkpoint file for '{pretrained_model_name_or_path}' " 1067 f"at '{resolved_archive_file}'" 1068 "If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True. " OSError: Unable to load weights from pytorch checkpoint file for '/content/outputs' at '/content/outputs/pytorch_model.bin'If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

해결한 방법:

제대로 파일이 복사되지 않았다. pytorch_model.bin이 2기가가 넘는 파일인데, 코랩에서 git clone한걸론 다 복사되지 않았다.

파일을 다운로드 해서 세션 저장소에 업로드해도 제대로 업로드되는 거 같지 않았다. 구글 드라이브에 올려야 하나...

무튼 로컬에서 클론하고, 환경을 만들어서 똑같이 했더니 돌아간다!!!!

 

모델을 10시간 가까이 돌리고 나서 HuggingFace에 저장하길 망정이지,

모델 평가하는데 CUDA out of memory 에러가 나면서 램 터졌을 때의 그 허망함이란...^^ 모델 저장 안했으면 내 10시간도 같이 날라가는 거였다... 백업은 필수!!