exBERT at Github

cgmhaicenter/exBERT

• 스타는 겨우 9개..
• issue 올라온거 처리 안해줌. (1달 전에 올라온건데.)

실험로그

다운로드 & 커맨드 실행

git clone <https://github.com/cgmhaicenter/exBERT>

이슈1. 패키지 설치 안되어있음

pip install torch transformers tqdm numpy

이슈2. Github의 커맨드는 엔터 \ 가 없음..

python Pretraining.py -e 1 
  -b 256 
  -sp path_to_storage
  -dv 0 1 2 3 -lr 1e-04 
  -str exBERT    
  -config path_to_config_file_of_the_OFF_THE_SHELF_MODEL ./config_and_vocab/exBERT/bert_config_ex_s3.json  
  -vocab ./config_and_vocab/exBERT/exBERT_vocab.txt 
  -pm_p path_to_state_dict_of_the_OFF_THE_SHELF_MODEL
  -dp path_to_your_training_data
  -ls 128 
  -p 1

이슈3. path_to_config_file_of_the_OFF_THE_SHELF_MODEL 없음

아래와 같이 기존 모델인 beomi/kcbert-base 로 교체해주려고 함.

python Pretraining.py -e 1 \\
  -b 256 \\
  -sp path_to_storage \\
  -dv 0 1 2 3 -lr 1e-04  \\
  -str exBERT     \\
  -config **beomi/kcbert-base** ./config_and_vocab/exBERT/bert_config_ex_s3.json   \\
  -vocab ./config_and_vocab/exBERT/exBERT_vocab.txt \\
  -pm_p **beomi/kcbert-base** \\
  -dp path_to_your_training_data \\
  -ls 128  \\
  -p 1