RoBERTa_wwm.zip
TensorFlow BERT
在线加载模型地址

确定自己使用的框架并导入对应的库。导入库实现样例代码可参考 文档中心-预训练模型使用教程

在代码中实现加载预训练模型地址

调用模型的实现方法

#按照BERT的迁移方式,RoBERTa_wwm是中文的预训练模型,采用全词掩码

export RoBERTa_DIR=/path/to/RoBERTa/

export FILE_DIR=/path/to/your_data_path

python run_classifier.py \ --task_name=your_task_name \ --do_train=true \ --do_eval=true \ --data_dir=$FILE_DIR/ \ --vocab_file=$RoBERTa_DIR/vocab.txt \ --bert_config_file=$RoBERTa_DIR/bert_config.json \ --init_checkpoint=$RoBERTa_DIR/bert_model.ckpt \ --max_seq_length=128 \ --train_batch_size=32 \ --learning_rate=2e-5 \ --num_train_epochs=3.0 \ --output_dir=/tmp/mrpc_output/