载入gpt3进行生成如何设置参数

生成参数目前可以通过设置 config.json 文件中的 top_k, top_p, temperature 等参数修改，下面是一个例子： { "attention_probs_dropout_prob": 0.1, "hidden_act": "gelu", "hidden_dropout_prob": 0.1, "hidden_size": 1024, "initializer_range": 0.02, "intermediate_size": 1024, "max_position_embeddings": 2048, "num_attention_heads": 16, "num_hidden_layers": 24, "type_vocab_size": 2, "vocab_size": 25600, "attention_type": "self", "layernorm_epsilon": 1e-12, "eod_id": 3, "top_k": 20, # "top_p": 0.9 目前 top_k 和 top_p 不支持同时生效 "temperature": 1.0 }