我们在调用LLM的API时,有时候需要调整温度(temperature)参数,这个参数有什么用呢?

我们在调用LLM的API时,有时候需要调整温度(temperature)参数,这个参数有什么用呢?

在Google的“生成式AI学习”课程的“Encoder-Decoder Architecture: Overview 编码器-解码器架构”这期视频里面,里面谈到了temperature参数的作用。

如果温度很高,它会使得所有Token的得分变得接近于0,这意味着这个Token更有可能被选中。会有更多的多样性,更多的内容可以被预测,这会使得模型变得更有创造性。但如果温度太高,神经网络只会预测出无意义的东西。

如果温度非常低,最高的概率得分会被乘以一个非常大的数,这会使得最高得分的Token有更大的被选中的概率,也就是说,模型的行为会更加确定。

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容