# 模型体验 *[Hydra]: 大模型服务平台的开发代号 Hydra 大部分模型不仅支持用户查看说明信息,还提供模型推理体验功能。 例如,您可以通过与大语言模型进行日常对话,直观感受其能力。 ![experience](./images/exp01.png) ## 体验入口 平台提供了两种便捷的体验入口,您可根据需求灵活选择: - **入口一** :在[模型广场](./index.md)页面,选择喜欢的模型,点击 **体验** ,即可进入对应的体验页面。 - **入口二** :通过左侧菜单栏,点击 **模型体验** ,选择模型类型后即可开启模型体验流程。目前可选 **文本模型** 和 **图片模型** 两种类型的模型体验。 ## 体验说明 首次进入 **体验中心** 页面时,系统会推荐目前比较火爆的优质模型供您选择。您可以: - 点击推荐的模型,直接体验大语言模型的对话功能; - 或从 **公共模型** 列表中挑选其他感兴趣的模型进行体验; - 如果你已经部署了自己的大模型,也可以从 **模型服务** 列表中挑选已经部署的模型进行体验。 ## 模型类型 ### 文本模型类型 体验中心支持使用预置的对话类模型,也支持选择您自己创建的服务,另外在线体验的模型可以选择 多 个。 ### 图片模型类型 体验中心支持使用预置的图像生成模型 Hidream-l1-Dev,也支持选择您自己创建的服务,另外在线体验的模型暂时支持 1 个。 ### 完成一次完整的对话 完成一次对话,只需三步: 1. 首次进入,选择一个 API Key,如果没有,可以授权平台自动创建。 1. 需先选择模型:在列表中选择您要体验的模型,点击模型进行体验。您已添加模型,可跳过此步骤,直接体验感兴趣的模型。 1. 如果您对模型的回答不满意,还可以点击 **刷新** 重新生成答案。您还可以点击 **复制** ,复制模型生成的内容。 此外,对话底部还展示了此轮回答调用 token 数的信息,您可以比较模型的性能。 ![切换](./images/exp04.png) ## 对话的更多功能 您可以点击文本对话框中右上角 **清除上下文** ,结束此轮对话,并清空上下文关系,下方对话将不受上方内容影响。 ![切换](./images/exp05.png) ## 模型对比 点击页面右上角的 **添加模型** ,文本生成类型的模型可以最多支持 3 个模型对比。 ![对比](./images/exp06.png) ## 模型切换 在顶部的模型信息栏,点击右侧的 **切换模型** 按钮,可以切换至其他模型。 ![切换](./images/exp02.png) ## 模型参数设置 平台向用户展示了模型的若干可调参数,不同的参数设置会影响模型生成的回答,您可以根据自己的需求进行设置。 在顶部的模型信息栏,点击右侧的 **模型配置** ,可以调整模型的参数。 ![切换](./images/exp03.png) 每个参数名后面紧跟着 **?** ,将鼠标悬浮在上面,即可展示该参数的详细说明,帮助您理解该参数。 | 参数名 | 参数说明 | 建议值 | | ----- | ------- | ------ | | 系统角色 | 定义模型的行为准则和背景信息,明确模型需要承担的职责和所扮演的角色。 | 例如“你是一个 AI 助手”。 | | top_p | 控制输出文本的多样性,值越大,生成的文本越丰富多样。 | 0.8 | | temperature | 值越高,输出结果越随机多样;值越低,输出会更加集中且确定。 | 0.7 | | max_tokens | 模型可以生成的最大 Token 数,如设置为 0,则表示不限制。 | 普通聊天:500–800;
短文:800–2000;
代码:2000–3600;
长文:4000+ | !!! note `temperature` 和 `top_p` 都能控制模型输出的随机性,但方式不同。 - `temperature` 调节整体概率分布。数值越高,输出越随机、有创造性;数值越低,输出越稳定、确定性强。 可以理解为“调整模型大胆程度的旋钮”。 - `top_p` 限制参与采样的候选词范围。模型只在累计概率达到阈值的高概率词中选择下一个词, 从而过滤掉低概率的“长尾”词。可以理解为“先把不靠谱的选项剔除再选词”。 在工程实践中,通常二选一即可: - 想要稳定可控的输出时,优先使用 `temperature` - 希望输出自然流畅且不过于发散时,优先使用 `top_p` 更多请参阅 [Hugging Face 文档的参数说明](https://huggingface.co/docs/transformers/)。