type
status
date
slug
summary
tags
category
icon
password
环境配置
开始评测
查看配置文件和支持的数据集名称
OpenCompass 预定义了许多模型和数据集的配置，你可以通过工具 列出所有可用的模型和数据集配置。
评测Llama3在C-Eval_gen数据集上的表现
命令行评测
遇到 ModuleNotFoundError: No module named 'rouge' 错误请运行：
评测结果如下所示
添加自定义配置文件快速评测
config快速评测
在
config 下添加模型配置文件 eval_llama3_8b_demo.py，配置文件内容见https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/opencompass.md#%EF%B8%8F-%E5%BF%AB%E9%80%9F%E8%AF%84%E6%B5%8B运行
python run.py configs/eval_llama3_8b_demo.py启动评测，这里是评测mmlu数据集上的表现
但是最后很遗憾，我好像没有跑出结果，有点报错
有关这篇博客的任何问题，欢迎您在底部评论区留言，我会在github邮箱中第一时间收到邮件，让我们一起交流~
- Author:Zachary_Yang
- URL:https://notion-next-git-main-little1ds-projects.vercel.app//a57655c2eb3e4ff4ae6a6bc127828b45
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!