Bird Dev Benchmark

1. 运行

需要以下三个组件

1.1 PandasMan本体

Gitlab地址：https://gitlab.transwarp.io/taiwei.zhang/viper

PandasMan本体可以使用镜像

或在本地部署开发环境

（运行本benchmark的PandasMan的机器推荐 32G+ 内存）

1.1.1 镜像部署

docker pull harbor.transwarp.io/pandasman/viper:main
# 在gitlab获取docker-compose.yml和deploy.sh
docker compose up -d

1.1.2 本地部署

详见gitlab中Dockerfile

1.1.3 部署成功后

打开 ip:port/app 能够看到页面

1.2 数据准备

1.2.1 如果是镜像部署的PandasMan

git clone https://gitlab.transwarp.io/taiwei.zhang/database

并将database文件夹挂载到容器中的/app/database

1.2.2 如果是本地部署的PandasMan

cd viper
rm -r database
git clone https://gitlab.transwarp.io/database

需要 20G+ 磁盘空间

打开 ip:port/app 看到左侧有11个不同的数据源，如california_schools，即为获取数据成功

1.3 评估框架

git clone https://gitlab.transwarp.io/taiwei.zhang/ef
cd ef
poetry install && poetry shell
python main.py config/bird_evaluation_superhero_with_majority_vote.yaml # 125个case
python main.py config/bird_evaluation_with_majority_vote.yaml # 全量一千多个case

此时，会创建一个./data/bird/summary_superhero_majority_vote.xlsx，实时更新进度。

注意，这个评估框架并非完全成熟，暂时不能跑完停止；若xlsx打不开可以多尝试几次。

2. 调优

可以修改 database/base_padansman_config.yaml

然后在viper目录下运行 python database/update_pandasman_config.py