Răsfoiți Sursa

Show actual dataset name in swebench log directory (#4417)

Jiayi Pan 1 an în urmă
părinte
comite
c1b323a076
1 a modificat fișierele cu 4 adăugiri și 1 ștergeri
  1. 4 1
      evaluation/swe_bench/run_infer.py

+ 4 - 1
evaluation/swe_bench/run_infer.py

@@ -477,9 +477,12 @@ if __name__ == '__main__':
     if hasattr(_agent_cls, 'in_context_example'):
         details['in_context_example'] = _agent_cls.in_context_example
 
+    dataset_descrption = (
+        args.dataset.replace('/', '__') + '-' + args.split.replace('/', '__')
+    )
     metadata = make_metadata(
         llm_config,
-        'swe-bench-lite',
+        dataset_descrption,
         args.agent_cls,
         args.max_iterations,
         args.eval_note,