Trang chủ Khám phá Trợ giúp
Đăng ký Đăng nhập
ai
/
OpenHands
2
0
Fork 0
Các tập tin Các vấn đề 0 Yêu cầu kéo về 0 Wiki
Tree: 4e8cfb0d60
Branches Tags
OpenHands
/
evaluation
/
logic_reasoning
Xingyao Wang b23c7aab5a [eval] stop set sid in eval (#4311) 1 năm trước cách đây
..
.cache_program 243cb492aa Run pre-commit on all files (#3884) 1 năm trước cách đây
scripts 31b244f95e [Refactor, Evaluation] Refactor and clean up evaluation harness to remove global config and use EventStreamRuntime (#3230) 1 năm trước cách đây
Dockerfile 152f99c64f Chore Bump python version (#3545) 1 năm trước cách đây
README.md 31b244f95e [Refactor, Evaluation] Refactor and clean up evaluation harness to remove global config and use EventStreamRuntime (#3230) 1 năm trước cách đây
__init__.py a9823491e6 Support Logic Reasoning Benchmark (#1973) 1 năm trước cách đây
instruction.txt 31b244f95e [Refactor, Evaluation] Refactor and clean up evaluation harness to remove global config and use EventStreamRuntime (#3230) 1 năm trước cách đây
logic_inference.py 31b244f95e [Refactor, Evaluation] Refactor and clean up evaluation harness to remove global config and use EventStreamRuntime (#3230) 1 năm trước cách đây
run_infer.py b23c7aab5a [eval] stop set sid in eval (#4311) 1 năm trước cách đây

README.md

Logic Reasoning Evaluation

This folder contains evaluation harness for evaluating agents on the logic reasoning benchmark ProntoQA and ProofWriter.

Setup Environment and LLM Configuration

Please follow instruction here to setup your local development environment and LLM.

Run Inference on logic_reasoning

The following code will run inference on the first example of the ProofWriter dataset,

./evaluation/logic_reasoning/scripts/run_infer.sh eval_gpt4_1106_preview_llm ProofWriter