Trang chủ Khám phá Trợ giúp
Đăng ký Đăng nhập
ai
/
OpenHands
2
0
Fork 0
Các tập tin Các vấn đề 0 Yêu cầu kéo về 0 Wiki
Tree: b295f5775c
Branches Tags
OpenHands
/
evaluation
/
benchmarks
/
logic_reasoning
Engel Nyst b295f5775c Revert "Fix issue #5609: Use litellm's modify_params with default True" (#5631) 11 tháng trước cách đây
..
.cache_program 678436da30 Fix issue #5222: [Refactor]: Refactor the evaluation directory (#5223) 1 năm trước cách đây
scripts 9908e1b285 [Evaluation]: Log openhands version in eval output folder, instead of agent version (#5394) 1 năm trước cách đây
Dockerfile 678436da30 Fix issue #5222: [Refactor]: Refactor the evaluation directory (#5223) 1 năm trước cách đây
README.md 8f47547b08 docs: fix markdown linting and broken links (#5401) 1 năm trước cách đây
__init__.py 678436da30 Fix issue #5222: [Refactor]: Refactor the evaluation directory (#5223) 1 năm trước cách đây
instruction.txt 678436da30 Fix issue #5222: [Refactor]: Refactor the evaluation directory (#5223) 1 năm trước cách đây
logic_inference.py 678436da30 Fix issue #5222: [Refactor]: Refactor the evaluation directory (#5223) 1 năm trước cách đây
run_infer.py b295f5775c Revert "Fix issue #5609: Use litellm's modify_params with default True" (#5631) 11 tháng trước cách đây

README.md

Logic Reasoning Evaluation

This folder contains evaluation harness for evaluating agents on the logic reasoning benchmark ProntoQA and ProofWriter.

Setup Environment and LLM Configuration

Please follow instruction here to setup your local development environment and LLM.

Run Inference on logic_reasoning

The following code will run inference on the first example of the ProofWriter dataset,

./evaluation/benchmarks/logic_reasoning/scripts/run_infer.sh eval_gpt4_1106_preview_llm ProofWriter