GPT Prompt Engineer：设计来优化和测试AI提示的效果

构建有效的提示（Prompt）是一门艺术，也是一门科学。gpt-prompt-engineer通过自动化的测试和排名机制，帮助用户发现和优化最佳的AI提示，无论是用于文本生成、分类任务，还是其他AI应用场景。

gpt-prompt-engineer是一个创新的工具，专门设计来优化和测试AI提示的效果。用户只需输入任务描述和测试案例，gpt-prompt-engineer就能自动生成、测试并排名大量的提示，从而找到性能最佳的选项。

多样化的提示生成：支持GPT-4、GPT-3.5-Turbo、Claude 3 Opus等模型，根据提供的用例和测试案例生成多种可能的提示。

精确的提示测试：通过ELO评分系统对每个生成的提示进行性能测试和排名，让用户轻松识别最有效的提示。

github_ai_tool_gpt_prompt_engineer_1

分类任务版本：专为处理分类任务设计，通过匹配预期输出（'true'或'false'），为每个提示提供评分。

github_ai_tool_gpt_prompt_engineer_2

Claude 3 版本：充分利用Anthropic的Claude 3 Opus模型，支持自动生成测试案例并定义多个输入变量，提供更强大的灵活性。

日志记录：可选地将配置、系统和用户提示、测试案例及最终ELO评分记录到Weights & Biases，通过设置use_wandb为True来启用。

在Google Colab或本地Jupyter笔记本中打开相应的notebook。对于分类任务，使用分类版本的notebook；对于Claude 3版本，使用相应的notebook。
添加API密钥：在指定行添加OpenAI API密钥或Anthropic API密钥。
定义用例和测试案例：对于GPT-4版本，定义任务描述和具体的测试案例。对于Claude 3版本，除了用例描述外，还可以定义多个输入变量。
选择生成的提示数量：开始时，生成10个提示作为起点是一个好的选择。
生成、测试和评估提示：调用generate_optimal_prompt函数来生成提示列表，并测试评估它们的性能。

github_ai_tool_gpt_prompt_engineer_3

大家如果有兴趣的话，可以通过项目链接联系Matt Shumer共同推进这一项目的发展。gpt-prompt-engineer还为AI内容生成和分类任务提供了强大的支持，这样一来，不仅可以节省用户的时间和资源，还能显著提高任务执行的准确性和效率。