Midscene.js 是一个由 AI 驱动的浏览器自动化 SDK，旨在通过 Chrome 扩展、JavaScript 和 YAML 脚本实现自动化操作。这个项目的目标是简化用户界面控制、数据提取和断言操作，使开发者能够以自然语言描述操作步骤，从而实现自动化。

项目简介

Midscene.js 提供了一种全新的自动化体验。通过自然语言交互，用户可以描述所需的操作步骤，Midscene.js 会自动规划并控制用户界面。它能够理解用户界面，并以 JSON 格式返回预期的响应。此外，Midscene.js 还支持直观的断言，用户可以使用自然语言进行断言操作，所有这些都基于 AI 的理解能力。

项目特点

1. 自然语言交互：用户只需描述操作步骤，Midscene.js 会自动规划并控制用户界面。
2. 理解用户界面，返回 JSON：提供关于所需数据格式的提示，并以 JSON 格式返回预期的响应。
3. 直观的断言：用户可以使用自然语言进行断言操作，所有这些都基于 AI 的理解能力。
4. 通过 Chrome 扩展体验：用户可以立即开始使用 Chrome 扩展，无需编写代码即可探索。
5. 可视化报告：通过可视化报告文件，用户可以轻松理解和调试整个过程。
6. 开箱即用的 LLM：支持使用公共多模态 LLM，如 GPT-4，无需进行任何自定义训练。
7. 完全开源：体验全新的自动化开发世界，尽情享受！