Проверка навыков

Режимы и входы

Нужны целевой навык, версия/хеш, доступные инструменты и ожидаемый результат задачи. Разделяй структурную проверку, маршрутизацию и поведение. Проверка YAML не доказывает правильность результата; явное подключение навыка не проверяет его автоматический выбор.

Для одного исправления проверь затронутую регрессию и соседний отрицательный случай. Для нового предметного навыка добавь нормальную задачу, неоднозначный запрос, отсутствующий инструмент, отказ/повтор и границу разрешений. Пример набора: cases.json. Расширяй его на основе реальных ошибок, а не ради числа тестов.

Исполнение

1. Зафиксируй запрос, входные файлы, ограничения среды и критерии результата до запуска.
2. Для маршрутизации используй свежий контекст и реальный каталог без принудительного подключения целевого навыка. Если это невозможно, пометь выбор навыка непроверенным.
3. Для поведенческой проверки предоставь исполнителю навык и минимальные исходные данные. При доступной и разрешённой независимой проверке не раскрывай ожидаемый ответ или предыдущие выводы исполнителю; сравни результат после запуска.
4. Изолируй изменения в временной папке. Не обращайся к production, не отправляй сообщения и не раскрывай секреты ради теста.
5. Сохрани фактический результат, действия, артефакты и команды проверки. Оцени наблюдаемое поведение, не совпадение формулировок.

Вердикт

• pass: наблюдения покрывают все обязательные критерии конкретного случая;
• fail: воспроизводимое нарушение;
• partial: часть критериев проверена, остальное недоступно;
• not_run: проверки не выполнялись.

Не заполняй pass только потому, что инструкция содержит правильные слова. Не повторяй неудачные тесты до случайного успеха; сохрани первый результат и причину повторения. Заверши отчётом: версия, окружение, исполненные случаи, доказательства, пробелы и минимальное направление исправления.