Лучший способ в чём-то разобраться – это попробовать собрать проект своими руками. Именно этим мы занимаемся на Hacker Sprint. Мы выбираем прикладную тему, разбиваемся на команды и за две недели каждая команда пилит свою реализацию, которую можно потом использовать для себя или на работе. В финале показываем, что получилось, и выбираем лучший проект.
В этот раз мы писали оркестраторы агентов – системы, которые автоматически берут задачи из бэклога, прогоняют ее через определенный воркфлоу и доводят до PR. Все детали тут: Правила.
В спринте участвовали 50 клубчан, из которых мы собрали 15 команд, работавших в течение двух недель. До финиша дошли 14 из них: Projects List ! Все проекты получились уникальными – какие-то из них были полностью самописными, а какие-то базировались на готовых движках. Кто-то сфокусировался на сэндбоксинге, кто-то – на гибкости определения воркфлоу, а кто-то – на том, чтобы система генерировала сразу несколько параллельных имплементаций.
Победителя выбирали жюри, состоящем из Егора Толстого, и кураторов спринта – наших экспертов, которые уже рассказывали в Клубе, как разработали свои оркестраторы. Это Гена Евстратов, Степан Гончаров и Михаил Мужаровский.
<aside> 🏅
Команда The Foundry (Alexander Zhurbin, Mikhail Derbichev, Михаил Иконников).
</aside>
https://www.loom.com/share/de2d7abbb7104649842b2ec1f53dfde4
Вот тут можно посмотреть пример execution лога – как агент проходил все шаги пайплайна для выполнения задачи.
Этот проект победил, потому что команда удержала хороший баланс между тем, чтобы реализовать дополнительные фичи сверх базового минимума, и тем, чтобы довести каждую из них до продакшн состояния. В целом оркестратор сейчас выглядит так, что его можно с минимальными усилиями забрать под любой проект – и это очень круто!
А если детальнее, вот что выделило жюри:
Помимо The Foundry, еще несколько проектов были очень близки к победе, и заметно выделялись среди остальных.
| Проект | Комментарии жюри |
|---|---|
| ‣ | • Пайплайн редактируется как данные, а не зашит код – и его легко адаптировать под разные проекты. |
| • Есть мобильный режим с работой через Telegram. | |
| • Заточен под полную автономность и работу без участия человека. | |
| • Авторезолв merge конфликтов – это круто! | |
| Iron Press | • Полноценная студия для редактирования графа выполнения пайплайна и связанных промптов. |
| • Узлами пайплайна могут быть как агенты, так и детерминированные действия. | |
| • Есть возможность настраивать разные воркфлоу под разные типы задач. | |
| • Хорошо проработан узел по уточнению требований к исходной задаче. | |
| Heavy Lifting | • Очень классная визуализация всего пайплайна через работу завода! |
| • Интересный подход с накоплением ошибок и последующим проведением ретроспективы мета-агентом. | |
| • Хорошо проработан груминг задач. | |
| • Есть возможность кастомизировать промпты под разные типы задач. | |
| The Furnace | • Поэкспериментировали с Temporal, и хорошо прочувствовали его достоинства и ограничения. |
| • Интересно сделана эскалация к человеку через создание новых подзадач. | |
| • Круто продуманы изоляция агентов и восстановление стейта. | |
| • Агенту на вход дается довольно жесткий контракт через спеку, которую он уже не может менять. | |
| Gear Grinders | • Единственная команда, которые сделали подход к параллельным имплементациям одной и той же задачи – так что это оркестратор для богатых! |
| • Защита от проедания токенов через отлавливание бесконечных циклов отдельынм агентом. | |
| • Хороший подход к сендбоксингу. | |
| • Интересные эксперименты с разделением задач между умными и дешевыми моделями, в том числе эскалация между ними. |