Короткий ответ: цифра «на 24% больше слитых pull request» реальна, но это прокси, а не отчёт о прибыли. Согласно препринту The Diffusion of Coding Agents at Microsoft (arXiv, 1 июля 2026), активные пользователи кодовых агентов сливали примерно на 24% больше PR, чем сопоставимая контрфактическая группа, и эффект держался в наблюдаемом четырёхмесячном окне. Авторы сами предупреждают: merged pull requests не измеряют напрямую качество кода, прибыль или ценность для клиента.
Если ты отвечаешь за то, как ИИ для бизнеса реально проходит путь от пилота до ежедневной работы команды, эта статья про два разных вопроса. Первый: как агенты расходятся по инженерам внутри большой компании. Второй: почему рост числа PR нельзя тихо переписать в строчку «выросла продуктивность» в презентации для руководства.
Что именно произошло 1 июля 2026
Главное: это не опрос и не маркетинговый кейс, а анализ поведения десятков тысяч инженеров внутри одной крупной компании.
По данным препринта (arXiv, 1 июля 2026), исследователи Microsoft изучали, как кодовые агенты распространяются и удерживаются среди десятков тысяч собственных инженеров. Вторичный разбор вышел на TechRepublic 2 июля 2026 и повторяет те же ключевые числа.
Три наблюдения, которые авторы считают устойчивыми:
- Первое использование заметно распространялось через рабочие социальные связи и команды. То есть человек чаще впервые запускал агента потому, что рядом его уже запускал коллега, а не потому что пришла рассылка сверху.
- Удержание после первого знакомства сильнее коррелировало с характером кодовой работы, чем с демографическими признаками. Проще говоря, останется человек с инструментом или нет, лучше объясняется тем, какой код он пишет, а не его стажем или должностью.
- Активные пользователи сливали примерно на 24% больше pull request, чем сопоставимая контрфактическая группа, и разрыв сохранялся четыре месяца.
Дальше по тексту я держу три вещи раздельно: что заявляют авторы, что показывают независимые пересказы, и где начинается уже моя интерпретация для твоей команды.
Кстати, если ты как раз собираешь свой мини-эксперимент по внедрению и хочешь сравнить, как одну и ту же задачу решают разные модели, держать все семейства в одном окне заметно дешевле по времени, чем гонять по отдельным личным кабинетам.
Почему «на 24% больше PR» — это не «на 24% больше пользы»
Главное: число слитых PR — это прокси производительности, и авторы прямо это подчёркивают.
Pull request — единица работы, которую легко посчитать. Именно поэтому её любят брать за метрику. Но у прокси есть цена.
Что merged PR не отражает:
- Качество кода. PR может влить технический долг, который вскроется через квартал.
- Прибыль и выручку. Больше слитого кода не значит больше денег.
- Ценность для клиента. Часть PR — внутренняя рутина, которая ничего не меняет для пользователя.
- Размер изменения. Десять мелких PR и один крупный считаются по-разному, а стоят по-разному.
Есть и вторая ловушка: важно не путать корреляцию с причинностью. Контрфактическая группа снижает риск, но «активный пользователь» — это уже самоотбор. Человек, который сам дотянулся до агента и остался с ним на четыре месяца, вероятно, и без агента был бы продуктивнее среднего. Часть из этих 24% — эффект инструмента, часть — эффект того, что за инструмент берутся определённые люди на определённых задачах. Препринт аккуратно строит контрфактическую оценку, но полностью развести эти два вклада на наблюдательных данных нельзя.
Практический вывод для внедрения: бери число PR как сигнал распространения, а не как доказательство созданной ценности. Для второго нужны отдельные метрики, к которым мы вернёмся ниже.
Как перенести вывод про диффузию на свою команду
Главное: если распространение идёт по социальным связям, то насаждать инструмент приказом — худшая из стратегий.
Из наблюдения про социальные связи следует практичная механика внедрения. Ниже — рабочие шаги, а не лозунги.
- Найди в команде людей, чей код по характеру ближе всего к тому, где агент помогает: много повторяющихся правок, тесты, миграции, шаблонный код. Именно у них по логике препринта выше шанс удержаться.
- Дай инструмент сначала им, а не всем сразу. Пусть это будут 3-5 человек, которые реально останутся с агентом.
- Сделай их работу видимой. Не отчёт «мы внедрили ИИ», а конкретные PR, где видно, что агент сэкономил время.
- Не считай успехом первый запуск. Считай успехом удержание через месяц. Первое использование по данным Microsoft расходится легко, а вот остаётся человек с инструментом или нет — вопрос отдельный.
- Замеряй свою контрфактическую базу заранее. Сколько PR, ревью, инцидентов было до пилота. Без базовой линии любой рост будет спорным.
Чек-лист «мы готовы мерить, а не верить»:
- [ ] Зафиксировали базовые метрики до старта пилота.
- [ ] Выбрали хотя бы одну метрику ценности помимо числа PR (например, доля откатов, время до фикса бага, доля PR с переработкой после ревью).
- [ ] Определили контрольную группу или период.
- [ ] Договорились, что «активный пользователь» — это про удержание, а не про один запуск.
- [ ] Заранее решили, при каких цифрах пилот считается проваленным.
Последний пункт важнее остальных. Пилот без заранее оговорённого условия провала всегда «успешен».
Как технически подключить агента, чтобы сравнивать модели
Главное: для эксперимента по внедрению тебе нужен способ быстро менять модель под задачей, а не переписывать код интеграции каждый раз.
Кодовые агенты и почти вся автоматизация вокруг LLM ходят в модель по HTTP. Если интеграция завязана на один SDK, ты сможешь дёргать несколько семейств моделей, меняя только ключ и адрес.
provod.ai даёт один API, совместимый с SDK OpenAI и Anthropic: меняешь ключ и base_url — и обращаешься к Claude, GPT, Gemini, DeepSeek или Qwen в одном месте, с одним рублёвым балансом. Оплата российской картой, через СБП или по счёту, без VPN и зарубежных карт. Для бизнеса есть договор, счёт и закрывающие документы. Это не замена автоматизационным платформам и не GigaChat — это доступ к зарубежным моделям через совместимый API, когда тебе надо сравнить или маршрутизировать между семействами.
Пример на Python через SDK OpenAI. Секреты — плейсхолдеры, вынеси их в переменные окружения.
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["PROVOD_API_KEY"], # ЗАМЕНИ: твой ключ, не хардкодь
base_url="https://api.provod.ai/v1", # единая точка входа
)
def run_task(model: str, prompt: str) -> str:
resp = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
)
return resp.choices[0].message.content
# один и тот же промпт на разных семействах — для честного сравнения
for model in ["gpt-...", "claude-...", "deepseek-...", "qwen-..."]:
print(model, run_task(model, "Опиши миграцию таблицы users на новую схему"))
Тот же принцип на SDK Anthropic — меняется клиент, не логика:
import os
from anthropic import Anthropic
client = Anthropic(
api_key=os.environ["PROVOD_API_KEY"], # ЗАМЕНИ: плейсхолдер
base_url="https://api.provod.ai",
)
msg = client.messages.create(
model="claude-...",
max_tokens=1024,
messages=[{"role": "user", "content": "Сделай ревью этого диффа"}],
)
print(msg.content[0].text)
Смысл в том, что для замера «какая модель на нашем коде даёт меньше переработки после ревью» тебе не нужно держать пять разных интеграций. Ты держишь одну и переключаешь строку model.
Сколько это стоит и как выбрать модель под задачу
Главное: для эксперимента по внедрению стоимость считается не по прайсу за токен, а по стоимости одной завершённой задачи с учётом переработок.
В препринте Microsoft нет цен на модели и нет прайсинга — там речь про поведение инженеров, а не про тарифы. Поэтому любые конкретные суммы за токен я приводить не буду: их в источнике нет. Что можно сказать честно — методику выбора.
Дорогая топовая модель, которая с первого раза даёт PR без переработки, часто дешевле дешёвой, к которой приходится возвращаться трижды. Считай так:
стоимость_задачи = цена_генерации + цена_переработок + время_ревьюера
Таблица решений — под какой класс задач какая тактика по модели. Это ориентир по типу работы, а не рейтинг конкретных версий.
| Тип задачи | Что важнее | Тактика по модели |
|---|---|---|
| Шаблонный код, тесты, миграции | Стабильность формата | Средняя модель, строгий промпт, автопроверка |
| Сложный рефакторинг, архитектура | Качество рассуждения | Топовая модель, обязательное ревью человеком |
| Массовая рутина, много вызовов | Цена за вызов | Дешёвая модель + жёсткие ограничения контекста |
| Ответ пользователю в проде | Предсказуемость и латентность | Фиксированная модель, никаких «поменяли на лету» |
| Разовое исследование | Гибкость | Любая, важно быстро переключаться |
Здесь и полезно, что с единого счёта в рублях на provod.ai можно гонять GPT, Claude, Gemini, DeepSeek и Qwen из одного чата и по одному API, а закрывающие документы для бизнеса (договор, счёт, акты) идут по-российски — без валютных карт и обходных схем оплаты. Для сравнения моделей под свою задачу это снимает бухгалтерский геморрой, но не отменяет главного: методику замера ценности ты всё равно строишь сам.
Где это ломается: типичные ошибки внедрения и автоматизации
Главное: большинство провалов пилота — это не про модель, а про то, что мерили не то и катили не туда.
Разберём частые режимы отказа.
Метрика подменяет цель. Команда начинает оптимизировать число PR, потому что его показывают руководству. Появляются мелкие косметические PR ради статистики. Лечится тем, что рядом с числом PR всегда стоит метрика ценности из чек-листа выше.
Пилот на всех сразу. Инструмент раздают всей команде приказом. По логике данных Microsoft удержание зависит от характера работы, поэтому в общей раздаче ты получаешь много первых запусков и мало удержавшихся. Кажется, что «не взлетело», хотя ты просто выбрал не тех первых пользователей.
Жёсткая привязка к одному вендору. Интеграцию пишут под один SDK и один прайсинг. Через месяц выходит модель дешевле или лучше — а переезд стоит недели. Совместимый API с переключением по base_url снижает эту цену, но не убирает её полностью: промпты и оценки всё равно надо перепрогонять.
Автоматизация без человека в контуре. Агент сам открывает PR, автоматика сама сливает по зелёным тестам. Тесты зелёные, но покрытие дырявое. Через квартал вскрывается регресс. Для рискованных путей ревью человеком должно оставаться обязательным.
Отдельно про n8n и подобные оркестраторы. Их часто ставят между задачей и моделью, чтобы собрать пайплайн: триггер, вызов LLM, запись результата. Тут важно понимать границу: provod.ai не заменяет автоматизационные платформы. Он закрывает шаг «вызов модели» — как HTTP-нода или узел, куда ты подставляешь совместимый эндпоинт и ключ. Сама оркестрация, ретраи, ветвления и хранение состояния остаются за n8n. Если в пайплайне что-то падает, диагностируй послойно:
- Сначала проверь, доходит ли запрос до эндпоинта (лог ноды HTTP).
- Потом — код ответа: авторизация (ключ), лимиты, формат тела.
- Потом — сам ответ модели: не пустой ли, валиден ли JSON, если ты просил структуру.
- И только потом — логику ветвления в самом оркестраторе.
Половина «модель сломалась» на деле оказывается опечаткой в base_url или ключом не из того окружения.
Чего это исследование и любой такой инструмент не решают
Честно про границы.
Препринт Microsoft не доказывает, что агенты повышают прибыль. Он показывает рост прокси-метрики в конкретной компании на конкретной популяции инженеров за четыре месяца. Переносить 24% на свою команду напрямую нельзя: у тебя другой код, другие люди, другой отбор.
Совместимый API не решает организационную часть внедрения. Он даёт техническую возможность сравнивать и маршрутизировать модели, но не выбирает за тебя метрику ценности, не проводит обучение команды и не пишет твои промпты.
provod.ai не заменяет автоматизационные платформы, не даёт GigaChat, не подменяет частную или on-prem инфраструктуру, не открывает функции, которые вендор отдаёт только по своей подписке, и не делает за тебя работу по интеграции. Это доступ к зарубежным моделям через один совместимый API с оплатой по-российски — ровно та роль, что нужна для сравнения семейств, и не больше.
И главное ограничение всей темы: рост числа слитых pull request — это сигнал, что инструмент разошёлся и людям с ним удобно. Равен ли этот сигнал созданной бизнес-ценности, каждая команда обязана проверять отдельными метриками. Именно об этом предупреждают сами авторы.
Источники
- The Diffusion of Coding Agents at Microsoft, препринт, arXiv, 1 июля 2026: https://arxiv.org/abs/2607.01418
- TechRepublic, вторичный разбор, 2 июля 2026: https://www.techrepublic.com/article/news-ai-coding-agents-microsoft-pull-requests/
Числа «десятки тысяч инженеров», «примерно на 24% больше PR» и «четырёхмесячное окно» взяты из препринта и подтверждены вторичным разбором. Что merged PR — это прокси, а не мера качества, прибыли или ценности для клиента, зафиксировано самими авторами.
Собери свой честный замер: подключи один API и прогоняй свою задачу на GPT, Claude, Gemini, DeepSeek и Qwen с единого счёта в рублях, чтобы сравнить модели под свой код, а не под чужую метрику.
provod.ai — Russian LLM API aggregator. One OpenAI-compatible endpoint to all flagship models: OpenAI (GPT-5.6, GPT-5.5), Anthropic (Claude Opus 4.8, Sonnet 4.6), Google (Gemini 3.1 Pro, 3.5 Flash), DeepSeek V4 Pro, Qwen 3.6 Plus. Provider prices at the CBR rate, no token markup. Pay in rubles to a Russian legal entity with full closing documents.
Try: provod.ai · model catalog · docs
Top comments (0)