Марко Ардженті — головний інформаційний директор Goldman Sachs.
Courtesy of Goldman Sachs
- Goldman внедрил AI-инструменты для своих 12 000 инженеров, и они уже встроили их в повседневные процессы.
- Марко Ардженти, главный технологический руководитель Goldman, рассказал BI о том, как оценивает продуктивность инженеров при работе с AI.
- По словам CIO, AI помогает инженерам буквально «3D-печатать» софт и создавать прототипы в реальном времени.
Пока корпоративная Америка спешит понять, как сотрудники используют AI, Goldman Sachs выбирает иной маршрут.
Многие компании предпочитают отслеживать вклад каждого человека. At JPMorgan фирма следит за панелями мониторинга, где отображаются AI-активности десятков тысяч пользователей, позволяя сотрудникам сравнивать себя с коллегами. At Meta медиагигант installing software на компьютеры сотрудников в США, чтобы фиксировать нажатия клавиш и движения мыши и тем самым train its AI, как сообщал Business Insider в прошлом месяце.
At Goldman Sachs, главный информационный директор Marco Argenti делает акцент на том, чтобы оценивать скорость команд при использовании AI tools, а не зацикливаться на показателях отдельных пользователей — по его словам, это может привести к тому, что вы «не увидите леса за деревьями».
Ардженти руководит примерно 12 000 инженеров и ведет компанию через быстрые изменения: AI перестраивает то, как разработчики создают программные продукты. Его интересует, насколько быстро Goldman’s команды проходят путь от идеи до продакшена, и действительно ли их работа улучшает время вывода нового решения — от инновационного замысла до продукта, готового к запуску.
Хотя Goldman может получать данные об индивидуальном использовании инструментов, включая собственные AI-продукты, банк предпочитает смотреть шире: анализировать результаты на уровне нескольких команд, чтобы ускорять сроки проектов, проводить проверки качества и учитывать потребление AI-токенов для бюджетирования. При этом банк не создавал трекинговые дашборды, которые бы заставляли разработчиков использовать AI и сравнивать свои показатели внедрения с показателями коллег.
Я поговорил с Ардженти о том, как Goldman определяет успех разработчиков в эпоху AI — и почему, по его мнению, персональный мониторинг активности инженеров может увести от сути.
Ниже — наша беседа, отредактированная для длины и ясности.
Идет спор: отслеживать или нет. Какой подход, на ваш взгляд, эффективнее для внедрения AI?
Поскольку работа почти всегда делается командами — а теперь это еще и гибридные команды из агентов и людей, — мы смотрим на командные метрики. В первую очередь — на скорость разработки конкретной функциональности.
Мы анализируем поток: сколько времени требуется, чтобы пройти путь от идеи до релиза в продакшене. Это видно по бэклогу: у команды есть очередь задач, и внезапно она начинает быстро «сжигать» этот список.
Почему вы считаете, что командный уровень полезнее персонального при оценке эффективности?
Если фокусироваться на отдельных людях, то легко упустить общую картину. Это как наблюдать только за одним игроком на поле.
Да, этот игрок больше двигается — но почему команда не забивает? Потому что нужно взаимодействие: иногда решает передача мяча.
Как правильно оценивать, насколько AI повышает производительность ваших инженеров?
Измерение продуктивности разработчиков — тема, за которой компании гоняются уже много лет. И универсального показателя не существует: кто-то считает строки кода, но это плохой ориентир. В итоге ценность результата определяется не тем, сколько кода написано, а тем, насколько он полезен для продукта.
Представьте, что вы начинаете фитнес-программу. Эффективнее смотреть на изменения в показателях здоровья, а не вырывать цифры из контекста. Если снижается холестерин или нормализуется сахар по сравнению с исходным уровнем — это может быть сигналом, что вы движетесь в правильном направлении.
Всех волнует рост затрат на токены. Как вы понимаете, что расходы дают измеримый эффект?
Если токенов расходуется много, а результаты не растут, это обычно означает, что вы все еще на стадии экспериментов. Мы нашли порог: ниже него метрики выхода не менялись, но после его превышения продуктивность начала заметно расти.
Когда мы разобрались, выяснилось, что люди активно «переписываются» с AI именно на этапе планирования — тратят токены на подготовку планов реализации и бизнес-требований, прежде чем перейти к написанию кода. Эта подготовка не дает мгновенного прироста «кодового» результата, потому что происходит до того, как разработчики начинают программировать.
Поэтому сначала виден всплеск потребления токенов, но без немедленного роста итоговых метрик. Затем, когда план готов, агент начинает собирать код — и тогда вы видите и дальнейший рост расхода токенов, и осязаемый результат в виде увеличения объема выполненной разработки.
Как ваши инженеры воспринимают полезность AI для ускорения выполнения задач?
Мы уже прошли точку, после которой энтузиазм превзошел страх.
Я только что был на своего рода демонстрации — встрече в формате инновационного шоукейса, которые мы проводим. Главный настрой — чувство расширения возможностей: люди ощущают себя почти освобожденными. Несколько недель или месяцев назад, конечно, было больше скепсиса и тревоги, и я связываю это в основном с теми, кто еще почти не пользовался инструментами.
Меняется ли из-за этой скорости то, как они показывают вам результаты? Уходит ли «культура PowerPoint» в сторону более прикладного подхода?
Они приходят с очень конкретной задачей, которую уже решили. И почти сразу переходят к прототипам новых продуктов — иногда даже до полной формализации идеи. Сейчас прототипирование стало почти мгновенным. Даже в ходе встречи вы обсуждаете — и они могут менять решение прямо у вас на глазах.
Раньше они бы принесли PowerPoint или документ на шесть страниц, и мне пришлось бы все представлять мысленно. Теперь я вижу реальный продукт. Я могу буквально сказать: «А что если так?» — и они тут же вносят правки прямо на встрече. Между идеей и прототипом почти нет времени — вы как будто «3D-печатаете» программное обеспечение.
