Сообщение о том, что ChatGPT, удивительный чатбот с искусственным интеллектом, был обучен на суперкомпьютере Nvidia, вызвало один из крупнейших однодневных ростов в истории фондового рынка. На момент открытия биржи Nasdaq 25 мая 2023 года стоимость Nvidia выросла примерно на двести миллиардов долларов. Несколькими месяцами ранее Дженсен Хуанг, исполнительный директор Nvidia, сообщил инвесторам, что Nvidia продала подобные суперкомпьютеры пятидесяти из ста крупнейших компаний Америки. К концу торгов Nvidia занимала шестое место среди самых дорогих корпораций планеты и стоила больше, чем Walmart и ExxonMobil вместе взятые. Положение Хуанга в бизнесе можно сравнить с положением Сэмюэля Брэннана, знаменитого торговца поисковыми принадлежностями в Сан-Франциско в конце восемнадцатых-сороковых годов. “В сфере АИ идет война, и Nvidia – единственный торговец оружием”, – сказал один из аналитиков с Уолл-стрит.
Хуанг – терпеливый монополист. В 1993 году в ресторане Denny’s в Сан-Хосе (штат Калифорния) он вместе с двумя другими людьми составил документы для Nvidia и с тех пор руководит ею. В свои шестьдесят лет он саркастичен и самокритичен, с лицом медвежонка и седыми волосами. Основной продукт Nvidia – графический процессор, печатная плата с мощным микрочипом в основе. Сначала Nvidia продавала эти графические процессоры геймерам, но в 2006 году Хуанг начал продавать их и суперкомпьютерному сообществу. Затем, в 2013 году, основываясь на многообещающих исследованиях академического сообщества компьютерных наук, Хуанг поставил будущее Nvidia на искусственный интеллект. Искусственный интеллект разочаровывал инвесторов на протяжении десятилетий, и Брайан Катанзаро, ведущий исследователь Nvidia в области глубокого обучения, в то время сомневался. “Я не хотел, чтобы он попал в ту же ловушку, в которую попала индустрия глубокого интеллекта в прошлом”, – сказал мне Катанзаро. “Но через десять лет он оказался прав”.
По прогнозам, в ближайшем будущем A.I. будет создавать фильмы по запросу, обучать детей и учить автомобили управлять собой. Все эти достижения будут реализованы на графических процессорах Nvidia, а доля Хуанга в компании сейчас стоит более сорока миллиардов долларов.
В сентябре я встретился с Хуангом за завтраком в ресторане Denny’s, где была основана Nvidia. (Генеральный директор Denny’s вручал ему памятную табличку, и там присутствовала съемочная группа телевидения). Хуанг постоянно поддерживает полукомический deadpan. Болтая с нашей официанткой, он заказал семь блюд, включая сэндвич “Суперптица” и жареный стейк с курицей. “Знаете, раньше я работал здесь посудомойщиком”, – сказал он ей. “Но я много работал! Очень много. Поэтому я стал официантом”.
Хуанг обладает практическим складом ума, не любит спекуляции и никогда не читал научно-фантастических романов. Он исходит из первых принципов того, что микрочипы могут делать сегодня, а затем с большой уверенностью играет на то, что они будут делать завтра. “Я делаю все возможное, чтобы не выйти из бизнеса”, – сказал он за завтраком. “Я делаю все возможное, чтобы не потерпеть неудачу”. Хуанг считает, что базовая архитектура цифровых вычислений, мало изменившаяся с тех пор, как она была представлена компанией I.B.M. в начале девятнадцатых годов, сейчас переосмысливается. “Глубокое обучение – это не алгоритм”, – сказал он недавно. “Глубокое обучение – это метод. Это новый способ разработки программного обеспечения”. Вечером, накануне нашего завтрака, я смотрел видео, в котором робот, управляемый этим новым видом программного обеспечения, смотрел на свои руки, казалось, узнавая их, а затем сортировал коллекцию цветных блоков. От этого видео у меня по коже побежали мурашки; казалось, что устаревание моего вида уже близко. Хуанг, скатывающий пальцами блинчик в колбаску, отмахнулся от моих опасений. “Я знаю, как это работает, так что здесь нет ничего особенного”, – сказал он. “Это ничем не отличается от работы микроволн”. Я надавил на Хуанга – автономный робот, несомненно, представляет риск, которого нет у микроволновой печи. Он ответил, что никогда не беспокоился об этой технологии, ни разу. “Все, что он делает, – это обрабатывает данные”, – сказал он. “Есть много других вещей, о которых стоит беспокоиться”.
“В области искусственного интеллекта идет война, и Nvidia – единственный торговец оружием”, – сказал один из аналитиков с Уолл-стрит.Иллюстрация Хавьера Хаэна
В мае сотни лидеров индустрии поддержали заявление, в котором риск распространения искусственных интеллектов приравнивался к риску ядерной войны. Хуанг его не подписал. Некоторые экономисты отмечают, что промышленная революция привела к относительному сокращению глобальной популяции лошадей, и задаются вопросом, не может ли A.I. сделать то же самое с людьми. “У лошадей ограниченные возможности для карьерного роста”, – говорит Хуанг. “Например, лошади не умеют печатать”. Пока он заканчивал есть, я высказал свои опасения, что когда-нибудь в скором времени я введу свои записи из нашего разговора в интеллектуальную машину и буду наблюдать, как она выдает структурированную, превосходную прозу. Хуанг не отверг такую возможность, но заверил меня, что до момента, когда я стану Джоном Генри, еще несколько лет. “Сначала это произойдет с писателями-фантастами”, – сказал он. Затем он дал официантке тысячу долларов и встал, чтобы принять свою награду.
Хуанг родился на Тайване в 1963 году, но когда ему было девять лет, его и его старшего брата отправили в США без сопровождения взрослых. Они приземлились в Такоме, штат Вашингтон, чтобы жить у дяди, а затем их отправили в баптистский институт Онейда в Кентукки, который дядя Хуанга считал престижной школой-интернатом. На самом деле это была религиозная реформаторская академия. Хуанга поселили с семнадцатилетним соседом по комнате. В первую ночь их совместной жизни старший мальчик задрал рубашку, чтобы показать Хуангу многочисленные места, куда его ударили ножом во время драк. “Все ученики курили, и, кажется, я был единственным мальчиком в школе без перочинного ножа”, – сказал мне Хуанг. Его сосед по комнате был неграмотным; по словам Хуанга, в обмен на то, что он научил его читать, “он научил меня отжиматься от скамьи. В итоге каждый вечер перед сном я отжимался по сто раз”.
Хотя Хуанг жил в академии, он был слишком мал, чтобы посещать ее занятия, поэтому он ходил в близлежащую государственную школу. Там он подружился с Беном Бэйсом, который жил со своими пятью братьями и сестрами в старом доме без водопровода. “Большинство детей в школе были детьми табачных фермеров, – говорит Бэйс, – или просто бедняками, живущими в ущелье”. Хуанг приехал, когда учебный год уже начался, и Бэйс помнит, как директор представил ему низкорослого азиатского иммигранта с длинными волосами и сильным акцентом в английском языке. “Он был идеальной мишенью”, – говорит Бэйс.
Над Хуангом без устали издевались. “В те времена китайцев называли “китаезами”, – сказал мне Хуанг без видимых эмоций. “Нас так называли каждый день”. Чтобы попасть в школу, Хуангу приходилось переходить по шаткому пешеходному мосту через реку. “Эти разводные мосты были очень высокими”, – говорит Бэйс. “Это были старые доски, и большинство из них отсутствовали”. Иногда, когда Хуанг переходил мост, местные мальчишки хватались за веревки и пытались его сбросить. “Но, похоже, это никогда его не трогало”, – говорит Бэйс. “Он просто отряхивался”. К концу учебного года, сказал мне Бэйс, Хуанг уже водил тех же детей в лес. Бэйс вспоминает, как осторожно Хуанг обходил недостающие доски. “На самом деле все выглядело так, будто ему было весело”, – сказал он.
Хуанг считает, что время, проведенное в Онейде, помогло ему выработать стойкость. “Тогда не было консультанта, с которым можно было бы поговорить”, – сказал он мне. “Тогда нужно было просто смириться и жить дальше”. В 2019 году он подарил школе здание и с любовью рассказывал о пешеходном мосте (которого теперь нет), не упоминая о хулиганах, которые пытались сбросить его с него.
Через несколько лет родители Хуанга добились разрешения на въезд в США и поселились в Орегоне, а братья воссоединились с ними. Хуанг отлично учился в средней школе и занимал первое место в стране по настольному теннису. Он состоял в школьных математическом, компьютерном и научном клубах, пропустил два класса и окончил школу в шестнадцать лет. “У меня не было девушки”, – говорит он.
Хуанг поступил в Орегонский государственный университет, где специализировался на электротехнике. Его напарницей по лабораторным занятиям на вводных курсах была Лори Миллс, искренняя, занудная студентка с вьющимися каштановыми волосами. “На электротехническом факультете было около двухсот пятидесяти ребят и, может быть, три девушки”, – сказал мне Хуанг. Между студентами мужского пола разгорелась борьба за внимание Миллс, и Хуанг почувствовал, что оказался в невыгодном положении. “Я был самым младшим в классе”, – сказал он. “На вид мне было лет двенадцать”.
Каждые выходные Хуанг звонил Миллс и уговаривал ее сделать с ним домашнее задание. “Я пытался произвести на нее впечатление – не своей внешностью, конечно, а тем, что могу выполнить домашнее задание”, – говорит он. Миллс согласилась, и после шести месяцев выполнения домашних заданий Хуанг набрался смелости и пригласил ее на свидание. Она приняла и это предложение.
После окончания университета Хуанг и Миллс нашли работу в Кремниевой долине в качестве дизайнеров микрочипов. (“На самом деле она зарабатывала больше меня”, – говорит Хуанг.) Они поженились, и через несколько лет Миллс ушла с работы, чтобы воспитывать детей. К тому времени Хуанг уже руководил собственным подразделением, а по ночам учился в аспирантуре Стэнфорда. Он основал Nvidia в 1993 году вместе с Крисом Малаховски и Кертисом Примом, двумя ветеранами-разработчиками микрочипов. Хотя Хуанг, которому тогда было тридцать лет, был моложе Малаховски и Прима, оба чувствовали, что он готов стать исполнительным директором. “Он быстро учился”, – говорит Малаховски.
Малаховски и Прим хотели разработать графический чип, который, как они надеялись, заставит конкурентов, по словам Прима, “позеленеть от зависти”. Они назвали свою компанию NVision, пока не узнали, что это название носит производитель туалетной бумаги. Хуанг предложил Nvidia, отталкиваясь от латинского слова invidia, означающего “зависть”. Он выбрал ресторан Denny’s в качестве места для организации бизнеса, потому что там было тише, чем дома, и был дешевый кофе, а также из-за своего опыта работы в сети ресторанов в Орегоне в девятнадцати-восьмидесятых годах. “Я обнаружил, что лучше всего соображаю, когда нахожусь в сложных условиях”, – говорит Хуанг. “Мой пульс действительно снижается. Тот, кто сталкивался с часом пик в ресторане, знает, о чем я говорю”.
Хуангу нравились видеоигры, и он подумал, что существует рынок более совершенных графических чипов. Вместо того чтобы рисовать пиксели вручную, художники начали собирать трехмерные полигоны из фигур, известных как “примитивы”, что экономило время и силы, но требовало новых чипов. В примитивах конкурентов Nvidia использовались треугольники, но Хуанг и его сооснователи решили вместо них использовать четырехугольники. Это была ошибка, которая едва не погубила компанию: вскоре после выпуска первого продукта Nvidia компания Microsoft объявила, что ее графическое программное обеспечение будет поддерживать только треугольники.
Не имея денег, Хуанг решил, что его единственная надежда – использовать традиционный треугольный подход и попытаться опередить конкурентов на рынке. В 1996 году он уволил более половины из ста человек, работавших в Nvidia, а затем поставил оставшиеся средства компании на производство непроверенных микрочипов, в работоспособности которых он не был уверен. “Ставка была пятьдесят на пятьдесят, – сказал мне Хуанг, – но мы все равно собирались выйти из бизнеса”.
Когда продукт, известный как riva 128, поступил в магазины, у Nvidia было достаточно денег, чтобы выплатить зарплату только за один месяц. Но авантюра окупилась, и за четыре месяца Nvidia продала миллион riva. Хуанг поощрял своих сотрудников к продолжению поставок с чувством отчаяния, и на протяжении многих лет он открывал презентации для сотрудников словами: “Наша компания находится в тридцати днях от выхода из бизнеса”. Эта фраза до сих пор остается неофициальным девизом компании.
В центре штаб-квартиры Nvidia, в Санта-Кларе, находятся два огромных здания, каждое из которых имеет форму треугольника с обрезанными углами. Эта форма в миниатюре повторяется во всех интерьерах здания – от диванов и ковров до брызговиков в писсуарах. “Космические корабли” Nvidia, как сотрудники называют эти два здания, просторны и наполнены светом, но жутковаты и в основном пусты; после ковида в любой день здесь появляется лишь треть сотрудников. Демографический состав сотрудников “разнообразен”, вроде как… Я бы предположил, основываясь на визуальном обследовании кафетерия во время обеда, что примерно треть персонала – выходцы из Южной Азии, треть – из Восточной Азии и треть – белые. Работники в подавляющем большинстве – мужчины.
Еще до взлета цен на акции в опросах сотрудников Nvidia была признана одним из лучших мест для работы в Америке. В каждом здании есть бар наверху, где регулярно проводятся счастливые часы, а сотрудников поощряют относиться к своим офисам как к гибким пространствам, где можно есть, кодить и общаться. Тем не менее, интерьеры зданий безупречны – компания Nvidia следит за сотрудниками в течение дня с помощью видеокамер и искусственного интеллекта. Если сотрудник ест за столом для переговоров, искусственный интеллект может в течение часа прислать уборщика, чтобы навести порядок. В ресторане Denny’s Хуанг сказал мне, что стоит ожидать мир, в котором роботы отойдут на второй план, как бытовая техника. “В будущем все, что движется, будет автономным”, – сказал он.
Единственные, кого я видел в Nvidia, кто не выглядел счастливым, были специалисты по контролю качества. В лабораториях без окон под баром на севере кампуса бледные молодые люди в берушах и футболках толкали микрочипы Nvidia на грани отказа. Шум стоял невыносимый, постоянный вой вентиляторов, пытающихся охладить перегретые кремниевые микросхемы. Именно эти микросхемы сделали возможной революцию в области искусственного интеллекта.
В стандартной компьютерной архитектуре большую часть работы выполняет микрочип, известный как “центральный процессор”. Кодеры создают программы, а те передают математические задачи в ЦПУ, который выдает по одному решению за раз. На протяжении десятилетий основным производителем центральных процессоров была компания Intel, и она неоднократно пыталась вытеснить Nvidia. “Я не подхожу к Intel”, – сказал мне Хуанг, описывая их отношения в стиле “Том и Джерри”. “Всякий раз, когда они приближаются к нам, я забираю свои чипы и убегаю”.
Nvidia использует альтернативный подход. В 1999 году, вскоре после выхода на биржу, компания представила видеокарту GeForce, которую Дэн Виволи, глава отдела маркетинга компании, назвал “графическим процессором”. (“Мы изобрели эту категорию, чтобы стать в ней лидером”, – сказал Виволи.) В отличие от универсальных C.P.U., G.P.U. разбивает сложные математические задачи на небольшие вычисления, а затем обрабатывает их все сразу, в методе, известном как параллельные вычисления. C.P.U. функционирует как курьерский грузовик, доставляющий по одной посылке за раз; G.P.U. больше похож на парк мотоциклов, разбросанных по городу.
Линейка GeForce имела успех. Ее популярность была обусловлена серией видеоигр Quake, в которых параллельные вычисления использовались для визуализации монстров, в которых игроки могли стрелять из гранатомета. (Quake II вышла, когда я учился на первом курсе колледжа, и стоила мне нескольких лет жизни). В серии Quake также был режим “deathmatch” для многопользовательских боев, и ПК-геймеры, желая получить преимущество, покупали новые карты GeForce при каждом обновлении. В 2000 году Ян Бак, аспирант, изучающий компьютерную графику в Стэнфорде, соединил тридцать две карты GeForce в цепь, чтобы играть в Quake с помощью восьми проекторов. “Это была первая игровая установка в разрешении 8K, и она занимала целую стену”, – сказал мне Бак. “Это было прекрасно”.
Бак задумался, не пригодятся ли карты GeForce для других задач, кроме запуска гранат в его друзей. Карты поставлялись с примитивным инструментом программирования под названием шейдер. Получив грант от darpa, исследовательского подразделения Министерства обороны, Бак взломал шейдеры, чтобы получить доступ к схемам параллельных вычислений, расположенным под ними, и превратил GeForce в малобюджетный суперкомпьютер. Вскоре Бак уже работал на Хуанга.
Бак – напряженный и лысеющий, он излучает интеллект. Он – горячий поклонник компьютерных наук, который провел последние двадцать лет, тестируя пределы возможностей чипов Nvidia. Человеческие существа “мыслят линейно. Если вы даете кому-то инструкцию, как добраться отсюда до Starbucks, вы даете ему отдельные шаги”, – говорит он. “Но вы не даете им инструкций о том, как добраться до любой точки Starbucks из любого места. Просто трудно мыслить так, параллельно”.
С 2004 года Бак руководил разработкой пакета программного обеспечения для суперкомпьютеров Nvidia, известного как cuda. По замыслу Хуанга, cuda должна была работать на каждой карте GeForce. “Мы демократизировали супервычисления”, – сказал Хуанг.
Пока Бак разрабатывал программное обеспечение, команда разработчиков аппаратного обеспечения Nvidia начала выделять место на микрочипах для суперкомпьютерных операций. Чипы содержали миллиарды электронных транзисторов, которые проводили электричество по лабиринтам схем, чтобы завершить вычисления с необычайной скоростью. Арджун Прабху, ведущий инженер Nvidia, сравнил дизайн микрочипов с градостроительством: разные зоны чипа отводятся под разные задачи. Как игроки в “Тетрис” видят падающие блоки, так и Прабху иногда видит транзисторы во сне. “У меня часто бывало так, что лучшие идеи приходили в пятницу вечером, когда они мне буквально снились”, – говорит Прабху.
Когда в конце 2006 года был выпущен cuda, Уолл-стрит отреагировала с тревогой. Хуанг нес суперкомпьютеры в массы, но массы не показывали никаких признаков того, что им это нужно. “Они тратили целое состояние на эту новую архитектуру чипов”, – говорит Бен Гилберт, соведущий популярного подкаста “Acquired” из Кремниевой долины. “Они тратили многие миллиарды, нацеливаясь на малоизвестный уголок академических и научных вычислений, который в то время не был большим рынком – конечно, меньше, чем те миллиарды, которые они вливали в него”. Хуанг утверждал, что простое существование cuda увеличит сектор суперкомпьютеров. Эта точка зрения не получила широкого распространения, и к концу 2008 года цена акций Nvidia упала на семьдесят процентов.
В своих выступлениях Хуанг упоминал о визите в офис Тинг-Вай Чиу, профессора физики из Национального университета Тайваня, который придал ему уверенности в себе в этот период. Чиу, стремясь смоделировать эволюцию материи после Большого взрыва, построил самодельный суперкомпьютер в лаборатории, примыкающей к его кабинету. Придя в лабораторию, Хуанг обнаружил, что она захламлена коробками GeForce, а компьютер охлаждается колеблющимися настольными вентиляторами. “Дженсен – провидец”, – сказал мне Чиу. “Он сделал возможной работу всей моей жизни”.
Чиу был образцовым покупателем, но таких, как он, было немного. Загрузка cuda достигла пика в 2009 году, а затем в течение трех лет снижалась. Члены совета директоров опасались, что падение курса акций Nvidia сделает ее мишенью для корпоративных рейдеров. “Мы сделали все возможное, чтобы защитить компанию от акционера-активиста, который может прийти и попытаться развалить ее”, – сказал мне Джим Гейтер (Jim Gaither), давний член совета директоров. Доун Хадсон, бывший руководитель отдела маркетинга N.F.L., вошла в совет директоров в 2013 году. “Это была явно плоская, застойная компания”, – сказала она.
Занимаясь маркетингом cuda, Nvidia стремилась привлечь широкий круг клиентов, включая биржевых трейдеров, нефтеискателей и молекулярных биологов. В какой-то момент компания заключила сделку с General Mills, чтобы смоделировать теплофизику приготовления замороженной пиццы. Одним из приложений, на которое Nvidia потратила мало времени, был искусственный интеллект. Казалось, для него не было особого рынка.
В начале двадцатых годов прошлого века искусственный интеллект был заброшенной дисциплиной. Прогресс в таких базовых задачах, как распознавание изображений и речи, был лишь незначительным. В рамках этой непопулярной академической области еще менее популярная подотрасль решала задачи с помощью “нейронных сетей” – вычислительных структур, вдохновленных человеческим мозгом. Многие ученые-компьютерщики считали нейронные сети дискредитированными. “Мои консультанты отговаривали меня от работы над нейронными сетями, – сказал мне Катанзаро, исследователь глубокого обучения, – потому что в то время они считались устаревшими и не работали”.
Катандзаро назвал исследователей, которые продолжали работать над нейронными сетями, “пророками в пустыне”. Одним из таких пророков был Джеффри Хинтон, профессор Университета Торонто. В 2009 году исследовательская группа Хинтона использовала платформу cuda от Nvidia для обучения нейронной сети распознаванию человеческой речи. Он был удивлен качеством результатов, которые представил на конференции в том же году. После этого он обратился в Nvidia. Я отправил письмо со словами: “Слушайте, я только что сказал тысяче исследователей машинного обучения, что они должны пойти и купить карты Nvidia. Не могли бы вы прислать мне одну бесплатно? ” – сказал мне Хинтон. “Они ответили отказом”.
Несмотря на неприятие, Хинтон поощрял своих студентов использовать cuda, в том числе своего протеже украинского происхождения по имени Алекс Крижевский, которого Хинтон считал, возможно, лучшим программистом, которого он когда-либо встречал. В 2012 году Крижевский и его партнер по исследованиям Илья Суцкевер, работая в условиях ограниченного бюджета, купили две карты GeForce на Amazon. Затем Крижевский начал обучать нейронную сеть визуального распознавания на платформе параллельных вычислений Nvidia, загружая в нее миллионы изображений за одну неделю. “Две платы G.P.U. жужжали у него в спальне”, – говорит Хинтон. “На самом деле это его родители оплачивали довольно значительные расходы на электричество”.
Суцкевер и Крижевский были поражены возможностями плат. Ранее в том же году исследователи из Google обучили нейронную сеть, которая идентифицировала видео с кошками, для чего потребовалось около шестнадцати тысяч C.P.U. Суцкевер и Крижевский получили результаты мирового класса, используя всего две печатные платы Nvidia. “Появились G.P.U., и это было похоже на чудо”, – сказал мне Суцкевер.
AlexNet, нейросеть, которую Крижевский тренировал в доме своих родителей, теперь можно поставить в один ряд с флаером Райта и лампочкой Эдисона. В 2012 году Крижевский представил AlexNet на ежегодном конкурсе визуального распознавания ImageNet; в то время нейронные сети были настолько непопулярны, что он был единственным участником, использовавшим эту технику. AlexNet показал настолько высокие результаты, что организаторы поначалу засомневались, не обманул ли Крижевский. “Это был своего рода момент Большого взрыва”, – говорит Хинтон. “Это был сдвиг парадигмы”.
За десятилетие, прошедшее с момента публикации девятистраничного описания Крижевским архитектуры AlexNet, на него ссылались более ста тысяч раз, что делает его одной из самых важных работ в истории информатики. (Среди прочего, AlexNet правильно идентифицировал фотографии скутера, леопарда и контейнеровоза). Крижевский стал первопроходцем в ряде важных методов программирования, но его ключевым открытием стало то, что специализированный графический процессор может обучать нейронные сети в сотни раз быстрее, чем универсальный графический процессор. “Заниматься машинным обучением без cuda было бы слишком сложно, – говорит Хинтон.
Через пару лет каждый участник конкурса ImageNet использовал нейронную сеть. К середине двадцатых годов нейросети, обученные на G.P.U., идентифицировали изображения с точностью девяносто шесть процентов, превзойдя человека. Десятилетний крестовый поход Хуанга за демократизацию суперкомпьютеров увенчался успехом. Тот факт, что они могут решать задачи компьютерного зрения, которые совершенно не структурированы, заставляет задаться вопросом: “Чему еще вы можете его научить? ” – сказал мне Хуанг.
Ответ, похоже, был таким: всему. Хуанг пришел к выводу, что нейронные сети произведут революцию в обществе и что с помощью cuda он сможет занять выгодное положение на рынке необходимого оборудования. Он объявил, что снова делает ставку на компанию. “В пятницу вечером он разослал письмо, в котором говорилось, что все переходит на глубокое обучение и что мы больше не являемся графической компанией”, – рассказал мне Грег Эстес, вице-президент Nvidia. “К утру понедельника мы стали компанией по производству искусственных интеллектов. Буквально, это было так быстро”.
Примерно в то время, когда Хуанг отправил письмо, он обратился к Катандзаро, ведущему исследователю в области искусственного интеллекта компании Nvidia, с мысленным экспериментом. “Он попросил меня представить, что он вывел все восемь тысяч сотрудников Nvidia на парковку”, – говорит Катандзаро. “Затем он сказал мне, что я могу выбрать любого человека с парковки, чтобы присоединиться к своей команде”.
Хуанг редко дает интервью и старается отвлечь внимание от себя. “Я не думаю, что сделал здесь что-то особенное”, – сказал он мне. “В основном это моя команда”. (“Он незаменим”, – сказал мне член совета директоров Джим Гейтер.) “Я не уверен, почему именно меня выбрали на пост исполнительного директора”, – сказал Хуанг. “У меня не было никакого особого стремления”. (“Он был полон решимости управлять бизнесом к тридцати годам”, – сказал мне его соучредитель Крис Малаховски). “Я не очень хороший оратор, потому что я довольно интроверт”, – сказал Хуанг. (“Он отличный артист”, – сказал мне его друг Бен Бэйс.) “У меня есть только одна суперспособность – домашние задания”, – сказал Хуанг. (“Он может освоить любой предмет за выходные”, – говорит Дуайт Диркс, руководитель отдела программного обеспечения Nvidia).
Хуанг предпочитает гибкую корпоративную структуру, без фиксированных подразделений и иерархии. Вместо этого сотрудники еженедельно представляют список из пяти самых важных дел, над которыми они работают. Приветствуется краткость, поскольку Хуанг просматривает эти письма до поздней ночи. Прогуливаясь по гигантскому кампусу Nvidia, он часто останавливается у столов младших сотрудников и расспрашивает их о работе. Визит Хуанга может превратить кабинет в камеру допроса. “Обычно в Кремниевой долине можно избежать наказания, если вы не будете знать, о чем идет речь”, – сказал мне отраслевой аналитик Ханс Мозесманн. “С Дженсеном так не получится. Он просто выйдет из себя”.
Хуанг общается со своими подчиненными, ежедневно отправляя сотни электронных писем, зачастую состоящих всего из нескольких слов. Один руководитель сравнил эти письма с хайку, другой – с записками о выкупе. Хуанг также разработал набор управленческих афоризмов, к которым он регулярно обращается. При составлении расписания Хуанг просит сотрудников учитывать “скорость света”. Это не просто означает, что нужно действовать быстро; скорее, сотрудники должны подумать о том, как быстро можно выполнить задачу, а затем двигаться назад к достижимой цели. Их также поощряют стремиться к “рынку с нулевым миллиардом долларов”. Речь идет об исследовательских продуктах, таких как cuda, у которых не только нет конкурентов, но даже нет очевидных клиентов. (Иногда Хуанг напоминал мне героя Кевина Костнера из фильма “Поле мечты”, который строит бейсбольный стадион посреди кукурузного поля в Айове, а затем ждет, когда приедут игроки и болельщики).
Возможно, самым радикальным убеждением Хуанга является то, что “неудача должна быть общей”. В начале двухтысячных годов Nvidia поставила бракованную видеокарту с громким, чрезмерно активным вентилятором. Вместо того чтобы уволить менеджеров по продукту, Хуанг организовал встречу, на которой менеджеры представили нескольким сотням человек все решения, которые они приняли и которые привели к фиаско. (Nvidia также распространила в прессе сатирический видеоролик с участием менеджеров по продукту, в котором карта была перепрофилирована в воздуходувку для листьев). Представление своих неудач перед аудиторией стало любимым ритуалом в Nvidia, но такие корпоративные сессии борьбы не для всех. “Сразу видно, кто здесь задержится, а кто нет”, – говорит Диркс. “Если кто-то начинает защищаться, я знаю, что он не справится”.
Сотрудники Хуанга иногда жалуются на его переменчивый характер. “Все дело в том, что происходит в моем мозгу, а не в том, что выходит изо рта”, – сказал мне Хуанг. “Когда несоответствие велико, это выливается в гнев”. Даже когда он спокоен, интенсивность Хуанга может быть подавляющей. “Общаться с ним – все равно что сунуть палец в электрическую розетку”, – сказал один из сотрудников. Тем не менее, Nvidia отличается высокой степенью удержания сотрудников. Джефф Фишер, возглавляющий потребительское подразделение компании, был одним из первых сотрудников. Сейчас он очень богат, но продолжает работать. “Многие из нас на данный момент являются финансовыми волонтерами, – говорит Фишер, – но мы верим в миссию”. Оба ребенка Хуанга в двадцатилетнем возрасте работали в гостиничном бизнесе; после долгих лет отцовских уговоров они теперь работают в Nvidia. Катанзаро в свое время ушел в другую компанию. Через несколько лет он вернулся. “Дженсен – человек, с которым нелегко постоянно ладить”, – говорит Катанзаро. “Иногда я боялся Дженсена, но я также знаю, что он любит меня”.
После успеха AlexNet венчурные капиталисты начали вкладывать деньги в A.I. “Мы инвестируем во множество стартапов, применяющих глубокое обучение во многих областях, и каждый из них эффективно работает на платформе Nvidia”, – заявил в 2016 году Марк Андреессен из компании Andreessen Horowitz. Примерно в то же время Nvidia поставила свой первый специализированный суперкомпьютер DGX-1 для исследовательской группы OpenAI. Хуанг сам доставил компьютер в офис OpenAI; Элон Маск, занимавший в то время пост председателя совета директоров, вскрыл упаковку с помощью ножа для разрезания коробок.
В 2017 году исследователи Google представили новую архитектуру для обучения нейронных сетей под названием трансформер. В следующем году исследователи OpenAI использовали фреймворк Google для создания первого “генеративного предварительно обученного трансформатора”, или G.P.T. Модели G.P.T. обучались на суперкомпьютерах Nvidia, поглощая огромные массивы текстов и учась создавать человекоподобные связи. В конце 2022 года, после нескольких версий, ChatGPT был выпущен в открытый доступ.
С тех пор Nvidia была переполнена запросами клиентов. Последний обучающий модуль компании, известный как DGX H100, представляет собой металлическую коробку весом в триста семьдесят килограммов, стоимость которой может достигать пятисот тысяч долларов. В настоящее время он находится в резервном заказе уже несколько месяцев. DGX H100 работает в пять раз быстрее, чем оборудование, на котором обучался ChatGPT, и мог бы обучить AlexNet менее чем за минуту. По прогнозам Nvidia, к концу года будет продано полмиллиона таких устройств.
Чем больше вычислительная мощность нейросети, тем более сложным становится ее результат. Для самых продвинутых моделей искусственного интеллекта Nvidia продает стойку из десятков DGX H100. Если этого недостаточно, Nvidia расставляет эти компьютеры, как библиотечные стопки, заполняя центр обработки данных суперкомпьютерным оборудованием стоимостью в десятки миллионов долларов. Очевидных пределов возможностям A.I. не существует. “Если вы позволите себе поверить, что искусственный нейрон похож на биологический, то вы как будто обучаете мозги”, – сказал мне Суцкевер. “Они должны делать все то, что можем делать мы”. Поначалу я скептически отнесся к утверждению Суцкевера – я не научился определять кошек, просмотрев десять миллионов эталонных изображений, и не научился писать, отсканировав все произведения человечества. Но ископаемые свидетельствуют о том, что нервная система впервые возникла несколько сотен миллионов лет назад и с тех пор становилась все более совершенной. “На Земле уже давно существует множество живых существ, которые многому научились, – говорит Катанзаро, – и многое из этого записано в физических структурах вашего мозга”.
Новейшие A.I.s. обладают способностями, которые удивляют даже их создателей, и никто до конца не знает, на что они способны. (GPT-4, преемник ChatGPT, может превратить набросок на салфетке в функционирующий веб-сайт и набрал восемьдесят восьмой процент баллов на экзамене LSAT). В ближайшие несколько лет аппаратное обеспечение Nvidia, ускоряя эволюцию до скорости компьютерного цикла, будет обучать всевозможные подобные модели искусственного интеллекта. Некоторые из них будут управлять инвестиционными портфелями, другие – летать на дронах. Одни будут красть и воспроизводить вашу внешность, другие – подражать голосам мертвых. Кто-то будет служить мозгом для автономных роботов, кто-то – создавать генетически адаптированные лекарства. Кто-то будет писать музыку, кто-то – стихи. Если мы не будем осторожны, то когда-нибудь один из них превзойдет нас.
Валовая рентабельность оборудования Nvidia приближается к семидесяти процентам. Такое соотношение привлекает конкурентов так же, как кета привлекает акул. Google и Tesla разрабатывают аппаратное обеспечение для обучения А.И., как и многочисленные стартапы. Один из таких стартапов – Cerebras, который производит “мегачип” размером с обеденную тарелку. “Они просто вымогают деньги у своих клиентов, и никто не говорит об этом вслух”, – сказал о Nvidia исполнительный директор Cerebras Эндрю Фельдман. (Хуанг возразил, что хорошо обученная модель A.I. может снизить накладные расходы клиентов в других сферах бизнеса. “Чем больше вы покупаете, тем больше вы экономите”, – сказал он).
Самый яростный соперник Nvidia – Advanced Micro Devices (AMD). С 2014 года компанией A.M.D. руководит Лиза Су, еще один талантливый инженер, в юном возрасте иммигрировавший в США из Тайваня. За годы, прошедшие с тех пор, как Су возглавила компанию, цена акций A.M.D. выросла в тридцать раз, что делает ее вторым после Хуанга самым успешным исполнительным директором полупроводниковой компании этой эпохи. Су также приходится Хуангу двоюродной сестрой по отцу.
Хуанг рассказал мне, что в детстве он не знал Су; он познакомился с ней только после того, как она стала генеральным директором. “Мы не очень конкурентоспособны”. (Сотрудники Nvidia могут по памяти назвать относительную долю рынка видеокарт Nvidia и A.M.D.). У них разные характеры: Су сдержанна и стоична, а Хуанг темпераментен и экспрессивен. “У нее отличный покер-фейс”, – говорит Мозесманн, аналитик отрасли. “У Дженсена его нет, хотя он все равно найдет способ обыграть вас”.
Су предпочитает преследовать действующего президента и ждать, пока он не оступится. В отличие от Хуанга, она не боится конкурировать с Intel, и за последнее десятилетие A.M.D. захватила значительную часть бизнеса Intel в области C.P.U. – подвиг, который аналитики когда-то считали невозможным. Недавно Су обратила свое внимание на рынок A.I.. “Дженсен не хочет проигрывать. Он целеустремленный человек”, – говорит Форрест Норрод, руководитель, курирующий работу A.M.D. “Но мы думаем, что сможем конкурировать с Nvidia”.
Хмурым сентябрьским днем в пятницу я отправился на элитный курорт с видом на Тихий океан, чтобы посмотреть, как Хуанг будет давать публичное интервью Хао Ко, ведущему архитектору штаб-квартиры Nvidia. Я приехал рано и застал двух мужчин лицом к океану, занятых тихой беседой. Они были одеты почти одинаково – в черные кожаные куртки, черные джинсы и черные туфли, хотя Ко был гораздо выше. Я надеялся уловить несколько откровенных высказываний о будущем вычислительной техники; вместо этого я получил шестиминутный рассказ о гардеробе Ко. “Посмотрите на этого парня!” сказал Хуанг. “Он одет точно так же, как я. Он копирует меня, что очень умно, только у его брюк слишком много карманов”. Ко нервно хихикнул и посмотрел вниз на свои дизайнерские джинсы, в которых было несколько больше карманов на молнии, чем того требовала функция. “Упрощай, чувак!” сказал Хуанг, а затем повернулся ко мне. “Вот почему он одет как я. Я научил этого парня всему, что он знает”. (Гардероб Хуанга вызывает множество подражаний, а в начале этого года он был отмечен в разделе “Стиль” газеты Times).
Спонсором интервью выступила компания Gensler, одна из ведущих в мире фирм, занимающихся корпоративным дизайном, а в зале присутствовало несколько сотен архитекторов. По мере приближения мероприятия Хуанг усиливал интенсивность своего выступления, произнося слабые шутки и раскачиваясь взад-вперед на ногах. Хуанг дает десятки выступлений в год, и ранее в тот день он уже выступал перед другой аудиторией, но я понял, что он нервничает. “Я ненавижу публичные выступления”, – сказал он.
Однако на сцене он выглядел расслабленным и уверенным в себе. Он объяснил, что световые люки на волнистой крыше его штаб-квартиры расположены таким образом, чтобы освещать здание, но при этом блокировать прямой солнечный свет. Чтобы рассчитать дизайн, Хуанг пристегнул Ко к гарнитуре виртуальной реальности, а затем прикрепил гарнитуру к стойке с графическими процессорами Nvidia, чтобы Ко мог отслеживать поток света. “Это первое в мире здание, для создания которого понадобился суперкомпьютер”, – сказал Хуанг.
После интервью Хуанг ответил на вопросы аудитории, в том числе о потенциальных рисках, связанных с искусственными интеллектами. “Есть такие искусственные интеллекты судного дня – искусственные интеллекты, которые каким-то образом выпрыгивают из компьютера, потребляют тонны и тонны информации, учатся сами, меняют свое отношение и восприятие и начинают самостоятельно принимать решения, включая нажатие всевозможных кнопок”, – сказал Хуанг, пантомимически нажимая на кнопки в воздухе. В комнате стало очень тихо. “Ни один A.I. не должен быть способен обучаться без участия человека”, – сказал он. Один из архитекторов спросил, когда A.I. начнет разбираться во всем самостоятельно. “Способность к рассуждениям появится через два-три года”, – сказал Хуанг. По толпе прошел негромкий ропот.
После этого я пообщался с Ко. Как и во многих других шутках Хуанга, в шутке про обучение Ко “всему, что он знает” была доля правды. Ко еще не успел стать партнером в Gensler, когда Хуанг выбрал его для штаб-квартиры Nvidia, обойдя босса Ко. Я спросил Ко, почему Хуанг так поступил. “Вы, наверное, слышали истории”, – сказал Ко. “Он может быть очень жестким. Он может раздеть вас”. У Хуанга не было опыта работы в архитектуре, но он часто говорил Ко, что тот ошибался при проектировании здания. “Я бы сказал, что девяносто процентов архитекторов будут ругаться в ответ”, – говорит Ко. “Я же больше люблю слушать”.
Ко вспоминает, как Хуанг бросил вызов инженерному составу Nvidia по поводу скорости работы гарнитуры V.R. Изначально гарнитуре требовалось пять часов для визуализации изменений в дизайне; по настоянию Хуанга инженеры снизили скорость до десяти секунд. “Он был строг с ними, но в этом была своя логика”, – говорит Ко. “Если на гарнитуру уходило пять часов, я соглашался на любой оттенок зеленого, который казался мне подходящим. Если бы это заняло десять секунд, я бы потратил время, чтобы выбрать лучший оттенок зеленого”.
Дизайн зданий получил несколько наград и сделал карьеру Ко. Тем не менее, Ко вспоминает о своей работе над проектом со смешанными чувствами. “Все было закончено, все выглядело потрясающе, мы проводили экскурсию, и он спросил меня о размещении фонтанов”, – рассказывает Ко. “Он был расстроен, потому что они находились рядом с туалетами! Этого требуют правила, а это здание стоимостью в миллиард долларов! Но он просто не мог с этим смириться”.
“Я никогда не бываю доволен”, – сказал мне Хуанг. “Что бы ни было, я вижу только недостатки”.
Я спросил Хуанга, делает ли он сегодня какие-либо авантюры, похожие на те, что он сделал двадцать лет назад. Он сразу же ответил одним словом: “Вселенная”. Вдохновленная архитектурным гамбитом V.R., Omniverse – это попытка Nvidia смоделировать реальный мир на необычайно высоком уровне детализации. Хуанг назвал ее “промышленной метавселенной”.
С 2018 года в видеокартах Nvidia появилась функция “трассировки лучей”, которая моделирует отражение света от объектов для создания фотореалистичных эффектов. В треугольнике из матового стекла в конференц-центре Nvidia специалист по демонстрации продуктов показал мне трехмерную визуализацию сверкающего японского магазина рамена. Когда демонстрационный ролик переходил от одной точки обзора к другой, свет отражался от металлического прилавка, а пар поднимался от бурлящей кастрюли с бульоном. Ничто не указывало на то, что это не настоящее.
Затем специалист показал мне “Диану”, гиперреалистичный цифровой аватар, говорящий на пяти языках. Мощный генеративный искусственный интеллект изучил миллионы видеозаписей людей, чтобы создать композитную сущность. Больше всего поразили недостатки – у Дианы были угри на носу и следы волос на верхней губе. Единственным признаком того, что Диана не была настоящим человеком, было жуткое мерцание в белках ее глаз. “Мы работаем над этим”, – сказал специалист.
В планах Хуанга – объединить исследования Nvidia в области компьютерной графики с исследованиями в области генеративных технологий. По его мнению, генерирующие изображения искусственные интеллекты скоро станут настолько сложными, что смогут создавать трехмерные, обитаемые миры и населять их реалистично выглядящими людьми. В то же время ИИ, обрабатывающие язык, смогут мгновенно интерпретировать голосовые команды. (“Язык программирования будущего будет “человеческим”, – сказал Хуанг.) Когда эти технологии будут объединены с трассировкой лучей, пользователи смогут создавать целые вселенные. Хуанг надеется использовать таких “цифровых двойников” нашего собственного мира для безопасного обучения роботов и самоуправляемых автомобилей. В сочетании с технологией V.R. Omniverse также может позволить пользователям жить в реальности, созданной по индивидуальному заказу.
После демонстрации продукта у меня закружилась голова. Я думал о научной фантастике, я думал о Книге Бытия. Я сидел на треугольном диване с обрезанными углами и пытался представить себе будущее, в котором будет жить моя дочь. Руководители Nvidia строили “Манхэттенский проект” в области компьютерных наук, но когда я спросил их о мудрости создания сверхчеловеческого интеллекта, они посмотрели на меня так, словно я сомневался в полезности стиральной машины. Я вслух поинтересовался, может ли искусственный интеллект когда-нибудь убить человека. “Эх, электричество убивает людей каждый год”, – сказал Катанзаро. Я задался вопросом, может ли оно уничтожить искусство. “Оно сделает искусство лучше!” сказал Диркс. “Оно сделает вас намного лучше в вашей работе”. Я задался вопросом, сможет ли когда-нибудь искусственный интеллект осознать себя. “Чтобы быть существом, вы должны быть сознательными. У вас должно быть какое-то знание о себе, верно?” сказал Хуанг. “Я не знаю, когда это может произойти”.
По материалам статьи Стивена Витта“The Chosen Chip” журнала The New Yorker от 4 декабря 2023 года.
