Представьте себе, что однажды какой-то вундеркинд изобрел бы технологию, позволяющую людям или материальным предметам проходить сквозь стены, и разместил бы в интернете инструкцию, как дешево построить такую чудо-машину из общедоступных бытовых материалов. Как изменился бы мир?
Многие отрасли промышленности, вероятно, стали бы значительно более продуктивными. Возможность проходить сквозь стены вместо необходимости использовать двери, облегчила бы передвижение людей по офисам, перемещение товаров на складах и выполнение бесчисленных повседневных бытовых задач. Однако, негативные последствия вполне могли бы перевесить позитивные. Сохранение ценностей под замком потеряло бы всякий смысл. Любой желающий мог бы легко войти в помещение склада, забраться в банковский сейф или дом.
Большинство методов, которые мы используем для защиты частной собственности, в той или иной мере предполагают использование стен, поэтому все они в одночасье оказались бы бесполезными. Воры действовали бы безнаказанно до тех пор, пока общество не придумало бы альтернативные способы предотвращения подобных преступлений. Результатом такого развития событий мог стать экономический коллапс или социальный хаос.
Вышесказанное иллюстрирует общий принцип: технологические инновации не всегда полезны для общества, по крайней мере, в краткосрочной перспективе. Технологии способны создавать негативные внешние эффекты, экстерналии. Этот экономический термин означает вред, причиненный третьим лицам или сторонам. Если эти негативные экстерналии перевешивают полезность самой технологии, изобретение фактически делает мир хуже, а не лучше, по крайней мере, на некоторое время.
Машинное обучение, особенно его разновидность, известная как глубокое обучение, возможно, является самым «горячим» технологическим прорывом на планете. Оно дает компьютерам возможность выполнять множество задач, которые раньше могли выполнять только люди: распознавать изображения, управлять автомобилями, торговать на фондовом рынке и многое другое. Это породило у некоторых людей тревогу в связи с тем, что машинное обучение может сделать человека ненужным и бесполезным на рабочем месте. И это на самом деле возможно, но существует гораздо более серьезная опасность машинного обучения, которая до сих пор не привлекла достаточно пристального внимания. Речь идет о том, что если машины способны учиться, значит, они могут научиться в том числе и лгать.
Люди и сегодня могут фальсифицировать такие изображения как фотографии, однако, это трудоемкий и сложный процесс. А фальсификация голоса или видеоизображения вообще находится за пределами возможностей обычного человека. Но вскоре, благодаря машинному обучению, вполне вероятно, можно будет легко создавать правдоподобные поддельные видеоизображения чьего-то лица и производить впечатление, будто человек говорит собственным голосом. Уже сейчас существует технология синхронизации движений губ, которая может буквально вкладывать любые слова в уста человека. Это всего лишь верхушка айсберга. Вскоре 12-летние подростки в своих спальнях смогут создавать фотореалистичные и вполне правдоподобно звучащие поддельные изображения политиков, крупных бизнесменов, своих родственников или друзей, говорящих все, что только можно вообразить.
Это само по себе провоцирует некоторые очевидные злоупотребления. Политические мистификации, так называемые «поддельные новости» или «информационные вбросы», будут распространяться, как лесные пожары. Разумеется, обман будет обнаружен в самые короткие сроки – никакая цифровая технология не может быть настолько хороша, что другая технология не сумеет обнаружить фальшивку. Но это произойдет лишь после того как вредная идея уже проникнет в умы людей, которые в нее поверят. Представьте себе идеально сфабрикованное фальшивое видео, где кандидаты в президенты выкрикивают расовые оскорбления или признаются в совершении тяжких преступлений.
Однако, это лишь начало. Представьте себе потенциал для манипулирования рынком акций. Предположим, кто-то распространил фальшивый видеосюжет, на котором генеральный директор компании Tesla Илон Маск признает, что машины Tesla небезопасны. Видео будет распространяться по интернету, и акции компании рухнут. Вскоре после обнаружения подделки их цена восстановится, однако за это время манипуляторы смогут заработать огромные деньги, играя на понижение акций Tesla.
И это далеко не самый экстремальный сценарий. Представьте, что такой шутник создает реалистичное поддельное видеоизображение президента Дональда Трампа, заявляющего, что нанесение удара по северокорейским объектам является неизбежным, а затем размещает это видео там, где его могут увидеть северокорейцы. Каковы шансы, что руководство Северной Кореи поймет, что это фальшивка, прежде чем им придется принимать решение о начале войны?
Те, кто склонен рассматривать подобные экстремальные сценарии как алармист, обоснованно укажут, что любую подделку можно будет обнаружить, поскольку для их выявления будут использоваться те же технологии машинного обучения, что и для создания. Но это не значит, что нам не грозит опасность оказаться в мире, заполненном вездесущими подделками. Как только фальшивки станут достаточно правдоподобными, что люди не смогут самостоятельно их обнаруживать, мы навсегда лишимся доверия к тому, что видим и слышим. Вместо того, чтобы доверять нашим собственным органам чувств, мы будем вынуждены уповать на алгоритмы, используемые для выявления подделок и установления подлинности информации. На протяжении всей эволюции мы учились доверять собственным чувствам, и передача этих функций машинному интеллекту может оказаться для большинства людей слишком резкой переменой.
Это может стать плохой новостью для экономики. Сети делового сотрудничества и коммерции опираются на доверие и общение. Если машинное обучение однажды вбросит в общественную информационную сферу бескрайний ураган иллюзий и фальшивок, стены, созданные эволюцией для того, чтобы отличать реальность от вымысла, рухнут. В этом случае уровень доверия в обществе может стремительно упасть, что не замедлит негативно сказаться на глобальном благополучии человечества.
По этой причине правительство, вероятно, должно предпринять какие-то шаги для того, чтобы цифровая подделка подлежала суровому наказанию. К сожалению, нынешняя администрация вряд ли пойдет на такой шаг из любви к узкопартийным новостям. А такие правительства как российское, судя по всему, будут еще менее склонны обуздать подобную практику. В конечном итоге, сочетание плохого управления с мощными новыми технологиями представляет гораздо большую опасность для человеческого общества, чем сами эти технологии.
Автор, Ноа Смит – обозреватель агентства Bloomberg News