Глубокое обучение требует огромного количества вычислительных ресурсов, чтобы обучить модель выполнять определённые задачи. Также есть зависимость между количеством вычислительных ресурсов, требуемых для обучения модели, и количеством ресурсов, требуемых для её использования. И если гипотеза о масштабировании верна, нам следует ожидать, что производительность модели будет предсказуемо улучшаться с увеличением вычислительных мощностей. индексы и котировки Эти наблюдения привели к гипотезе о масштабировании, которая гласит, что мы можем просто строить всё большие и большие нейронные сети и в итоге будем получать всё более и более мощный искусственный интеллект и таким образом дойдём до интеллекта человеческого уровня и дальше. И таким образом с 2012 года количество вычислительных ресурсов, используемых для обучения самых больших моделей, выросло больше чем в миллиард раз.

Как и в случае других исследовательских проектов на ранней стадии, мы не знаем, насколько сложно решить проблему алайнмента (или другие проблемы ИИ, которые могут нести риски). Кто-нибудь может посчитать, что хотя значительные риски со стороны машинного интеллекта действительно есть, однако вряд ли дополнительные исследования или работа над регулированием чем-то помогут, поэтому лучше работать над чем-нибудь другим. Однако в целом это наивысшие оценки величины экзистенциального риска среди всех вопросов, которые мы исследовали (например, пандемии искусственного происхождения, конфликт сверхдержав, изменение климата или ядерная война). И, как мы уже объяснили, мы считаем, что доводы в пользу настолько высоких оценок довольно убедительны. Поэтому, с нашей точки зрения, очень вероятно, что риски со стороны ИИ — это самая важная проблема, стоящая перед человечеством.

Вполне возможно, что у нас ещё много времени для работы над этой проблемой

И даже если ни у одного ИИ нет всех этих свойств сразу, тем не менее возможно, что лишить власти человечество смогут системы, составленные из «специализированных» ИИ. Если рассмотреть получившуюся систему как единое целое, то можно заметить, что она способна строить и выполнять планы для достижения какой-то цели, и, возможно, у неё также есть развитые способности в тех областях, которые помогают накапливать власть. Поэтому даже для системы из многих взаимодействующих друг с другом ИИ риск остаётся.

Польза от трансформационного ИИ может быть огромна, и над его разработкой работают множество различных действующих лиц в разных странах, поэтому предотвратить его появление, вероятно, было бы довольно сложно. Мы можем лишь опираться на доводы вроде тех, что мы привели выше, и на менее релевантные данные, вроде истории технологических достижений. Если мы сможем предотвратить поведение, направленное на получение власти, мы значительно снизим этот экзистенциальный риск. Например, старшеклассник, задумывающийся о своей карьере, может решить, что учёба в университете поможет ему в будущем получить работу. Мы не уверены, создают ли эти системы планы «чтобы достигнуть целей ради самих целей» — мы вообще не уверены, что именно означает высказывание, что у кого-то или чего-то «есть цель».

1. И даже если ИИ будет развиваться постепенно, возможно, будет очень полезно подготовить планы и технические решения заранее.
2. Например, некоторые исследования сосредоточены на том, чтобы гарантировать, что модели ML будут делать то, что мы от них хотим, и это не изменится при увеличении их размера и способностей.
3. Мы считаем, что риски, вызванные развитием ИИ, могут быть одной из наиболее критичных для нашего мира проблем.
4. Например, не исключено, что достаточно развитый ИИ окажется способен заставить нас поверить, что мы решили задачу «как распознать обман со стороны ИИ», хотя на самом деле мы её не решили.

Аннотация научной статьи по наукам об образовании, автор научной работы — Valerii S. Efimov, Alla V. Laptevа

И мы полагаем, что в результате появятся системы, обладающие всеми тремя упомянутыми свойствами. Чтобы действия этих систем в самом деле влияли на мир, нужно, чтобы они не просто умели планировать, но также хорошо умели делать всё, что необходимо для реализации их планов. В число знаменитых экономистов, которые считают, что ИИ, скорее всего, станет технологией общего назначения, входят Мануэль Трахтенберг и Эрик Бринолффсон.

1. Таким образом, система функционирует, как минимум, не совсем так, как мы бы от неё хотели в идеальном мире.
2. А это значит, что ты, скорее всего, упустишь лучшие возможности повлиять на мир.
3. Например, в данных, используемых для обучения нейронных сетей, часто есть неявная предвзятость.
4. В итоге, скорее всего, мы столкнёмся с чем-то похожим на одну из этих ситуаций, а не с вариантом, когда можно будет просто выдернуть одну машину из розетки.
5. Но что самое важное, распространённая идея о том, что значительный экзистенциальный риск может представлять лишь абсолютно универсальный искусственный интеллект, ошибочна.

Сложно сказать, продолжатся ли эти тенденции, однако они говорят о том, что за последние десять лет границы возможного при помощи машинного обучения существенно расширились. Они обнаружили, что количество вычислительных ресурсов, требуемых для получения той же производительности, падает экспоненциально — уменьшается вдвое каждые 16 месяцев. GPT-3, выпущенная OpenAI в июне 2020 года, по мнению многочисленных СМИ стала значительным шагом вперёд в возможностях систем глубокого обучения.

Почему у опасного ИИ нельзя просто выдернуть вилку из розетки?

Это может произойти из-за состояния «гонки», в котором люди будут пытаться запустить свой ИИ раньше, чем это сделает кто-то ещё. Здесь мы тоже видим незаалайненную систему, которая работает как минимум несколько иначе, чем нам бы хотелось. Как мы поговорим ниже, мы считаем, что проблемы с целями у систем ИИ могут привести к особенно плохим последствиям. Есть причины считать, что продвинутые планирующие системы такого рода будут «незаалайненными». Это означает, что они будут стремиться делать то, чего мы бы от них не хотели.Шапиро и Шехтер, 2002). Однако, как уже упоминалось, мы ожидаем, что в этом веке системы ИИ будут улучшаться и дальше.

И можно вспомнить примеры из других областей, как люди разрабатывали очень опасные системы. ИИ уже помогают во многих отраслях медицины, управляют беспилотными автомобилями на дорогах и автоматизируют работу по дому. Например, когда мы изучаем другие культуры или этические системы, у нас совсем не всегда появляется желание следовать их этике. Специалист по довоенному Югу США может очень хорошо понимать, почему рабовладельцы XIX века считали себя высокоморальными людьми, но вряд ли он будет защищать рабовладение. Достаточно развитое стратегическое мышление будет включать в себя прекрасное понимание мира.

Другие считают, что это возможно, но вряд ли это произойдёт, и уж точно не с помощью современных методов глубокого обучения. Тем не менее, у многих людей нет стремления fte full form in company к власти, и поэтому напрашивается мысль, что, в принципе, исследования в области алайнмента, направленные на предотвращение стремления ИИ к власти, могут увенчаться успехом. По крайней мере мы сами, » часов», всё равно хотим помогать решать проблему безопасности ИИ — например, создавая такие статьи, как эта — даже если шансы на успех кажутся низкими (хотя мы на самом деле настроены довольно оптимистично).

Если мы не хотим, чтобы созданная нами система ИИ отобрала у нас власть, то такой исход будет особо опасным вариантом отсутствия алайнмента. Общая вероятность экзистенциальной катастрофы, вызванной ИИ, вероятно, ещё выше, потому что есть и другие сценарии, ведущие к возможной катастрофе — например те, что упомянуты в предыдущем разделе. Хотя мы предполагаем, что эти другие сценарии приводят к экзистенциальной катастрофе с гораздо меньшей вероятностью.

Поэтому нам следует беспокоиться не только о стимулах для систем ИИ, но и о мотивации использующих их людей. Этот ИИ позволяет значительно быстрее распознавать и предсказывать действия людей, за которыми следит агентство. И наконец, если какая-то из сторон создаст особенно мощный ИИ, это может быть расценено как «решающее стратегическое преимущество». Например, США может создать планирующий ИИ, достаточно разумный для того, чтобы не позволить России или Китаю больше никогда использовать ядерное оружие.

Скорее всего, это будет означать и прекрасное понимание человеческой этики. Однако вряд ли из этого следует, что такая система будет и действовать этично. Уже сейчас чрезвычайно сложно запретить людям или компьютерам запускать какое-либо программное обеспечение. Начиная с 1950-х годов кто-нибудь постоянно говорит, что ещё чуть-чуть и у нас появится искусственный интеллект, превосходящий человека. И в целом именно из-за подобных точек зрения мы не до конца уверены, что каждый шаг наших доводов целиком верен. Чем больше у нас времени до появления трансформационного ИИ, тем меньше причин работать над этой проблемой прямо сейчас.

Люди могут ошибаться по поводу того, насколько такие системы опасны, или пойти на небольшой риск для всего мира ради больших выгод. В конце концов, на то, чтобы заниматься всем сразу, у нас не хватит времени. Поэтому правильно выбрав проблему, над которой вы будете работать, вы, возможно, принесёте значительно больше пользы. Когда существуют настолько существенные угрозы, кажется разумным, чтобы многие люди сосредоточили свои усилия на предотвращении наиболее опасных сценариев. Это особенно верно для систем с амбициозными целями — а именно такие цели ассоциируются с гипотетическими мощными ИИ будущего, — и, следовательно, именно такие цели мы скорее всего захотим дать продвинутым планирующим системам.