Евгений Волков https://www.facebook.com/envolk/posts/5028371620523564
Это вам не Сноуден с Ассанжем, значимость и ценность таких разоблачений гораздо выше политических и финансовых секретов. Только сегодня утром перепостил подобное про высшее образование, а тут и про ИИ подоспело Согласен, кстати, с С. Бедрицким в комментариях про искусственность человеческого интеллекта как самоделки на знаковых элементах, давно пришёл к такому представлению. И метафора карго-культа неточная, поскольку и миф ИИ, и карго-культ туземцев являются частными случаями стандартных приключений сильных человеческих желаний, индуцирующих слепоту верований и отказ от попыток критики.
Alexey Egorov https://www.facebook.com/alexey.egorov.1029/posts/2181825311970028
КАРГО-КУЛЬТ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА
В разработках искусственного интеллекта наступила странная фаза: страницы сайтов еще полны победных реляций, но всё чаще озвучивается два неудобных вопроса: что в предлагаемых системах интеллектуального, если они не обладают способностью к восприятию, пониманию и мышлению, которые являются неотъемлемыми качествами интеллекта. Второй вопрос: что в предлагаемых системах искусственного, если для создания, «обучения» (для этого процесса кавычки тоже обязательны))) и сопровождения ИИ-систем нужны люди, то есть непрерывное участие в процессе интеллекта естественного. То есть, в ИИ, хоть это и странно звучит, нет ничего интеллектуального и ничего искусственного.
Если вынести за скобки ИИ реальные технологии аппроксимации, регрессионного и статистического анализа, то в сухом остатке мы обнаружим карго-культ интеллекта естественного и признаки этого карго-культа можно проследить с момента появления проблемной области ИИ до настоящих дней, когда (усилиями разработчиков) большинство населения Земли пребывает в уверенности, что искусственное мышление не только существует как факт, но уже оказывает влияние на все цивилизационные процессы. Да, культурное влияние оказывает. Как культ. И именно с культом я попробую разобраться, обозначив его основные признаки. Карго-культом.
Мы привыкли к тому, что карго-культ — это туземцев и про гуманитарные грузы, которыми нужно делиться. А когда ими делиться перестают, то туземцы начинают строить самолеты из навоза и соломы и ждать, когда тушенка и сгущенка будет падать с неба. Мне же кажется, что карго-культ — это фундаментальный социальный паттерн, который по глубине не уступает модели Кюбоер-Росс, где существует пять стадий отношения к болезни: отрицание, торг, гнев, апатия, принятие. Карго-культ также представляет собой фундаментальную последовательность симуляции какой-то деятельности, результаты которой не могут быть достижимы для социума в тех условиях, в которых он существует. В этом наброске я хотел бы показать, как карго-культ реализует себя в такой деятельности как разработка искусственного интеллекта, где в качестве туземцев будут выступать разработчики, программисты и инженеры. И — да — нужно быть самокритичным, я тоже в этом смысле — туземец, поклоняющийся карго-культу, поскольку много лет тружусь в области разработок ИИ.
Я выделяю в карго-культе пять стадий. Вожделение, имитацию, отождествление, обесценивание, опровержение.
Стадия первая. ВОЖДЕЛЕНИЕ.
Желание обладать интеллектом не требует аргументации, оно естественно и понятно. Туземцы видят интеллект, его продукты и начинают хотеть его воспроизвести. В этом месте сразу возникают нюансы. Туземцам хочется, чтобы мышление ИИ было гениальным, уровня выдающегося ученого, но при этом полностью управляемым и предсказуемым. Чтобы интеллект был со всеми достоинствами алгоритмической системы, но без недостатков «системы» человеческой. Чтобы решатель такого интеллекта был максимального эффективным, но при этом оставался универсальным. И так далее.
Вожделение обладать интеллектом у туземцев столь велико, что они не удосужились не только сформировать требования к системе, а также создать дорожную карту реализации проекта, но не смогли даже толком определить базовые понятия, такие как обучение, понимание, восприятие. И как вишенка на торте — до сих пор нет вменяемого определения самого интеллекта и понимание механизмов его работы. То есть имеет место ситуация «пойди туда не знаю куда, принеси то, не знаю что», которая является основой любого карго-культа.
Стадия вторая. ИМИТАЦИЯ.
Туземцы очень хотели искусственный интеллект, но ничего, кроме ламповых диодов и электрических реле поначалу не было, пришлось собирать первый перцептрон на громоздких компонентах, вооружившись паяльником, а не back propagation. В один слой эта конструкция не могла справиться даже с XOR'ом. Поэтому критика подавила начальный энтузиазм и наступила первая "зима" ИИ. С тех пор так и повелось в этом предмете, сверхэнтузиазм всегда чередовался с крайним разочарованием.
Но вожделение осталось несмотря на то, что попытки воспроизвести требуемое качество не имели успеха. И туземцы начинают уговаривать себя, что утка — это не утка, а то, что крякает как утка, плавает как утка и имеет крылья с перьями. Утка — это набор утиных качеств. Кажется, что это очень правильная и конструктивная идея, но проблема в том, что утка в таком исполнении оказывается куском пенопласта (плавает), с привязанным к нему манком (крякает), с двумя крыльями, облепленными перьями. Если добавить моторчик и поработать над аэродинамикой, то она еще и летать будет.
Стадия третья. ОТОЖДЕСТВЛЕНИЕ.
Однако задачи обработки данных никуда не исчезли, а среди них было много задач распознавания, кластеризации, регрессионного анализа, прогнозирования. Совершенствовались языки программирования и библиотеки, росла (удваиваясь) производительность машин. Через какое-то время оказалось, что существует довольно много уже решенных задач, в том числе задач сложных. И тогда туземцы подумали: то, что у нас работает — это и есть интеллект. Логику предикатов стали называть рассуждениями, статистическую обработку текстовых корпусов стали называть обработкой естественного языка, аппроксимационные модели — нейронными сетями.
Потом оказалось, что при хорошей производительности можно создавать модели, в которых количество слоев и параметров будет велико и ничего понимать или создавать при этом особенно не нужно — только знай себе увеличивай размерность векторов. Процесса подбора параметров в линейных уравнениях туземцы стали называть почему-то обучением, а при большом количестве слоев — глубоким обучением.
Так туземцы, не изменив, фактически, ничего, что было создано в 80-х годах прошлого века, путем изящных переименований, получили новый мир, в котором ИИ стал важнейшей технологией бизнеса и не осталось бизнеса, в котором не было бы ИИ.
Стадия четвертая. ОБЕСЦЕНИВАНИЕ.
Но проблема интеллектуальности никуда не исчезла, ее так и не было, она так и не появилась. Увеличивая и увеличивая модели, туземцы искренне надеялись, что возникнет эмерждентность и превратит тыквы, приготовленные для бала, в кареты, мышей в коней, а когнитомы в мысли и сознание. Но эмерджентность как-то не возникала. И это по-хорошему очевидно, что система, сделанная из глины и палок работает плохо или не работает вовсе. Но туземцы не умели ничего другого. И началось обесценивание идеи ИИ.
Сначала раздались голоса, что искусственный интеллект — это опасно. Что нельзя его делать особенно хорошим, поскольку он сразу начнет мыслить. Что и даже средней хорошести его делать не нужно, поскольку возникнет конкуренция с человеком. А кроме того, что это опасно, это ещё никому не нужно и крайне бесполезно. Поскольку, если бы интеллект был востребован, то именно философы были бы самыми оплачиваемыми специалистами на земле.
Стадия пятая. ОПРОВЕРЖЕНИЕ.
И началось отрицание возможности создания искусственного интеллекта, отличного от того, который удается создать. Один мой хороший товарищ в интервью привел такой замечательный аргумент: что вы хотите от ИИ, мозг — это не компьютер, они отличаются друг от друга, поэтому и мышление отличается от аппроксимации. В целом я даже согласен с таким тезисом, за исключением слова «поэтому». Мышление от аппроксимации отличается не потому, что компьютер — это не мозг, а потому, что мы не умеем решать задачу искусственного мышления на иной элементной базе.
Позиция, что интеллект в компьютере невозможен пришла сразу за оптимизмом того, что AGI/HLAI как аналог мышления будет создан в ближайшее время, нужны просто деньги. Нужно делать всё то же самое, но просто быстрее, мощнее и глубже. Больше слоёв, больше признаков, больше памяти, больше перформанса, больше параллельности, итд. Больше, больше, больше и эмерджентность придет. Не может не прийти.
А если не придет, то, по-видимому, никакого интеллекта и не существует.
Господа разработчики ИИ, достижимость интеллекта доказана существованием цивилизации и человека. Хотя… не знаю. Иногда кажется, что достаточно выглянуть из окна и оглянуться вокруг, чтобы засомневаться, что это так.
Alexey Egorov (С) 2021
Комментарии: 24
Виталий Елиферов
Вообще-то, я не знаю ни одного профессионала в этой области, который бы писал на эту тему.
Только безграмотные журналисты, конспирологи, любители "страшилок и шапочек из фольги".
13 ч.
Alexey Egorov
Vitaly Eliferov Ну вот я написал сейчас...
13 ч.
Виталий Елиферов
Alexey Egorov Стоит ли тратить время на то, что существует лишь в умах тех, кого я перечислил?
13 ч.
Alexey Egorov
Vitaly Eliferov Мне нравится идея карго-культа как сложного социального процесса симуляции. Вот, например, "демократия" у русских, это ведь типичный карго-культ, просто он сложнее, чем имитация самолета.
12 ч.
Виталий Елиферов
Alexey Egorov Термин "карго-культ" позволяет описать системную проблему в виде одного яркого образа (модели).
Вообще, человек только считает, что он мыслит категориями "система", "процесс". В реалии он всегда оперирует "моделью системы", "моделью процесса". Очень много разногласий вызывает то, что каждый считает свою модель (степень ее абстракции, детальность атрибутирования объектов и связей) — самим объектом или самым правильным описанием объекта (самой правильной моделью).
Слишком часто мы говорим на разных языках (в разных образах и нотациях), отсюда и возникает неумение договориться до консенсуса.
Так же и с терминами "демократия" и "либералы" в России. Под этими терминами понимается все, что угодно, в зависимости от степени воспитанности собеседника.
12 ч.
Alexey Egorov
Vitaly Eliferov Мы расходимся с Вами в вопросе о том, чем оперирует человек и как он мыслит. Кстати, семиотика — это достаточно хорошая репрезентация знаковых систем, она позволяет хорошо "обрабатывать" и образы и нотации...
12 ч.
Victor Senkevich
Vitaly Eliferov А что делают профессионалы в этой области, которые не пишут на эту тему? Нейросетки программируют? Им некогда обсуждениями заниматься? Просветите нас срочно!
12 ч.
Виталий Елиферов
Victor Senkevich "Срочно" — не получится. Тема слишком обширная, да и что такое ИИ, — я не знаю.
12 ч.
Mike Malkov
в итоге денег не получили, ну или пока не получили. новое рассмотрение где дадут пояснение и на этом всё.
12 ч.
Alexey Egorov
Mike Malkov Насколько я понимаю, ситуация довольно далека от итогов...
12 ч.
Victor Senkevich
Вау. Неплохо. Но слишком пессимистично. Хотя... Оптимисты должны и в этом грустном изложении увидеть очевидный шанс для тех, кто хочет выбраться из этой глубокой колеи нейросетей, в которой увязли почти все. Но не все... Некоторые все же пытаются научить компьютеры рассуждать, а не вычислять.
12 ч. ·
Alexey Egorov
Victor Senkevich Да. Но если рассуждение будет исчислением — ничего не изменится. Конечно, сначала нужен будет какой-то свой "backprop", чтобы бороться с комбинаторной стеной цепочек вывода. Но, даже если такой алгоритм появится, reasoning на основе значений истинностей не даст нужного результата, imho.
12 ч.
Александр Тетеркин
Лёша, согласен со всем. Одно только хочется сказать в защиту инженеров ИИ первой волны: благодаря им у нас есть компьютеры.
11 ч.
Alexey Egorov
Alexander Teterkin Да. Это так.
11 ч.
Victor Senkevich
Alexey Egorov Вот. Это и демонстрирует "колею нейросетки". Нейросети успешно борются с комбинаторикой. Поэтому и выигрывают в шахматы и в го. Это успех, от которого трудно отказаться. Но надо, чтобы освоить алгоритмы non-deterministic reasoning, где истинность не всегда определена. А в вербальном AGI, оперирующим на естественном языке, почти всегда не определена. Зато там нет комбинаторики, и такой интеллект тоже сможет выдать "IMHO, мне так кажется..."
11 ч.
Mykola Rabchevskiy
Victor Senkevich, надежда на неточную (вероятностную) логику de facto ничем не отличается от надежды на рост числа параметров: эмерджентности не получится. Интеллект — не в способности особым образом использовать имеющуюся информацию, а в том, чтобы ДОБЫВАТЬ НОВУЮ информацию. Нк то есть интеллект = Intelligence Service
10 ч. ·
Victor Senkevich
Mykola Rabchevskiy Да, если говорить о вероятностях. Но я о них не говорю вовсе. Я утверждаю строго обратное.
Вероятности не существует.
Вероятность вычисляют там, где не знают, что делать, где нет точных данных или мы их не умеем извлекать. Вычислять вероятность следующего слова — это нонсенс и бессмыслица. Что и видим на выходе нейросети — правдоподобную бессмыслицу. А мы всё-таки пытаемся искать смыслы. Ну или кто-то помимо нас.
Давайте почувствуем разницу между вероятностью и неопределенностью. Интеллект не оперирует вероятностями. Он оперирует неопределённостями и фактами. Строя обобщения на основе предположений. Это не индукция, это абдукция. Это и есть основная функция интеллекта. Невычислительная. Я пишу об этом в своей статье.
Итак, логика интеллекта неточная, но не вероятностная.
10 мин.
Oleg Kultynov
11 ч.
Сергей Бедрицкий
Предложу альтернативные представления. Карго-культ — это отождествление непонятного нам поведения с нашими архаичными представлениями. Ведь, не считаем мы карго-культом, когда наши "соплеменники", потерпевшие крушение, выкладывают SOS из подручных предметов — мы не считаем это заклинанием стихий или пародией на творчество Даниеля Дефо. Поведение туземцев вполне укладывается в смысл подачи сигнала: "Мы — здесь! (Может, вы потеряли нас). Мы схожи с вами — как схожи с вашими, воспроизведенные нами конструкции. — Мы разделяем ваши ценности, и хотим продолжить (очень полезное для нас) общение!" Если даже допустить, что туземцы обращаются именно к высшим силам с просьбой "верните нам вот этих" — то и в этом случае выбранная ими символика ни в чем не уступит самым выразительным нашим культовым символам. ----- К культуре, мы относим все то, что создано деятельностью человека, а не воспроизводится природой без его участия. С учетом этого, более логично относить интеллект — результат взаимодействия разума и культуры (или образования, как части культуры) — к искусственным, неприродным явлениям. Как не считаем мы построенный из ПЕСКА замок, даже построенный на морском пляже (чего только не "выкатит" море...) — творением природы. Или, сделанный из глины кувшин... Мы не привыкли в каждом из видов своей деятельности различать собственное отражение — а пора бы... В этом смысле, создание ... не искусственного (уже человеческий интеллект — продукт искусственный), а альтернативного (воспроизведенного на носителе, альтернативном человеческому разуму) интеллекта — самая эвристичная для человеческого самопознания деятельность.
16 ч.
Бедрицкий С.Alexey Egorov
Сергей Бедрицкий Согласен. В проблема в языке и в том, что язык карго-культа слишком "контекстный", __Высшие__Силы__ просто не умеют читать и транслировать такие тексты.
1 ч.
Сергей Бедрицкий
Alexey Egorov Не возьмусь утверждать, чего могут и что не могут высшие силы. Я лишь сопоставил выразительность символов "цивилизованного" общества и "туземного", обращенных к высшим силам, между собой. Я бы назвал карго-культом состояние, когда намазать царапину зеленкой первокласснику — может его одноклассница, а президенту — только профессор медицины. — Это одно из наших представлений, и туземцы попали под раздачу. )
1 ч.
Alexey Egorov
Сергей Бедрицкий Да, наверное, я просто пытаюсь перевести на понятный мне язык ))
1 ч.
Сергей Бедрицкий
Alexey Egorov Самокритично, и это при том, что к взаимопониманию мы движемся ... симпатично прямо. )
1 ч.
Игорь Дмитриенко
Всѣмъ сестрамъ по серьгамъ.
10 ч.
Dennis Parshutin
Наконец то расшифровка комментария Сергею Карелову
9 ч.
Mykola Rabchevskiy
Но я согласен и с Victor Senkevich: есть и для оптимизма основания, поскольку в наличии кроме строителей соломенных самолётов другие, которые таки сделают изначально обещанное — и мы знаем даже, где они есть — и найдутся те, кто сделанное украдут (и мы тоже знаем, где они), поэтому результат станет достоянием всеобщим
9 ч. ·
Dennis Parshutin
Я всё же не верю, что возможен интеллект на кристалле. Алгоритмы многослойные да, но не интеллект или, ещё сложней — осознание. Попробуйте медитировать и вы поймёте что
59 мин.
Георгий Вертипрахов
Точно.
До сего дня всё — карго-культ.
Было понятно, но надо было подвести черту.