Тезисы по визуальному мышлению
1. Мышление не визуально, а синестезийно. Все модальности в нём замешаны. Но в мышлении поддерживается некоторый спектр представлений -- от богатых иконографических с излишними деталями через пиктограммы-образы к схемоидам к схемам в нотациях к формальным текстовым нотациям. И "всё что вовне есть и внутри" (то есть мышление в паттернах увиденного-услышанного-прочувствованного во внешнем мире, в том числе увиденного в мире и в картинках, и в текстах), но не всё что есть внутри можно выразить на каких-то языках (синестезии трудны в выражении, в том числе в синтезе картинок и в синтезе текста). Проблема связи коннективистской обработки "гештальтами", визуальными образами и символистской обработки текстов известна (neural-sybmolic binding, learning and reasoning), решения её неудовлетворительны. Обсуждается это в рамках современных исследований по когнитивным архитектурам, см. ссылки в https://ailev.livejournal.com/1418637.html -- можно отдельно обсуждать память, внимание, воображение, многоуровневое сжатие внешней информации (включая тексты и картинки) и хранение её как priors для последующих размышлений над вновь прочтённой из внешнего мира информацией.
2. Поддерживать мышление внутри непонятно как, этим мало кто занимается. Но есть способ поддержать мышление снаружи: каждый раз, когда придумывается новая онтика/онтология, то можно представить какую-то удобную нотацию для неё. Ссылки на многочисленные исследования по нотациям разной степени визуальности для выражения разных предметов размышления и геометрическому процессингу синестетической информации внутри мозга я собрал в тексте про когнитивные архитектуры -- https://ailev.livejournal.com/1322862.html. Но у меня и другие тексты на эту тему в количестве. Вот, например, про диаграммы как средство выражения топологии предметной области: https://ailev.livejournal.com/1069810.html. Всё это для хардкорного мышления, которое ведёт к нобелевским премиям или полётам на Марс. Это не для тусовки на 200 менеджеров, которая пришла договориться о том, что они не будут воевать друг с другом и понять, какие интересы у них есть для совместной деятельности. Все эти фасилитаторские методики с картинками без сложных нотаций и дополнительных усилий по формализации это что-то типа speed dating -- решения принимаются не по итогам speed dating, а после кропотливой работы, где работают уже другие инструменты, другие средства моделирования.
3. Нотации тем более выразительны и удобны для мышления, чем более они абстрагируют/сжимают информацию о внешнем мире (см. мой текст "господь, жми" https://ailev.livejournal.com/1322862.html). В пределе это текстовые нотации. Сложное мышление может быть поддержано главным образом текстом: миллионы строк кода на языках программирования подтверждают это, математические книги с формулами подтверждают это. Все остальные картинки поддерживают не столько мышление, сколько бытовую попсу, "околомышление", социализацию. Все балаганы с картинками и фасилитаторами резко заканчиваются, когда начальники уходят, и ответственным за продукт людям нужно породить продукт. Конечно, мышление есть и во время speed dating, когда хочется договориться двоим или двумстам людям. Но мы ж за state-of-the-art мышление, на пределе возможностей человечества, а не про организацию коммуникации большого числа людей. Это отдельный тезис, порождается ли что-то реально сильное в плане мышления даже на ОДИ-играх -- и при помощи каких механизмов это порождается в части визуальной работы, как фиксируется, в чём там сложности и если всё так круто, почему математики всего мира и инженеры всего мира так не работают над своими сложными системами. Про "сложность системы из людей" можно рассказывать, но у любой ракеты есть обеспечивающая её система из людей, которая оказывается совершенно беспомощной, если провалено описание той же ракеты в формальных главным образом текстовых и табличных языках. Получается квартет: люди быстро договариваются с использованием визуальной коммуникации, но потом при отсутствии реального мышления инженеров (не попсового design thinking! а того, как работают настоящие инженеры!) с формальными языками проект становится фейком.
4. Вопрос о нотациях и их помощи мышлению имеет огромную историю, в том числе и в математике с физикой, и в языках программирования, где эти вопросы изучались специально (требовалось обсуждать очень сложные результаты мышления, недоступные для простых смертных -- и были попытки изучить, что работает, а что нет). Они для "визуальщиков"-попсовиков неутешительны. Кроме "струнных диаграмм" (явно помогающих мышлению) и инфографики (которая помогает пропаганде или обучению чему-то простому, но не мышлению ни разу) тут трудно что-то предложить массово работающее. Опыт всяких графических языков моделирования архитектуры приводит к тому, что у них появляется текстовое представление или хотя бы представление в виде базы данных (графовое или табличное), которое потом обрабатывается компьютером. И картинки эти неудобны для редактирования их на компьютере, неудобны для изменения на флипчарте. Всё плохо, но неграмотным людям кажется, что они что-то в этих картинках понимают -- больше, чем поняли бы их букв. Можно это было бы протестировать (и получить тот же результат: что чем сложнее предмет, тем больше текстовых описаний на не-графических DSL), но факт, что простую картинку на бегу люди посмотрят, это психофизиология, она задействует "быстрое мышление" по Канеману, а аналогичный по выразительности текст, взывающий к трате мыслетоплива на "медленное мощное мышление" смотреть не будут. Картиночное обезьянье мышление дешёвое, для простых ситуаций. Тяжёлое текстовое мышление для сложных. Дальше вопрос скрипки Энгельбарта (текстовые нотации нужно учить долго и нудно, чтобы выработать автоматизмы мышления, с ними связанные -- http://ailev.livejournal.com/1158826.html, это явно не большие массы народу) и что мы будем делать с теми, кому попроще (то есть теми, кто хотел бы побольше графического в нашем случае) -- с ними ничего не делать, делать без них: https://ailev.livejournal.com/1385867.html
5. Интересный вопрос, почему архитектурные языки удерживаются в графической области (ArchiMate, SysML и т.д.). Потому что их удобней "продавать" менеджерам? Потому что тамошние модели относительно небольшие? Потому что по факту это не совсем формальные языки? Но при росте сложности (когда хочется, например, проаннотировать архитектурные модели) немедленно появляется параллельная текстовая нотация. Так происходит с Business Rules Language, Modelica и AADL (причём два последних языка обсуждаются и как архитектурные в том числе) и даже SysML, который как и любой вариант MOF/UML может быть выражен в текстовом OCL. Этот вопрос необъяснимой любви к графической нотации в архитктурных языках, с которой явно можно сделать меньше, чем с текстовой (то есть можно удобно работать только с маленькими моделями), плохо проработан. Особых исследований, которые бы исследовали, как часто используется та или иная форма языка, я не видел. Но в любом случае это маргинальные формы -- архитектурные языки это "псевдокоды", которые не предполагают прямой обработки каким-то процессором, только размышления людей над ними. Гипотеза, что графическая форма выживает хорошо при драфтовом мышлении, до-мышлении -- speed dating, "приглядкам-смотринам". В принципе, в этом ничего нет плохого, из левой части спектра мышления, близкого к образному могут браться идеи, а мышление может потом проходить ближе к правой части спектра, где работа с текстами и кодами (информатика -- http://ailev.livejournal.com/1008054.html, все эти отекстовки и перекодировки) будет обслуживаться нормальными текстовыми нотациями.
Собственно, всё это не столько тезисы по визуальному мышлению, сколько аннотированные ссылки по визуальному мышлению -- сам материал про визуальное против текстового нужно искать по ссылкам в этом тексте. И это явно не все возможные ссылки. Я писал на эту тему много лет, но не хочу тут делать литературный обзор, всё равно никто не прочтёт даже того, что уже помянуто в тексте. И да, это текст-наезд. Предельно заострённая форма. Чёткий тезис высказан, с ним будет удобно спорить.
UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10212702656855363
И самый сильный аргумент, который похож на правду, был подсказан в комментах: управление конфигурацией и изменениями в больших графических проектах на нулях. А в текстовых как-то revision можно делать. У нас был онтологический редактор, так мы придумали таки как делать ревизию в псевдографике (дерево плюс табличный текст), но это было то ещё приключение, желающие могут поглядеть документацию в https://github.com/TechInvestLab/dot15926. И да, это актуально там, где такт мышления переходит границы дня и границы рабочего места.
- 12 комментариев
Очень важное замечание. Да, управление конфигурацией и изменениями в больших графических проектах на нулях. А в текстовых как-то revision можно делать. У нас был онтологический редактор, так мы придумали таки как делать ревизию в псевдографике (дерево плюс табличный текст), но это было то ещё приключение, желающие могут поглядеть документацию в https://github.com/TechInvestLab/dot15926. И да, это актуально там, где такт мышления переходит границы дня и границы рабочего места.
Этот вопрос не стоит выеденного яйца. Графические нотации подстраиваются не под человеческое мышление, а под производителей тулов. Потому практически все удобные способы описания сложных систем убиты. Инженеры, которые что-то могут сообразить на плоскости, делают картинки не в крутых тулах, а в Визио. Плюс у этих тулов всегда дико неудобный интерфейс. Полученная картинка не стоит потерянного времени.
«Производители тулов» пытаются, в меру своих способностей, реализовать хоть чем-то пригодный инструмент для работы в той нотации, которую видят удобной для интересующего их вида человеческого мышления. Но у них рынок очень маленький, и опираются они скорее на энтузиазм, чем на деньги. Зря вы их демонизируете.
Это отсылка к предыдущему опыту. Не для всего нового существует прежний опыт. Достаточно часто нужно учиться играть на "скрипке Энгельбарта". Трудно, но необходимо.
Надстраивание небольшого нового проектируемого опыта (UX, рисования диаграмм) над существующим базисом приводит развитие в локальный экстремум, т.е. тупик. Поэтому, периодически нужно делать скачок, выход из локального экстремума, внося сразу много нового, что не нравится существующим пользователям. Например, "лента" в офисе 2007 потрепала много нервов, но расширила сообщество пользователей офиса и функциональные возможности среднего пользователя.
Это отсылка к предыдущему опыту.
Нет, конечно.
Мозги устроены вполне определённым образом и вполне определённым образом подстроены под обработку визуальной информации. Причём, это всё не просто так, а развивалось миллионы лет.
Механические инженеры разработали нотации, которые позволяют использовать эти особенности.
Электрические инженеры разработали нотации, которые позволяют использовать эти особенности.
И так далее. Даже у экономистов визуализация это не просто так, а чтобы было удобно.
Только профессора всяких квазинаук вроде CS придумывают ерунду и говорят "периодически нужно делать скачок"
"но расширила сообщество пользователей офиса и функциональные возможности среднего пользователя", как заявили продавцы M$
Есть вещи, которые нельзя делать под "среднего пользователя". Потому что он на уровне мартышки, занимающейся ерундой.
Если уж хочется не про нотации, а про кривые интерфейсы, тогда это Фотошоп. Но там просто профессионалы вырезают множество нужной функциональности и протаптывают себе тропинки, используя шорткаты.
> К самому процессу мышления это, строго говоря, не очень.
Вы проходили тест Равена? Это тот самый тест на скорость интеллекта, отвязанный от культуры, направленный на решение задач типа "дополнить отсутствующую фигуру". Большая часть задач решается именно "визуальным мышлением".
Кстати, визуальное мышление (воображение, оперирование визуальными образами) не у всех есть. Даже где-то статистика приводилась, что есть только у 5% населения. Когда узнал, очень удивился, что всего у 5%.
Если не путаю, у Фейнмана было описание, как он проверяет гипотезы/теории своих студентов. Когда они высказывали ему свою теорию, Фейнман внимательно слушал, и на ходу выстраивал в своем воображении сферы, на которые накладывал текстуры, превращая их в мячи (баскетбольный, ...). При добавлении новых фактов одевал очки, усы и пр. атрибуты. И к окончанию повествования у него в воображении был образ. Если образ был согласованный - теория непротиворечива. И он сразу же давал ответ - "бредовая теория" или "в этом что-то есть".
Что это был за образ? Это схема/диаграмма. Очевидно, ориентированная на физическую теорию. К сожалению, недокументированная.
PS: Алгебра, в некотором роде, является "визуальным мышлением".
Нет. Для решения задач теста, специфицированных картинками, вовсе не обязательно использовать "визуальное мышление" ака "мышление картинками". Картинка = наиболее быстрый/емкий способ представления информации. А уж какой способ мозг использует для вывода и принятия решений - совсем другой вопрос. Вы неявно исходите из пресуппозиции, что все люди одинаковые = мыслят одинаковым образом. Это строго не так. Пример Фейнмана (как и любой единичный) не доказывает ничего. Правильнее обратиться к статистике использования метапрограмм, как выраженных способов обработки информации. Разброс довольно велик.
ХЕЗТМ?!! А где тогда вообще аудиальное мышление? Аналоговое, как и визуальноею Алгебра - то бишь математика - цифровое мышление?
Кажется, есть четкая граница, когда визуально представление становится малопригодным. Это происходит в тот момент, когда когда нам нужно становится отслеживать изменения и сравнивать разные версии.
Если diff для двух текстовых версий документа более-менее научились делать и понимать, то сделать то же самое для какой-нибудь диаграммы - уже нужно придумывать нотацию и писать инструмент, который этот тип диаграмм поддерживает.