В следующем году на острове Канта появится мультимедийная инсталляция с интерактивным видеоизображением философа. Софья Сараева поговорила с руководителем выполнившей проект компании Triaxes Алексеем Поляковым о создании трёхмерных изображений и о том, почему устройства для домашнего просмотра фильмов в 3D не стали массовыми
— Последние годы Triaxes активно работает над созданием мультимедийных инсталляций. Расскажите об этом.
— Это только одно из направлений нашей деятельности. В числе проектов, над которыми мы работали в 2021 году, — инсталляция для Кафедрального собора по программе приграничного сотрудничества «Россия — Литва 2014–2020». Проект комплексный: требовалось и написание программы, и подбор конфигурации оборудования, и создание контента — интерактивного фильма, в котором снимался актёр Калининградского драматического театра Геннадий Филиппович. Наша команда отвечает за техническую реализацию, видеосъёмку, разработку сценария и программы. Оборудование было изготовлено в Санкт-Петербурге и уже приехало в Калининград, как раз сейчас решается вопрос с доставкой в собор. Это стенд со специальным экраном. Поскольку инсталляция будет установлена на улице, возникают повышенные требования: важно, чтобы был крепкий корпус, защита от осадков, экран, меняющий яркость в зависимости от освещения, поддержание температурного режима и так далее. В стенд встроено дополнительное оборудование: камера, динамики, сканер QR-кодов. Кроме возможности сделать фотографию с Иммануилом Кантом, предусмотрены и другие сценарии. Например, тот, в котором Кант проверяет билеты в собор. Инсталляция управляется разработанной Triaxes программной системой, состоящей из программы управления стендом и серверной частью на интернет-сайте — модулями передачи фото посетителю стенда.
— В Калининграде кто-то умеет делать подобное оборудование?
— Специализированные компании есть в Москве и Санкт-Петербурге. В Калининграде мы такую компанию не нашли.
— Какие ещё проекты в портфеле Triaxes?
— Ещё один проект, который мы сделали в этом году, — голограмма в трюме корабля «Витязь» для Музея Мирового океана. Это очень интересное пространство с переменной высотой потолка. Музей пригласил нас для того, чтобы «оживить» уже существующую экспозицию в трюме. Была поставлена задача дополнить её эффектной и достоверной визуализацией процессов, происходящих на дне Мирового океана. Предположительно изображение должно возникать в виде голограммы, как в фантастических фильмах. При этом был ряд требований: система должна работать чуть ли не круглосуточно, быть простой в обслуживании, устойчивой и надёжной.
Ответить на вопрос, какой должна быть экспозиция, помогло керамическое панно 1973 года «В глубинах океана», где изображены глубоководные исследовательские аппараты, чьи лучи освещают подводный мир. У меня возникла идея использовать проектор, чтобы смоделировать падающие сверху лучи и подсветить сцены. Это можно сделать с помощью отражательной голограммы: из специальных полупрозрачных материалов изготавливается конструкция в виде пирамиды, её грани отражают картинку с проектора. В результате формируется объёмное изображение. Закончив с чертежами, собрали в лаборатории небольшую тестовую установку, чтобы на ней создать контент, — видео, которое будет транслироваться в музее. Конструкцию каркаса инсталляции изготовили в Москве. Нюансов в этом проекте было немало, в том числе связанных с безопасностью. Например, использованные в инсталляции стёкла со специальным напылением должны быть закалёнными. Монтаж оборудования выполнила команда, имеющая доступ к высотным работам, — высота трюма в месте инсталляции девять метров, это трёхэтажный дом. Детали конструкции загрузили с помощью подъёмного крана через разобранный купол потолка трюма.
— Вы говорите, что сами создавали контент.
— В морских глубинах не так просто снять что-либо, снаряжение экспедиции на подводном аппарате — это неподъёмные деньги. Поэтому мы сами моделировали изображение. Технология позволяет сочетать объекты реального, физического мира с объектами виртуальными.
Алексей Поляков
Руководитель компании Triaxes, кандидат технических наук, руководитель лаборатории технологий визуализации БФУ им. И. Канта. Автор четырёх книг по программированию, изданных в России и США, научных статей на тему 3D-фото и телевидения
Интерес к объёмным изображениям обнаружил благодаря увлечению фотографией. Ещё школьником попробовал сделать первую голограмму
Учился в Томском университете систем управления и радиоэлектроники (ТУСУР), где защитил диссертацию на тему математического моделирования. После окончания учёбы преподавал в альма-матер компьютерную графику
В 90-е устроился в томский «Прогресс». Компания искала программиста для того, чтобы коммерциализировать технологию создания анимационных изображений с помощью микролинзовых прозрачных структур. Поляков изучил имеющийся материал и за два дня написал программу, которая делала переливающиеся картинки
В 2004 году вместе с супругой открыл Triaxes. Компания разрабатывает программные продукты для печати лентикулярных изображений (3D и анимация) и конвертации видео для автостереоскопических дисплеев (3D без очков), оказывает сервисные услуги по этим направлениям. Triaxes работает в B2B*-сегменте по всему миру. Программы, устройства и форматы телевизионных трансляций в 3D запатентованы
В структуре компании создана студия видеообработки. Она участвовала в конвертации нескольких фильмов, которые вышли в широкий российский прокат: мультфильм «Иван Царевич и серый волк-2 в 3D»6+, «Вий в 3D»16+
Технологические партнёры Triaxes: группа компаний Elecard (Россия, программно-аппаратные системы 3D-вещания), Sisvel Technology (Италия, универсальный формат 3DZ Tile), Московский телевизионный институт (МНИТИ, проекты по созданию форматов универсального 3D-телевизионного вещания), Томский государственный университет систем управления и радиоэлектроники (ТУСУР), Балтийский федеральный университет (БФУ) им. И. Канта
Совместные разработки Triaxes и МНИТИ получили золотую медаль Николы Тесла на выставке в Малайзии
После переезда Поляковых в Калининград в 2014 году компания расширила компетенции и занялась также созданием мультимедийных инсталляций с объёмной визуализацией (интерактивных систем, голографий, видеопроекций)
В 2021 году Алексей Поляков был номинирован на бизнес-премию «Профи» 12+ (номинация «Инженер года»)
— Сколько времени заняла работа?
— Начали в июне, уже в октябре голограмма была инсталлирована. Некоторое время заняла настройка оборудования. Сейчас заканчиваются работы по оформлению зала, экспозиция откроется в феврале.
Кроме этого, мы сотрудничаем с Куршской косой. Помогали с оформлением Музея природы, была задача воссоздать образ орнитолога Иоганнеса Тинеманна, который положил начало исследованию птиц на косе. В этом проекте у нас тоже были видеосъёмка и моделирование. В образе Тинеманна предстал настоящий орнитолог Леонид Соколов, он рассказал об изучении повадок перелётных птиц и показал операции по кольцеванию. Тинеманн будет возникать в кабинете музея с помощью технологии видеомэппинга.
— Почему именно музеи обращаются за подобными проектами?
— Калининградская область — туристический регион, музейное дело здесь активно развивается. Мне нравится работать с задачами из музеев, у них всегда интересный материал. Такие инсталляции — то, с чем взаимодействуют люди. Долгое время мы работали в областях, далеких от потребителя: делали программные системы для подготовки цифровых видео- и фотоизображений, разрабатывали форматы телевизионных трансляций, запатентованных в ряде стран мира (3DZ Tile запатентованы в России, США, Китае, Германии, Италии. — Ред.). Работа с музеями позволяет применить наши знания и наработки непосредственно для того, чтобы принести радость людям.
— Захотелось видеть обратную связь?
— Да, приятно знать, что результаты твоей работы заметны здесь, в нашем городе. Кроме того — есть запрос. А мы, конечно, отвечаем на него.
— Насколько это дорогие решения для учреждений культуры?
— Давайте про финансовую часть… Я не могу комментировать. Мы подбираем решение под любой бюджет.
— То есть без финансирования, предусмотренного программой приграничного сотрудничества, собор мог бы такое потянуть?
— Об этом лучше говорить с Кафедральным собором. Цена складывается из нескольких частей: оборудование, контент, в данном случае ещё и программирование. Это небольшой игровой фильм со сценарием и съёмками, который превращается в интерактивную систему. Ход фильма меняется в зависимости от действий пользователя.
Идея, которая меня увлекает, — создание голограммы исторического персонажа, наделённой свойствами искусственного интеллекта, с которой можно ещё и пообщаться, как с голосовым помощником Алисой. Используя нейронные сети, можно научить персонажа вести связную беседу на определённую тему. Например, натренировать нашего Иммануила Канта, чтобы он хорошо владел вопросами философии.
— Это идея или вы с кем-то ведёте переговоры?
— Нет, переговоров нет. Мы ведём разработки. Такой проект тоже состоит из нескольких модулей. Нужно создать трёхмерную модель персонажа, сделать её управляемой, чтобы она владела мимикой. Также требуется создать лингвистическое ядро — «интеллектуальный автоответчик», способный следить за ходом беседы, подбирать ответы и эмоционально реагировать на слова собеседника. Потом ещё и визуализация. По роду своей деятельности мы всегда работали с глубинной обработкой изображений на уровне данных. И поскольку мы владеем пониманием всего процесса, начиная с того, как формируется изображение и работает человеческое зрение, вся сумма технологий позволяет нам создавать нам какие-то новые вещи.
— Я правильно понимаю, что Triaxes не раз предлагала прорывные решения в части визуализации?
— Для своего времени — да.
— Объясните.
— Начну сначала. Я с детства был увлечён изготовлением фотографий. В школе создали импровизированный, неформальный фотокружок: делали чёрно-белые фотографии и сами печатали. Нам было интересно экспериментировать. Кроме традиционных фото на бумаге мы печатали на плёнках и на ткани, проецировали слайды. Однажды учительница по физике — она сама увлекалась фотографией — предложила сделать не 2D-изображение, а объёмное. Меня эта идея сильно вдохновила. В каком-то горном институте учительница взяла для нас лазер, похожий на пушки из фантастических фильмов. Мы попробовали сделать классическую голограмму. Ничего толком не получилось, поскольку это требовало более серьёзного оборудования и подхода, но идея не оставляла меня. Позже, уже в институте, я подумал о том, что голограмму можно синтезировать с помощью компьютерных программ. Походил в библиотеки, почитал. Узнал, что эти разработки активно велись ещё в шестидесятые годы. Но уже были девяностые, новое время, поэтому я думал с прицелом на коммерциализацию. Пришёл к выводу, что мало синтезировать изображение на компьютере, его нужно на чём-то напечатать, чтобы можно было продать. Сделать какой-то бизнес без этого было бы проблематично.
— Что было дальше?
— Я пришёл по объявлению в компанию «Прогресс», которая разрабатывала технологию печати с применением микролинзовых структур. Изначально они предполагали использовать её для переливающихся картинок — такие встречались в календарях. Глядя на линзовые пластины, понял, что можно делать из него ещё и изображения с эффектом объёма, и написал программу, генерирующую такие изображения. Я даже не знал, как называется этот материал, — интернет был в зачаточном состоянии. Уже после узнал, что это интегральные изображения, с ними много работали известные учёные, например Габриэль Липпман (французский физик, обладатель Нобелевской премии. — Ред.). В пятидесятые годы во Франции этим направлением занимались уже другие инженеры и фотографы. Позже, с развитием компьютерной техники, интегральные технологии перешли на дисплеи.
— Читала, что на следующее место работы, в компанию Elecard, разрабатывающую видеокодеки, вы пришли уже со своим предложением — делать 3D-дисплей и разрабатывать софт.
— Да, тогда многие производители бытовой техники стали выпускать ЖК-дисплеи. У меня возникла идея изготовить 3D-дисплей на базе ЖК-дисплея и микролинзовых растров. Как выяснилось позже, в то время многие крупные производители телевизоров проводили подобные опыты. Именно с этой идеей я пришёл в Elecard.
Одна из совместных разработок Elecard и Triaxes — приставка для показа объёмного изображения. Эта разработка была поддержана грантом Фонда содействия развитию малых форм предприятий в научно-технической сфере. Мы добавили в устройство специальный код, умеющий формировать и управлять 3D-экранами производства Philips. Появление стандарта FullHD позволило использовать технологию интегральных изображений на экранах, чтобы сформировать на них объём. Чтобы увидеть его, нужен специальный экран и приставка. А 3D-очки не нужны.
Эта разработка была реализована в виде готовых изделий, использовалась во многих мероприятиях и экспериментальных 3D TV-трансляциях в России и за рубежом. Наши демонстрации несколько лет были неизменным хитом на профильных выставках в Москве, Амстердаме, Лас Вегасе и в других городах. Руководители отделов разработки многих компаний с мировым именем каждый день приводили своих сотрудников к нам на стенды и говорили: «Смотрите, могут же сделать. Учитесь». Экземпляры программно-аппаратного комплекса были поставлены ряду заказчиков. Действующий образец этой системы есть в Московском телевизионном институте и в нашей лаборатории в БФУ.
— В одном из интервью вы говорили, что фильм «Аватар»12+ дал большой толчок 3D-технологиям. Почему вскоре всё пошло на спад?
— Потому что крупные корпорации вложились в технологию с очками. Но людям неудобно надевать их дома, чтобы смотреть телевизор. Может быть, раза два-три смотрели в них, но потом отказывались от этой идеи. Вторая причина — создание качественного 3D-видеоконтента оказалось дорогостоящим. На волне популярности появлялось много откровенно халтурных работ, в результате зритель испытывал неприятные ощущения во время просмотра и разочаровывался в технологии. Получилось, что с одной стороны, раскрутка «технологий 3D с очками» подогрела интерес к нашим разработкам. С другой стороны, когда волна пошла на спад, она захватила и нас.
Мы по-прежнему, вот уже 20 лет, ориентируемся сразу на следующий этап развития 3D- технологии. По моему убеждению, решение должно быть таким, чтобы для просмотра объёмного изображения не требовались очки и какие-либо другие приспособления. Изображение должно быть голографическим и наблюдаться естественно. Это уже вполне реализуемо, хоть широко и не распространено.
— У Triaxes большое число клиентов в других странах. Не думали уехать из России?
— Мы много ездим по миру: Америка, Европа, Китай. Но переезжать — нет. Зачем? В гостях хорошо, а дома лучше. В продаже наших программных продуктов мы ориентируемся на мировой рынок, для этого достаточно, чтобы был хороший интернет. Нам нравится в Калининграде: морской климат, близость к Европе, город динамично развивается. Хочется внести свой вклад в это развитие.
* – Бизнес для бизнеса
Фотографии Татьяны Мозжухиной