DEV Community: Ilya Siganov

Новый UX (для игр) с помощью ML

Ilya Siganov — Sat, 03 Feb 2018 00:00:00 +0000

TL;DR; ML создает способы, с помощью которых виртуальная реальность сможет нас почувствовать. Мы в свою очередь через VR/AR и так её достаточно хорошо ощущаем, но она о нас практически ничего не знает. Будущее UX в том, чтобы дать виртуальной реальности эти возможности.

У нас уже есть ML, AR, VR и другие новые модные технологии. Если с последними двумя ясно что делать в играх, то что можно делать с ML? Там всякое компьютерное зрение, генерация контента, предсказание чего-нибудь. Где же новые игры, что используют ML?
Я предлагаю пофантазировать и придумать либо новые жанры игр, либо новые способы управления.

Новое управление

Это довольно скучно управлять игрой с помощью клавиатуры, джойстика или мыши. Это придумали еще в 80-ые годы. Прошло почти 40 лет(sic!) с тех времён. Мы с вами насмотрелись фантастических фильмов и не только, где управляют игрой силой мысли через нейроинтерфейс. Но в домашних условиях вряд ли получится присоединить электроды к голове, поэтому пока что отложим эту тему. И все же у нас есть веб камера, возможно даже несколько, и микрофон. Два интерфейса, которые не популярно использовать в играх. Но сейчас в 2к18 году мы уже так много всего умеем делать с изображением и звуком, надо этим воспользоваться. Начинаем генерировать идеи.

Управление мимикой лица

Apple анонсировали emoji, повторяющие мимику человека

Начнём с простого. Можно сделать обычный Dance revolution для мимики. Представьте, падает то emoji улыбающейся какахи, что в слайде у Apple, и вам нужно успеть тоже улыбнуться. Конечно, если посмотреть на emoji, то возникает вопрос — “А что человек реально такое может изобразить?”. Уморительно же.

А еще если это всё делать на вечеринках и снимать видео как кто-то играет, то получится очень смешно и всем будет что вспомнить. Можно будет устроить соревнование, кто быстрее может менять мимику, точнее чью мимику компьютер лучше распознаёт.

Управление направлением лица

Мимика по факту представляет собой кнопки нашей игры, а нам нужны еще и заменители джойстика или “стрелочек”, чтобы указывать направления.

Я совсем недавно наткнулся на классную демку, где управляют самолетиком с помощью направления лица и стреляют, открывая рот. Можно ещё реализовать это как наклон головы на несколько градусов.

Кстати, такую игру где надо управлять глазами, лицом, ртом можно использовать для тренировки концентрации. Если ты отвлечешься, то потеряешь управление и проиграешь. Интересный момент, не так ли?

Управление позами

Если у нас будет достаточно простой способ получать информацию о положении человека в пространстве, о том где его рука-нога-голова, то можно делать, очевидно, всякие спортивные игры, танцы, теннис. На сколько я знаю, такие уже есть, но они используют специальные приспособления. Идея в том, чтобы это происходило автомагически по данным камеры. Это может работать даже на смартфонах.

Естественно, существуют исследования о сегментации тела, определении позы по видео. И уже есть успешные реализации, можете сами посмотреть:

OSVOS: One-Shot Video Object Segmentation — сегментация целого тела на видео, паркур6 все дела.
Realtime_Multi-Person_Pose_Estimation — а тут уже интереснее, тут строят скелетный каркас человека. Примеры показывают как на танцующих людях это работает.

Голосовое управление

Как минимум, приложение, в котором надо отдавать команды голосом, будет очень веселое. Представьте, приложение управления таксистом: “поворачивай налево, да не туда, а сюда, быстрее” или командование армией. Кстати вспомнил 3 и 4 серии из аниме “No game, no life” , где главные герои играли в шахматы и отдавали команды фигурам, а от их решительности и убедительности фигуры решали — ходить или нет. Думаю, построив модель распознавания эмоции и намеренности, можно получить игру, которая будет реагировать на наши эмоции. Научные статьи можно найти.

MMORPG игры в дополненной реальности

Это уже на грани фантастики, даже аниме есть, где применяется эта технология, и вышло оно в 2017 году, называется Sword Art Online, Ordinal Scale. В нём люди носят специальные “очки” и с помощью них дополняют реальность и играют в ней в MMORPG! Но это же фантастика, как такое сделать? Всё очень просто(нет).

Для этого вам понадобится: модель сегментации изображения, чтобы выделить на нем человека; модель построения 3D mesh поверхности по 2D изображению или видео; алгоритм замены одежды или частей 3d поверхности; вывод через очки дополненной реальности на глаз маски, которая будет видеться поверх человека или любого другого объекта. Profit! Вы сделали первую в мире MMORPG в дополненной реальности, где люди бегают в доспехах. Я полагаю, как минимум вычисление mesh и применение маски будет готово для применения в ближайшее время, уже есть статьи. А вот с очками, надо попросить Google выпустить новый образец.

Вывод

Все наши размышления над применением ML для создания новых способов управления не совсем уж и смешные или глупые. Мы этими новыми методами решаем следующую проблему VR и AR — мы улучшаем то, как человек может войти в виртуальную реальность. До сих пор VR/AR это только 3D-очки, GPS, очки специальные. Но методы ввода и взаимодействия с виртуальной реальностью остались в целом теми же: клавиатура и мышь, да тачскрин. Что это означает? А то что мы можем ощущать виртуальную реальность через очки, слышать её и даже ощущать через, например, вибрации джойстика, то сама виртуальность не может до нас прикоснуться, кроме как через кнопки. Нам нужны методы, которыми мы наделим её тоже некоторыми способностями: понимать в какой мы позе стоим, куда смотрим, какое у нас выражение лица, какой у нас голос, на сколько мы решительны, как двигаемся. И прелесть в том, что уже сейчас мы можем начать это делать. И я думаю, что за этим будущее UX.

...

Частично содержимое этой статьи рассказывал на Омском IT-субботнике.

Слайды презентации.

Multiplayer game? On the Ludum Dare #35 jam? Oh RLY?

Ilya Siganov — Tue, 26 Apr 2016 00:00:00 +0000

That's our 9th Ludum Dare, so we decided to make something challenging this time. We've tried to create multiplayer action-horror-shooter thingy with two characters trying to kill each other. One is a werewolf (short-range attack, wide angle of view), another one is a hunter (long-range attack, small view angle and viewing distance). And yeah, that was pretty challenging indeed for some reasons.

Networking

We've made our first network game for LD#34. It was quite primitive, a peer-to-peer game for two players. But it proved that our team can handle network-game-specific issues and make network game at least playable. This time we decided to go further and create a server which would interconnect all game instances into pairs. That is still quite simple client-server architecture, but it required lots of time to implement and some knowledge of websockets magic.

Dynamic shadows

Our game is based on LibGDX engine which is quite simple and, of course, doesn't have any built-in shadow support. So, shadows were made using a bunch of black triangles, dozens of math and sorting obstacles by distance, from farther to closer.

Collisions detection

Trigonometry magicCharacters should not go through trees, right? LibGDX has built-in box2d engine support, but for such simple task, it adds so much overhead to code that we decided to make everything on our own. That required some math too, and sometimes led to funny bugs such as trees making you stuck inside them and tear you apart.

Soft torch beam effect

Dynamic shadowsIt may look simple. But inside it carries some OpenGL vertex and fragment shaders magic. One of us spent 5 hours or something making this effect look properly and be configurable too. This soft-beam torch effect could be also achieved with gradient transparent bitmap, but it would be less challenging and less funny to make.

Balancing and small details

After basic game mechanics was complete, we decided to add some more features to fix the game balance and make it more interesting to play. First, we've made a wolf jump over the trees to compensate hunter's advantage in attack range, and then we've added traces to our characters to help them find each other in the dark forest. To balance a game a bit more, we've added sounds of characters' steps so players could hear each other walking. This also makes a game more atmospheric.

After all, we are completely happy with the result and we hope you'll enjoy playing this. It's hard to find opponent sometimes, so be ready to grab your friend and play with him over the Internet.

We also had a page with game statistics and Telegram chat for everyone who wants to receive notifications about active players waiting for an opponent.

You can download and play our game from here.

Gameplay video:

Also we have a development timelapse.

originally posted on medium in 2016–04–26 by Kirill Leyfer and Ilya Siganov

Изображение как звук

Ilya Siganov — Thu, 03 Sep 2015 00:00:00 +0000

А что будет если над изображением применить не обычные фильтры или спецэффекты из фотошопа, а аудио эффекты из звукового редактора, например, эхо, реверберация, эквалайзер, увеличить низкие или верхние частоты. Может быть интересно. Но как это сделать? Располагайтесь по-удобнее, сейчас на ваших глазах будет происходить магия преобразования форматов данных.

Матчасть

Чтобы применять над изображением фильтры аудио, нужно уметь сохранять и открывать изображения как звуковые файлы. Напрямую это сделать невозможно. Но в таких программах как Gimp и Audacity есть возможность работать с так называемыми сырыми данными без заголовков.

Магическая последовательность ffd8ff означает, что это jpeg.

Обычно в заголовках всегда описан формат данных, чтобы программы могли понимать как интерпретировать бинарные данные из полезной нагрузки. Если же мы сохраним только данные из полезной нагрузки, то получим сырые данные без заголовка(raw), которые можно интерпретировать как угодно.

Чтобы сохранить картинку в формате raw, откроем ее в gimp и экспортируем как Raw Image Data с расширением .data. Выберем режим сохранения RGB Planar, т.е. в файле сначала будет идти значения яркостей пикселей канала Red, далее Green и Blue.

В Audacity импортируем .data файл. Кодирование выбираем U-Law, без учёта байтового порядка, одноканальный режим.

Басы

Начнем с простого эффекта — увеличим басы в картинке.

Исходное изображение

Применим увеличение басов.

Увеличенные басы

Эхо

Эхо-эффект — один или несколько сигналов задержанные во времени с затуханием добавляются к существующему сигналу. Интересно посмотреть как это выглядит. Выставим время задержки 2 секунды и коэффициент затухания 0.3.

Исходное изображение

Эффект Эхо

Реверберация

Реверберация — это процесс постепенного уменьшения интенсивности звука при его многократных отражениях.

Эффект реверберации

Есть еще куча всяких разных звуковых эффектов. А еще можно по-разному сохранять в raw-формат данные — planar RGB, просто RGB, RGB с альфа каналом, режим BMP. Можно по-другому импортировать raw-данные в звуковой редактор. В общем экспериментировать можно очень много. В следующих постах этой серии я покажу, что бывает в случае ошибки экспортирования, как сжатие влияет на данные и другие интересные опыты.

Следующий пост

ImageMagick эксперименты #9

Ilya Siganov — Thu, 16 May 2013 08:36:00 +0000

Продолжаем поиск чего-то необычного и вещественного.
В предыдущем посте я сделал “квадратное сложение” няшек. Настал час истины. Совершим же перекрёстное слияние няшек. И тут размер итогового изображения в два раза больше исходного. Для усиления умиления рекомендую смотреть как оригинал, а не превьюху!!!!

Дополнительный бонус. Идеальное вмешивание картинок.

Исходники

https://github.com/blan4/magick/blob/master/diffusion.h

ImageMagick эксперименты #8

Ilya Siganov — Sat, 04 May 2013 14:53:00 +0000

Привет!
Сегодня у нас уроки кирпичизма. Надеюсь m$oft не наедет на меня за использование прямоугольников. Итак, что будет если мы разобьем матрицу на много подматриц произвольной формы? А если при этом произведем какую-нибудь операцию над подматрицей? Так вот, написал я тут алгоритм, наверное очень тупо, так как картинку 1900*1200 он обрабатывает десяток секунд, который перемешивает каналы у данной подматрицы. Не переживайте, я разовью эту идею дальше и будет очень забавно.

Генерация матриц

Существует 2 вида подматриц- синие зеленые и красны. Размер выбирается как случайное число.

А здесь размер выбирается как половина от ширины матрицы. Очевидно прогрессия $(12)n(\frac{1}{2})^n$ . Ну или почти такая. Не суть.

Теперь случайное перемешивание в подматрицах. Обычный рандом дает не очень клевый результат.

Тут волей случая первая подматрица оказалась очень большой. FIX IT!!!!
Вот то-то же. Нам нужен был true_random. Здесь выбирается средний размер квадратов с некоторой дельтой. Вот так красить машины надо. Это я понимаю искусство.

Теперь перекрасим няшку.

Тебя теперь интел засудит, у них вся реклама в таком стиле)

Смешивание картинок

Нет времени объяснять, прямоугольники захватывают мир……………

От сложения няшек, няшность не возросла T_T.

Исходники

https://github.com/senior-sigan/magick/blob/master/brick.h

ImageMagick эксперименты #7

Ilya Siganov — Wed, 24 Apr 2013 14:46:00 +0000

Продолжаем творить велосипеды, самокаты, драндулеты и прочие штуки. Отвлечемся от искажения цвета и поэкспериментируем над позициями пикселей.

Инвертирование

Каждую нечетную строку инвертируем-ну тут совсем скучно, разве что это не обычное зеркальное наложение. Рассмотрите в оригинале, очень интересный эффект с вертикальными полосами.

Смещение

Смещение с коэффициентом. А тут весело, получается какое-то там размазывание, не помню как это называется в фотошопе.
В след раз попытаюсь осилить и сделаю метро интерфейс из картинки ;)

Смещение с коэффициентом 10

Моя любимая машинка размазалась полностью. Грусть-тоска T_T

Смещение с коэффициентом 1000

В следующей части разбиение картинки на квадраты произвольного цвета и размера.

Исходники

https://github.com/senior-sigan/magick/blob/master/diffusion.h

ImageMagick эксперименты #6

Ilya Siganov — Tue, 09 Apr 2013 15:33:00 +0000

Сегодня был очень длинный день. Поэтому для поддержания себя в бодром состоянии, я написал следующий сценарий искажения фоток. Вас ждет снова много “вещественных” преобразований. Надеюсь, я придумаю как делать фотки пастельными, а не мерзео-эпилептическими. Итак, сегодня на очереди — применение функций от координат на насыщенность каналов. Кто хочет- может посмотреть исходники, я там замутил массив указателей на функции. Описания под картинками.

X/Y

Значение канала * (x/y). Только вот незадача. Я не перевёл во float, поэтому видны резкие границы разделения.

(int)(x/y)

Теперь плавное использвание x/y.

(float)(x/y)

Логарифм

Логарифм произведения координат. По-моему это самый прикольный результат.

log(x*y)

А что если взять log(x/y)?

log(x/y)

Ещё один экземпляр. (прим. времени — через 2 года уже не могу вспомнить, что тут за функция. Имя файла xyyx.)

xyyx

Sin

Quant*sin(x*y). Советую открыть оригинал и приблизить. Зрелище ооооочень странное.

Quant*sin(x*y)

Тоже синус, но с более слабыми коэффициентами.

В следующей серии я покажу что будет если не менять цвет пикселей, а менять их местами.

Исходники

https://github.com/senior-sigan/magick/blob/master/function.h

ImageMagick эксперименты #5

Ilya Siganov — Mon, 08 Apr 2013 15:02:00 +0000

Специально для любителей острых ощущений. Сейчас вы станете свидетелями того как каждый “пиксель” влияет на следующий с разными коэффициентами.

Для простоты в данном эксперименте значение цвета предыдущего пикселя просто складывается со следующим с некоторым коэффициентом.

Коэффициент 0.5 — это только начало.

Коэффициент 0.7

Коэффициент 0.8

Коэффициент 0.9

И самое весёлое 1.1. Почти белый шум. Как будто телевизор плохо показывает.

Коэффициент 1.1

В следующей части мы применим некоторую функцию от координаты пикселя и его значением над изображением.

Исходники

https://github.com/senior-sigan/magick/blob/master/dependence.h

ImageMagick эксперименты #4

Ilya Siganov — Fri, 05 Apr 2013 14:44:00 +0000

Пятница, и этим всё сказано. Насладимся же сортировкой изображения. Я написал построчечную сортировку каналов и полную. Некоторые результаты были весьма неожиданными, особенно segmentation fault, иногда :D.

Частичная сортировка.

Начнем с сортировки красного канала. Напомню, что машина желтая. Выглядит как закат. Ну почти.

Сортировка по яркости красного канала

А теперь отправим синий канал в другую сторону.

Красный канал сортируется в правую сторону, синий — в левую

Картинка всё еще похожа на оригинал. НУЖНО ИСПРАВИТЬ ЭТОТ НЕДОЧЕТ.

Вот это я понимаю искусство. Полная сортировка всех каналов в левую сторону. Поздравляю. Так бы выглядела машина на десятой скорости света.
Мне так понравился эффект растаскивания цветов в разные стороны, что сделал еще несколько экземпляров.

Хорошо, а вот еще одна подопытная няша. Отсортируем её полностью.

УПС. это не то чего я ожидал. Тьфу ты, перепутал сортировку. Часть каналов отсортирована полностью другая часть — нет. Короче я не понял, что тут произошло. Наверное баг в проге.

Вот это другое дело. Полностью отсортированная картинка. Назовем её розовый градиент [s]Малевича[/s].
Это всё. В следующем выпуске я покажу как один пиксель может “сломать” всю картинку.

Исходники

ImageMagic эксперименты #2

Ilya Siganov — Wed, 03 Apr 2013 15:58:00 +0000

Сегодня была чудесная лекция по теории вероятностей. Там было что-то про ЦЕНТРАЛЬНУЮ ПРЕДЕЛЬНУЮ ТЕОРЕМУ, но не это важно. Главное то, что меня накрыло, что я понял!!! Нужно сравнить две картинки между собой.

Сравнение картинок.

Итак найдем какая из картинок больше другой!
И самое интересное. Я решил расставить все штрихи в кси( ξ). Сравниваем, что лучше аниме или обычное жалкое тридэ.
Берём странную картинку кубиков.

И милую картинку танцующих фигурок оригами.

Получаем такое чудо.

Действительно очень красиво вышло. Это не просто какой-то xor или вычитание. А нежное сочетание цветов.

Аниме vs ТриДэ.

Берём тридэ девушку, которая косплеит индианку.

И анимешную няшу.

В итоге получаем. Аниме побеждает с огромным отрывом. Ура!!

Исходники.

https://gist.github.com/senior-sigan/5293378

ImageMagick эксперименты #3

Ilya Siganov — Wed, 03 Apr 2013 09:54:00 +0000

Нет времени объяснять-через 20 минут начинается тренировка. Просто выкладываю новую порцию картинок. Теперь я произвёл случайное перемешивание каналов.

Берем 3 канала RGB. Существует всего $3! = 6$ возможных перестановок. Каждую перестановку выбираем с равными вероятностями $16\frac{1}{6}$ . То есть равномерное дискретное распределение. Ожидается, что картинка становится почти монохромной. Так и оказалось.

Мультик-преобразование

Следующее преобразование- берем яркость канала, если она больше половины яркости, то делаем её максимальной, иначе минимальной. Я забыл как называется этот эффект, кто знает фотошоп скажите.

Усиление каналов. Получаем вроде всего 8 цветов — red green blue black white cyan magenta yellow.

Няшке опять не везет. Но когда-нибудь я найду эффект, который сделает картинку фееричной.

Исходники.

https://gist.github.com/senior-sigan/5301188

ImageMagic эксперименты #1

Ilya Siganov — Mon, 01 Apr 2013 15:48:00 +0000

Фуууф, ребята. Опоздал к пятнице сделать, так хоть 1 апреля выложу. На днях мне пришла странная идея-умножать картинки. Ну как матрицы, вы в курсе. Так вот, пришлось сегодня вечерком быстренько поверхностно изучить библиотеку ImageMagick для Си и написать на коленке прогу без очистки памяти и прочего.

Меняем местами.

Итак. Начинаем с простого - поменять RGB местами, например BRG или еще как. Оказывается это очень клево выглядит(да, такое в фотошопе наверное 10 лет назад есть).
Берём Марселину

Получили синенькую Марселину. Няяяя

Клевая тачка желтого цвета. Надо перекрасить.

Получилось круче, чем было.

XOR

Далее. По просьбам друзей впилил XOR. Но это совсем не интересно, результат вполне ожидаем.

XOR

Получаем после XOR.

Очевидно это просто наложение картинок. Ну так немного вещественно.

Вычитание.

Подумал я после XOR — А что если вычитать цвета? Получилось еще вещественнее.

Умножение.

И таки да. быстро написав построчечное умножение матриц, умножил картинку саму на себя. Ожидания оправдались. ПОЛУЧИЛОСЬ ШЕДЕВРАЛЬНО.

Берём квадратную картинку, для простоты. И умножаем на саму себя.

Результат умножения картинки саму на себя. Черт возьми, да это же офигенно. Я давно не видел такой игры цвета и формы. Как изящно верх картинки косплеет под баркод. Ах.

Исходники.

И те кто хочет обхаять мой код. Сказать чтобы я проч шел с программирования вот исходник: https://gist.github.com/senior-sigan/5285689.