Что нужно для разработки вашего первого AR-приложения

Симбиоз мануала и кейса в помощь тем, кто планирует предлагать клиентам услуги по реализации AR-проектов

Что такое изображения дополненной реальности?

Согласно документации для разработчиков, изображения дополненной реальности в ARCore позволяют создавать приложения дополненной реальности, которые могут «оживлять» 2D-изображения, например, плакаты или упаковки продуктов.

Вы загружаете в ARCore какие-то опорные изображения, а он вам затем сообщает об их обнаружении во время AR-сессии, например во время съёмки видео. И эта информация используется для расположения 3D-модели на 2D-изображении.

AR программа

Итак, наша программа будет достаточно простой. Мы будем наводить смартфон на некую ровную поверхность и далее на ней будет появляться объект. Данным объектом можно будет управлять за счет пользовательского интерфейса в приложении.

Начало проекта

Один момент…

Перед тем, как начать коммуникацию с клиентом, давайте дадим определение самой технологии:

Дополненная реальность — интеграция цифровых объектов в реальную среду.
Просмотр контента возможен с помощью мобильного устройства с камерой (смартфон/планшет) или очков дополненной реальности.

И немного цифр:

Мировой рынок технологий дополненной и виртуальной реальности в 2019 году вырастет на 68,8% относительно предыдущего года, достигнув 20,4 млрд долларов.

International Data Corporation (IDC)

В 2018 году количество загрузок ARCore (Android) и ARKit (iOS) — приложений дополненной реальности, составляет 1,8 млрд. По прогнозам, к 2020 году этот показатель должен увеличиться до 4 млрд.

ARTillery, ARCore and ARkit: Accelerating Mobile AR

Итак, наш клиент — это автомобильный бренд.

Он немного слышал о технологии дополненной реальности, а после встречи с нами зажегся идеей ее использования в маркетинговой активности бренда. Отправной точкой будет его первый микро-бриф — нужно создать «оживающую рекламу». Чтобы буклеты, страницы в журналах и наружная реклама «оживали».

Не так уж подробно, но мы с вами привыкли… 🙂

Конечно же, дальше мы еще спросим на какую аудиторию нацелено приложение, в каких магазинах планируется его размещение, подробно расспросим про желаемый контент и уточним все нюансы относительно функционала.

Ну что, вот и новые вводные!

Что такое дополненная реальность

Используя дополненную реальность (AR), мы смотрим на мир не напрямую, а через какой-то «фильтр», который встраивает в настоящий мир виртуальные объекты так, будто они действительно там находятся. В отличие от виртуальной реальности, настоящий мир не уходит из поля зрения, а «дополняется», что и отражается в термине.

Чаще всего в качестве «фильтра» для AR используется смартфон или планшет.

Реже встречающийся способ – AR на больших экранах: в торговых центрах, на остановках в рамках рекламных кампаний и т.п. Экран становится либо «окном», в котором помимо обратной стороны показываются дополнительные объекты, либо «телевизором», показывающим зрителей и виртуальные объекты рядом.

Еще более редкий, но известный благодаря футуристичности способ – очки дополненной реальности. Используются в основном на производствах, в обычной жизни вы их скорее всего не встретите. По крайней мере не сегодня.

Переводчик Google

Гугл-переводчик в списке приложений дополненной реальности кажется чужаком, но он уже не так прост, каким казался совсем недавно. Как и раньше, софт переводит тексты на более чем 100 языков мира. А технология дополненной реальности реализуется с помощью камеры смартфона или планшета. Наводим ее на текст, требующий перевода, и практически мгновенно получаем перевод на необходимый язык. Такой режим перевода особенно актуален в путешествиях.

Скачать для Android | iOS

Максим Клименчук

@maks.klim

Автор, инженер, кофеман и отец маленького «почемучки». Стараюсь не обрастать гаджетами. Не получается.

Функции

  • вы можете переносить изображения, объекты, продукты места в виртуальный мир простым наведением вашего устройства на них;
  • вы можете создавать свои собственные ауры и прикреплять их к изображениям, предметам и даже зданиям;
  • вы можете выбирать анимационных 3D персонажей из библиотеки приложения;
  • вы можете делиться своими «аурами» с друзьями в Twitter, Facebook, sms или электронную почту.

Что такое дополненная реальность и почему она интересна бизнесу

AR — это слой виртуальных объектов с дополнительной интерактивной информацией поверх объектов реального мира. Для активации этого слоя достаточно смартфона. Потому мобильная дополненная реальность и получила такое распространение – не нужны дорогостоящие очки и шлемы, это удел далекого будущего, а сейчас достаточно установить специальное приложение.

С помощью технологий дополненной реальности компании привлекают внимание клиентов и добавляют ценность самому продукту. Вот пример от Danone — рекламная кампания с элементами обучающего маркетинга: на продуктах «Растишка» появилась метка Shazam, с ней ребенок погружался в интерактивную игру. Через экран смартфона он наблюдал за динозавриком Дино и картой звездного неба, поворачивался по сторонам и искал разные космические объекты. С каждым йогуртом или творожком Danone ребенок получал магнит с планетой или созвездием, собирал их в общую карту – каждый из магнитов был меткой, скрывающей яркую космическую 3D-анимацию и интересную информацию об объекте.

Приложение с дополненной реальностью, активирующее метку на продуктах Danone

Технологии дополненной реальности расширяют способы взаимодействия с потенциальными клиентами, их возможности огромны. Само по себе применение AR не вызывает сложностей – формат хорошо ложится на привычные рекламные плакаты, листовки, билборды, каталоги и стенды. Рекламный щит становится своеобразной точкой активации интерактивной и визуальной составляющей, местом погружения в новый опыт. Задача компании теперь — не просто наложение одной реальности на другую, но поиск способов удержания клиента, вовлечения во взаимодейcтвие с брендом. И с этим дополненная реальность тоже справляется на отлично, не только за счет вау-эффекта, но и благодаря возможностям геймификации.

Свяжитесь с нами Обсудим? Закажите бесплатную консультацию

Также вы можете связаться с нами по бесплатному номеру 8 (800) 775-16-41

Как работает любое приложение с дополненной реальностью

С помощью камеры телефон распознает пространство вокруг себя, выясняет габариты и опорные точки, находя горизонтальные поверхности, на которых можно расположить виртуальный объект — заранее собранную 3D-модель или даже 2D-объект. Например специально разработанную картинку или снятое видео.

61%

населения России пользуется мобильным интернетом

5 лет

AR разработка прогрессирует на рынке IT

Мало кто знает, что дополненная реальность может быть создана на основе обычного видео, снятого на аппаратуру, которая имеется в вашем распоряжении. Например, на камеру смартфона. Этот метод позволит вам значительно снизить стоимость вхождения в мир AR.

AR на телефоне – подробное описание возможностей

Дополненная реальность на телефонах и планшетах основана на том, что телефон обрабатывает информацию из разных источников, таким образом определяет своё положение в пространстве и располагает в соответствии с ним виртуальный объект на экране. Pokemon Go использует GPS, компас и гироскоп. Распознавание QR-кода появилось еще в 2000-х, а инструменты по созданию AR на основе картинок-меток — в начале 2010-х. Instagram научился видеть лицо.

b92a6209a4264f04dd2a05d2a21e63f0.jpg

Современные системы не просто узнают какие-то элементы на изображении, но научились большему: они могут распознавать плоские поверхности, запоминать их взаимное расположение и на основе этого строить виртуальную модель окружающего пространства. Чтобы быть точным, подобные инструменты появились 3 года назад, но теперь, во-первых, они стали работать намного лучше и точнее, во-вторых, появилось намного больше телефонов и планшетов, поддерживающих такие инструменты.

Благодаря этому теперь возможна точная навигация внутри помещений. Вы можете оставить виртуальный предмет в комнате, выйти, вернуться – и телефон узнает комнату и поставит виртуальный предмет на место.

В теории, мы можем научить распознавать камеру любые объекты – библиотеки машинного зрения OpenCV находятся в открытом доступе. На практике есть инструмент, позволяющий распознавать руки (хотя и он требует доработки напильником под конкретную задачу), что используется ювелирными брендами, хуже для тех же целей распознаются уши.

0d9a885d3d7b91133cc049ec7b7d161a.jpg

Также постепенно появляются системы трекинга объемных предметов, сейчас они работают только с самыми простыми объектами (цилиндр, куб, и т.п.). Чтобы научить «видеть» сложные предметы, нужно натаскивать ИИ именно на этот предмет.

Особенно стоит сказать о такой возможности, как отслеживание уровня освещенности. Функция доступна на устройствах с поддержкой ARCore и ARKit – это введенные Google и Apple инструменты разработчиков и стандарты для устройств на базе Android (iOS) для создания эффектов дополненной реальности. Телефоны с поддержкой этих стандартов не только встраивают предметы в окружение, но и накладывают тени в соответствии с освещением. Особенно это заметно на «блестящих» виртуальных предметах. Таким образом виртуальные объекты выглядят более естественно, меньше выделяются среди настоящих объектов.

Разработка приложения

Первое что нужно сделать, так это скачать Unity. Заходим на официальный сайт, нажимаем на «Get Started» и скачиваем Unity версии «Personal». Как ни странно, вместо Unity у нас скачается Unity Hub, через который вы как раз и можете установить саму программу Unity. Здесь главное не забудьте указать поддержку Android и iOS устройств, чтобы будущее приложение можно было скомпилировать под эти платформы.

1584949263.png

Далее через тот же Unity Hub создаем новый проект, при чём название, расположение, а также формат проекта — это всё нам не особо важно.

2.1. Виды VR

Автономная VR работает сама по себе, без необходимости использования дополнительного внешнего оборудования (компьютер, консоль), например, Oculus Quest. Всё, что нужно, – это гарнитура и контроллеры VR.

Oculus Quest

VR на базе ПК – это любые гарнитуры, требующие постоянного подключения к ПК, такие как: PC Oculus Rift S, Valve Index, HTC Vive, Pimax и Windows Mixed Reality.

HTC Vive

Когда говорят о VR для консоли, обычно имеют ввиду PlayStation VR для PlayStation 4.

Рис. 4. PlayStation VR Рис. 4. PlayStation VR

Визитка

В дополненной реальности на визитке можно сделать целую презентацию компании. О вас будут помнить долго, передавать и показывать визитку всем знакомым или друзьям. Что может быть более эффективным стимулированием притока клиентов?

2.2. Типы отслеживания движения

Наиболее распространенный способ отслеживания движений – система Inside-Out с камерами, встроенными в гарнитуру. Такой подход реализован в Oculus Rift S, HTC Vive Cosmos и всех гарнитурах Windows Mixed Reality.

Существует также схема отслеживания Outside-In с размещением базовых станций в углах комнаты, помогающих гарнитуре и контроллерам отслеживать их точное местоположение (HTC Vive Cosmos Elite, Valve Index).

Рис. 5. Отслеживание Outside-In и Inside-Out Рис. 5. Отслеживание Outside-In и Inside-Out

В продвинутых гарнитурах используют одновременную локализацию и построение карты (SLAM), отслеживающую особенности физической среды, окружающей человека.

Пример работы SLAM

Создание программы

Следующий этап, удаляем основную камеру на сцене и вместо неё добавляем AR камеру. Такая камера идет от библиотеки Vuforia и она позволяет обрабатывать различные поверхности для расположения на них объектов.

Чтобы всё работало нужно в AR камере нажать на «Open Vuforia configuration» и далее в поле «Add licence key» нужно установить ключ. 

1584949402.png

Его можно получить на официальном сайте Vuforia. На сайте сперва регистрируемся. Далее в кабинете пользователя нажимаем на «Get Development Key», придумываем название для программы, можно любое, ставим галочку внизу и нажимаем «Confirm». Создается новое приложение, в котором как раз и есть нужный ключ. Копируем его и вставляем в Unity.

1584949451.png

Теперь добавим на сцену объекты «Plane Finder», а также «Ground Plane Stage». За счёт «Plane Finder» Vuforia сможет определить ровную поверхность, а за счёт «Ground Plane Stage» она сможет расположить на этой поверхности различные объекты. 

1584949526.png

Также не забудьте перенести ссылку на объект «Ground Plane Stage» в объект «Plane Finder». Это нужно чтобы «Plane Finder» понимал с чем требуется работать. 

1584949524.png

Расположение объектов

Зайдите в Asset Store, это официальный магазин Unity, и в нём найдите какую-либо модель, которую мы будем располагать в AR приложении. Скачиваем модель и импортируем в Unity.

Далее выбираем объект и перетаскиваем внутрь «Ground Plane Stage». Уменьшаем размеры если необходимо, а также отодвигаем камеру, чтобы объекты не находились в одном месте.

1584949638.png

Обложка или рекламный модуль

могли бы стать замечательной презентацией вашей компании, также эффектно будет смотреться внутрижурнальная реклама с дополненной реальностью. На такой странице любой читатель остановится надолго!

2.4. VR через веб-браузер

WebGL – кроссплатформенный API для 3D-графики в браузере. Исполняется как элемент HTML5 и поэтому является полноценной частью объектной модели документа (DOM API) браузера. Может использоваться с языками программирования, поддерживающими DOM API: JavaScript, Rust, Java, Kotlin и др.

Для упрощения работы с WebGL существуют различные фреймворки. Все они распространяются под свободной лицензией (MIT, Apache 2 или BSD), написаны на JavaScript и имеют сходный набор функций: работа с геометрией, материалом, светом, анимацией, камерами, шейдерами, текстом и 3D-аудио. Вот некоторые из них:

  • three.js – сайт, GitHub, MIT.
  • Babylon.js – сайт, GitHub, Apache 2.
  • A-Frame – сайт, GitHub, MIT.
  • PlayCanvas – сайт, GitHub, Apache 2.
  • React 360 – сайт, GitHub, BSD.
  • AR.js – GitHub, MIT.

Видеоурок по AR

Для более детального ознакомления предлагаем просмотреть небольшой урок на эту тему:

Развитие технологии

«Спасибо! В перспективе мы бы хотели развивать приложение. Есть ли какие-то новые механики, которые помогут быть бренду на гребне волны?»

Индустрия не стоит на месте. Каждый месяц появляются новые технологии, все более органично помещающие цифровые объекты в реальный мир. Это и есть фиджитал!

Еще совсем недавно сложно было представить, чтобы 3D модель привязывалась к любой плоскости, без участия маркера и не «дрожала», а сейчас обычный смартфон размещает без больших нагрузок тяжелые анимированные объекты, распознает лица, ноги, руки и даже ногти! Солдат 3D карты помещений и в риалтайме транслирует объемные фигуры живых людей. Мир меняется очень быстро!

Интересные эксперименты

Завершение проекта

И вот договор с нашим воображаемым клиентом подписан, ТЗ на приложение получилось заточенным под несколько бизнес-задач, подключена аналитика и совсем скоро мы увидим реальные показатели полезности решения! Это значит, что пора приступать к реализации проекта и думать над дальнейшими итерациями.

О чем еще хотите почитать?

Мы бы хотели подготовить еще несколько материалов, затронуть отдельные технологии, связанные с визуализацией и машинным обучением, а также составить witepapers, посвященные конкретным сферам применения, таким как применение фиджитал-технологий в промышленном секторе, обучении, городской среде и др.

Если у вас есть желание получить такой материал по конкретной тематике или технологии, чтобы лучше разобраться в вопросе и начать применять — пишите на почту vanya@phygitalism.com или в телеграм @youneedsky. Мы уже начали думать над темой следующей книжки!

Рейтинг
( 1 оценка, среднее 5 из 5 )
Загрузка ...