AR — простыми словами о технологии

Компания AMK производит и продает фасадные системы для домов — покрытие для облицовки зданий, предназначенное для красоты и защиты от плохой погоды. Они быстро и легко крепятся на стены с помощью клея.

В интернет-магазине компании большой выбор покрытий, например под кирпич. Можно выбрать цвет и тип кладки, купить специальный клей и инструменты для монтажа.

Покупателям не всегда понятно, как покрытие будет смотреться на доме. Проверить это можно, только купив и установив его. Конечно, можно примерить покрытие в графических редакторах — но это не идеальная технология. В редакторах надо уметь работать, а также заранее сфотографировать дом с нескольких ракурсов, в том числе с высоты.

Основатель компании знал, что такое AR. Он вдохновился тем, как эта цифровая технология помогает при выборе кроссовок: открывают приложение, выбирают нужные кроссовки, наводят камеру на ногу и видят, как они будут выглядеть на стопе. Он решил использовать виртуальную реальность в своем бизнесе.

Собственник захотел, чтобы фасадные панели АМК можно было примерить так же, как кроссовки: открыть приложение, включить камеру, выбрать границы стен и окон и смотреть, как будет выглядеть фасад после монтажа покрытий разных цветов и текстур. Дополненная реальность это желание может отлично выполнить.

Компания обратилась в OrbitSoft. Мы уже запустили для них интернет-магазин мерча и взялись за еще одну задачу.

Сфера бизнеса	Пример использования технологии дополненной реальности
Розничная торговля	Примерить одежду или аксессуары виртуально перед покупкой
Индустрия красоты	Выбрать мейкап или прическу, дополнять образ аксессуарами
Развлекательная индустрия	Повысить уровень вовлеченности в игровые сценарии
Интерьерный дизайн	Увидеть, как мебель или декор впишется в интерьер
Логистика и склад	Помогать находить товары на складе
Образование	Создавать интерактивные уроки, виртуальные экскурсии и модели для более наглядного обучения
Медицина	Обучать студентов медицины, проводить симуляции операций и визуализацию медицинских данных и сканов
Маркетинг и реклама	Создавать интерактивные рекламные кампании
Архитектура и строительство	Визуализировать проекты и проверять их соответствие реальной стройплощадке

Клиент сообщил, что его интересует дополненная реальность, и привел пример с кроссовками. Точного технического задания не было. Поэтому первым этапом было изучить подобные проекты в мире и определить подходящее техническое решение.

Придумали концепцию и логику приложения. Приложения, где реализована AR-технология, существуют на рынке достаточно долго, поэтому важно создать продукт с привычными для пользователей паттернами.

Мы изучили проекты, где присутствует дополненная картина среды: Рулетка iOS, Поиск Яндекса через AR-камеру, Ikea Place, Planner 5D. В каждом приложении простой принцип работы: при включении автоматически запускается камера, затем пользователь выбирает объект и смотрит, как с ним сочетается физическая реальность.

Изучили, как работает технология, и выбрали движок. Чтобы приложение могло дополнять реальность новыми элементами, нужно было собрать движок — программу, которая взаимодействует с камерой и дополняет ее.

Выбирая движок, смотрели, чтобы были готовые библиотеки кода под дополненную реальность. Это позволяло упростить и ускорить разработку. Под наш проект подходил Unity.

Изучили документацию Unity, чтобы разобраться, как в движке определяются объекты, работают камеры, плоскости, сценарии. Также изучили документацию гугловского инструмента ARFoundation — камера сначала изучает реальность, а потом ARFoundation передает данные движку.

Собрали движок. Он решает три задачи:

1. Определяет вертикальные поверхности, которые предстоит дополнять новыми элементами — стены дома, на который пользователь примеряет внешнее покрытие.
2. Находит все точки на вертикальной поверхности. На этом этапе движок определяет, где находятся окна и двери, чтобы учесть это при примерке покрытия. Также движок создает «якорь» — запоминает все поверхности, которые выбрал пользователь.
3. Создает вертикальный объект на поверхности — размещает выбранное покрытие на стенах дома.

В процессе разработки возникли трудности с определением границ окон. Алгоритмы, которые мы пробовали, по непонятной причине в одних случаях работали, в других — не могли корректно дополнять поверхность элементами. Например, мы выбирали окно или дверь — и иногда слетали границы, не накладывались правильно структуры. Мы уделили время поиску информации на форуме Unity, нашли другие библиотеки и в итоге решили проблему.

Разработали дизайн. Мы убедились, что логика приложения работает: можно включить камеру, выделить зону и приложение поймет, где стены у дома. После этого приступили к разработке дизайна приложения.

Подобрали референсы популярных AR-приложений из App Store и Google Play. Изучили требования для реализации AR-интерфейсов по гайдлайнам iOS и Android. Разработали дизайн:

• интерфейс простой и последовательный, ведет пользователя к достижению результата, исключая ошибки;
• сам интерфейс не отвлекает от задачи;
• элементы, фигуры, цвета, фактура соответствуют фирменному стилю компании. Пользователь чувствует, что находится в части экосистемы продукта.

Собрали весь путь пользователя, от экрана загрузки до этапа отправки заказа. На каждом экране есть дополнительный элемент-подсказка о том, что должно и может происходить конкретно на данном этапе.

Представили приложение заказчику и передали разработчикам.

После примерки человек может сразу вернуться в обычную реальность — перейти в интернет-магазин компании и заказать выбранное покрытие.

Приложение не требует большого количества памяти и работает без ошибок. Тем не менее, на старте разработки мы прогнозировали, что технология не совершенна. Реальность обычно можно дополнять виртуальным объектами в диапазоне трех метров. Этого достаточно для визуализации небольших предметов, например обуви.

Стена дома больше пяти метров, камера не распознает все очертания. Технология AR это ограничение обычно не может преодолеть. Однако наше приложение может без ошибок дополнять внешний вид одноэтажных и двухэтажных домов.

Технология сталкивается с ограничением по камере. Камера должна распознавать и запоминать границы дома, но на старых моделях смартфонов камеры воспринимают всю картинку как фон и не могут отделить более темную часть от более светлой, например окно на фоне стены. Поэтому AR дополненная реальность полностью раскрывает свои возможности только на определенных моделях устройств.

Летом 2023 года мы тестируем приложение, чтобы понять, какие и возможности предоставляет и какие ограничения накладывает технология. Также летом работаем над его публикацией в App Store и Google Play.

Следующий этап — продвижение приложения с текущими функциями. Постепенно будем дополнять его новыми функцями. Например, добавим функции интернет-магазина, чтобы пользователи могли оформлять покупку сразу в приложении, без перехода на сайт.