Intel realsense depth camera d415 обзор

Новые стереокамеры RealSense D400 и планы Intel на будущее

На сайте Intel появилась официальная страница с подробной информацией о новом поколении стерео 3D-камер Intel RealSense Depth Camera семейства D400, с возможностью их приобретения. Кроме того, в Сети также удалось найти подробности о перспективных планах развития технологии RealSense, а также о дальнейшей судьбе предыдущих поколений камер.

3D-камера Intel RealSense D435

На сегодняшний день в новое семейство Intel RealSense Depth Camera D400 Series входит две новых модели: D415 и D435. Основное назначение новинок по-прежнему соответствует ключевой парадигме технологии Intel RealSense: обеспечение 3D-восприятия глубины для разработки прототипов различных устройств.

Особенности камер семейства Intel RealSense D400

Новые 3D-камеры Intel RealSense D415 и D435 представляют собой USB-устройства со встроенными парными сенсорами глубины, ИК-лазерами подсветки и RGB-сенсорами. Камеры рассчитаны на использование в моделировании, образовании, создании аппаратных и программных платформ прототипов новых электронных устройств в таких областях, как добавленная и виртуальная реальность, мобильные устройства, автономные машины, автомобилестроение и другие.

3D-камера Intel RealSense D415

Камера Intel RealSense D415 характеризуется построчным считыванием матрицы (rolling shutter) и стандартным полем зрения оптики, она позиционируется как решение для проектов общего назначения. Для камеры Intel RealSense D435 характерен глобальный затвор (матричное считывание кадра, global shutter) и широкоугольная оптика, что обеспечивает более аккуратное восприятие движущихся объектов и более точную передачу глубины для движущихся прототипов.

Камеры RealSense D415 и D435 обеспечивают расширенные возможности разработки систем машинного объемного зрения за счет применения новейшего процессора Intel RealSense Vision Processor D4 с поддержкой сложных алгоритмов обработки глубины изображения.

Процессор Intel RealSense D4 представляет собой интегральную схему специального назначения (application-specific integrated circuit, ASIC), разработанную специально для расчета глубины изображения в реальном времени и ускорения работы систем компьютерного зрения. Чип D4 оснащен 16 Мб флеш-хранилищем с последовательным интерфейсом для хранения прошивки, синхронизируется от кварцевого генератора с тактовой частотой 24 МГц, и взаимодействует в внешним сигнальным процессором (ISP) производства Realtek для обработки цветовой информации получаемого 3D-изображения.

Процессор Intel RealSense D4 производится на линиях с соблюдением норм 28-нм техпроцесса и поддерживает до 5 каналов подключения камер по интерфейсу MIPI Camera Serial Interface 2 (MIPI CSI-2 v2.0), с возможностью вычисления глубины изображения в реальном времени и выводом видеопотока с информацией о глубине изображения со скоростью до 90 кадров в секунду. Это на 60 fps больше, чем те 30 fps, что обеспечивали камеры RealSense первого поколения.

Камеры RealSense D415 и D435 оснащены правым и левым сенсорами изображения, генерирующими видеопоток данных о глубине изображения со значительно большим объёмом информации, нежели предыдущие поколения стереокамер.

Дополнительные инфракрасные излучатели призваны подсвечивать объекты для более точного сбора глубины изображения. Особенно важна такая подсветка при работе с однородными объектами. Так, например, точное вычисление расстояния до белой стены только стереодатчиками было бы затруднительным, но с лазерной ИК-подсветкой риск ошибки значительно снижается

RGB-сенсоры с разрешением 1920 x 1080 пикселей (Full HD) и скоростью считывания 30 fps вместе с выделенным сигнальным процессором обеспечивают точную передачу текстуры и цветовой информации изображения. Новый улучшенный стереоскопический алгоритм и новый дизайн камеры обеспечивают точную передачу глубины объектов на большем расстоянии, нежели предыдущие поколения камер.

При оптимальной калибровке системы, стереоскопическое восприятие глубины обеспечивает ошибку на уровне не более 1%. Новые камеры способны обеспечивать захват данных на расстоянии до 10 метров – как на улице, так и внутри помещений.

Основные характеристики камер RealSense D415 и D435

Модель	RealSense D415	RealSense D435
Процессор	RealSense D4
Модуль RealSense	D410	D430
Угол обзора (FOV, горизонталь х вертикаль х диагональ)	69,4° x 42,5° x 77°	91,2° x 65,5° x 100,6°
Стереобаза	55 мм	50 мм
Потоковые видеоданные глубины	1920 x 1080@30 fps, 16:9, 10-битный RAW	1280 x 720@30 fps, 8:5, 10-битный RAW
Минимальная дистанция замера глубины (Min-Z)	0,3 м	0,2 м
Тип сенсора	Построчное считывание (Rolling shutter)	Матричное считывание (Global shutter)
Тип инфракрасного лазера	Поверхностно-излучающий полупроводниковый лазер с вертикальным резонатором (VCSEL) + оптика, PWM-контроллер
Длина волны ИК-излучения	850 ± 10 нм (при 20°C)
Мощность ИК-излучателя	Средняя 350 мВт, на пике до 440 мВт	Средняя 350 мВт, на пике до 4,25 мВт
Угол охвата ИК-излучения (горизонталь х вертикаль х диагональ)	80° x 55° x 89,3°	100,4° x 69° x 110,4°
Максимальная дистанция замера глубины изображения	До 10 м (в зависимости от освещения, сцены и калибровки)
Модель правого и левого сенсоров	OV2740	OV9282
Оптика	f/2.0	f/2.0
Фокусное расстояние	1,88 мм	1,93 мм
Разрешение сенсоров	1920 x 1080@30 fps, 16:9	1280 x 720@30 fps, 8:5
Искажение	Менее 1,5%
Модель RGB-сенсора	OV2740
Разрешение RGB-сенсора	1920 x 1080@30 fps, 16:9, 10-битный RAW
Встроенный фильтр RGB-сенсора	ИК-фильтр
Габариты камеры (длина х глубина х высота)	99 x 20 x 23 мм	90 x 25 x 25 мм
Интерфейс	USB 3.0, USB Type-C
Сигнальный интерфейс	MIPI CSI-2, 2х линии, для синхронизации сенсора с другими камерами
Крепеж	1/4-дюймовая резьба, два отверстия под резьбу M3

Новое поколение кроссплатформенного пакета Intel RealSense SDK 2.0 с открытым кодом обеспечивает работу с различными операционными системами, сторонними плагинами и множеством программных языков.

Список поддерживаемых платформ включает Ubuntu 16.04 LTS (ядро Linux 4.4, 4.8 и 4.10), Windows 10 (Build 15063) и Windows 8.1. Дополнительная оговорка для Windows 8.1: под этой ОС аппаратная синхронизация кадров для камер серии D400 не работает.

Также стало известно, что семейство Intel RealSense D400 не ограничится моделями D415 и D435, и со временем будет расширено новыми модулями стереокамер с поддержкой активной и пассивной технологии передачи глубины изображения, в видимом или инфракрасном диапазонах: D400 и D420.

Семейство Intel RealSense D400

Судьба 3D-камер RealSense предыдущих поколений

Стала известна дальнейшая судьба камер Intel RealSense предыдущих поколений. В выложенной на GitHub документации по Intel RealSense SDK версии 2.0 (build 2.8.0) прямо указывается, что новое поколение набора разработчика можно использовать совместно с камерами Intel RealSense D415 и D435, камерными модулями Intel RealSense D400, D410, D420 и D430 (прошивки от версии 5.08.09.0 и выше), визуальным процессором Intel RealSense Vision Processor D4m, а также с единственной камерой предыдущего поколения – Intel RealSense SR300 (прошивки от версии 3.10.10.0 и выше).

Таким образом, камеры R200 и F200 новым RealSense SDK 2.0 не поддерживаются, а для работающего с ними RealSense SDK 1.0 принято решение о сворачивании дальнейшего обновления – EOL (End of Line).

Цены и сроки появления в продаже

На день публикации материала 3D-камеры RealSense D415 и D435 всё еще не были доступны для заказа, но зато на странице сайта Intel, посвященной устройствам RealSense, появились цены на обе новинки.

Итак, младшую камеру Intel RealSense D415 можно будет заказать по цене $149, новая флагманская модель Intel RealSense D435 обойдется в $179.

Intel realsense depth camera d415 обзор

The browser version you are using is not recommended for this site.
Please consider upgrading to the latest version of your browser by clicking one of the following links.

Мы немедленно приостановили все деловые операции в России. Это следует за нашим предыдущим решением приостановить все поставки клиентам в России и Беларуси.

Если у вас возникли вопросы, свяжитесь с нами здесь.

• Company Overview
• Contact Intel
• Newsroom
• Investors
• Careers
• Corporate Responsibility
• Diversity & Inclusion
• Public Policy

• © Intel Corporation
• Terms of Use
• *Trademarks
• Cookies
• Privacy
• Supply Chain Transparency
• Site Map

Intel technologies may require enabled hardware, software or service activation. // No product or component can be absolutely secure. // Your costs and results may vary. // Performance varies by use, configuration and other factors. // See our complete legal Notices and Disclaimers. // Intel is committed to respecting human rights and avoiding complicity in human rights abuses. See Intel’s Global Human Rights Principles. Intel’s products and software are intended only to be used in applications that do not cause or contribute to a violation of an internationally recognized human right.

Intel® RealSense™ — обзор камер

Ассортимент нашего магазина включает линейку камер объёма RealSense™ от компании Intel® — одного из лидеров области высокопроизводительной компьютерной техники и комплектующих.

Компания Intel сосредоточена на создании “технологий, изменяющих мир и обогащающих жизнь всех людей на планете” — так они формулируют свою цель. Имея такие большие амбиции, они работают над тем, чтобы совместно с другими решать мировые проблемы, с которыми никто не сможет справиться в одиночку. Современные технологии не могут быть изолированными и принадлежать одному лицу, поскольку они предназначаются для решения вопросов широкой публики и именно из-за распределенности и разнообразия задач и применений, кооперация в использовании технологий и программного обеспечения даёт наиболее значимые прорывы в развитии этих направлений.

Камеры глубины изображений имеют огромное количество применений и уже широко используются в промышленности, а также миллионами людей в повседневной жизни (face-ID, к примеру). Разработчики решений на их основе используют аппаратное и программное обеспечение, часто с открытым кодом, предлагаемые на рынке.

Исходя из своего названия, камеры глубины позволяют определять расстояние до объектов на получаемом изображении. Обычно каждому пикселю кроме данных о цветовых характеристиках присваивается определенное значение расстояния от источника съемки до снимаемого объекта.

Технология определения камерами глубины изображений развивается по следующим направлениям:

Structured Light — камеры структурного света (часто инфракрасный проектор совмещается с камерой визуального диапазона для получения снимков и совмещения в них полученных данных);

Time of Flight — камеры, основанные на измерении задержки во времени отраженного света;

Depth from Stereo — камеры, использующие классическую технологию построения объемного изображения из стерео снимка;

Light Field — камеры светового поля (пленоптические камеры);

Lidar — камеры с применением лазерных технологий, в т.ч. светодиодных лазеров.

Из 5 рассматриваемых способов построения видео глубины Structured Light, Time of Flight и Lidar отлично работают в помещениях на расстояниях от 10 сантиметров до 10 метров, а главное — весьма дешевы (что позволяет использовать их в массовых смартфонах), но только двум — Depth from Stereo и Light Field не мешает солнце и не создают помех соседние автомобили, поэтому они перспективны для применения вне помещений, в том числе и в автономном транспорте. При этом Light Field в разы дороже и менее точна на больших дистанциях, что делает её менее конкурентноспособной.

Компания Intel в своей линейке продукции использует три из 5-ти перечисленных выше технологий. Осталась “за бортом” Light Field, основанная на технологии фиксации светового поля, предполагающего фиксацию в каждой точке не цвета пикселя, а двумерной матрицы пикселей, превращая двумерный кадр в четырехмерный. Эта технология требует крупногабаритной и дорогой аппаратуры, что не вяжется с концепцией компании создания массовых высокопроизводительных микро-устройств в современном понимании технологического прогресса.

Чтобы не быть голословным — вот пример камеры, работающей по данной технологии:

Также пока не представлены устройства очень активно развивающейся технологии Time of Flight, использующей современные полупроводниковые устройства, работающие на высокой частоте для фиксации задержки в сигналах. Принцип действия данной технологии основан на измерении задержки света (ToF, Time-of-Flight). Свет, как бы ни казалось, что его скорость велика, но за один такт процессора с частотой 3 ГГц успевает пролететь около 10 сантиметров и если использовать импульсный источник света и специальную камеру, то остаётся измерить только задержку с которой свет возвращается в каждую точку, чтобы получить подобные данные:

Это очень активно развивающаяся технология, позволяющая получать данные с высоким fps и без “теней”, характерных для текстурированного света, что является отличным решением для применения в промышленных роботах. Скорее всего нас ещё ждут камеры RealSense™, работающие с применением этой технологии.

Линейка камер RealSense™ включает следующие модели:

Tracking Camera T265;

Depth Camera SR305;

LiDAR Camera L515;

Depth Camera D415 — D435 — D435i — D455

Tracking Camera T265, работающая с применением модуля Tracking Module T261 по существу не относится к камерам глубины в прямом понимании этого термина. Это компактная производительная камера слежения, которая может применяться в различных проектах с использованием компьютерного зрения. Она предназначена для работы в устройствах навигации и маппинга. T265 — это кроссплатформенное решение, удобное для разработчиков и полностью готовое к применению в проектах сферы робототехники, дополненной реальности и дронах.

Работа камеры основана на технологии V-SLAM, комбинирующей Simultaneous Localization and Mapping (SLAM) и широкоугольные камеры с инерциальным измерительным устройством Inertial Measurement Units (IMU). Это позволяет при прохождении маршрута составить карту с привязкой к объектам и при повторном прохождении по этому же маршруту (или в его пределах) получать отклонения от него не более 1%. Задержка между движением и его отображением в этой камере составляет на более 6 мс.

Один из вариантов применения — для навигации робота-пылесоса:

Depth Camera SR305, работающая с применением модуля Depth Module SR300 по технологии структурного света Coded Light (Structured Light). Она предназначена для измерения глубины изображений путем проставления каждому пикселю изображения своего значения расстояния от камеры до объекта съемки. Технологически в данной камере это достигается путем обработки информации о полученном изображении с RGB-камеры с излучаемым на объект съемки световым шаблоном-сеткой (Coded light) с последующим разложением и анализом этих данных при помощи визуального процессора Intel RealSense. SR305 использует различные шаблоны кодирующего цвета для увеличения точности измеряемых данных о глубине. Разрешение RGB-камеры, принимающей сигнал составляет 2Мпикс.

Данная камера является базовой и самой доступной в линейке камер глубины Intel RealSense и подходит для разработчиков, начинающих свои проекты в приложениях с дополненной реальностью (Augmented Reality), распознавании жестов, распознавании лица, построении скелетной анимации и предоставляя выгоды низкой стоимости плюс plug and play функционал при обеспечении глубины разрешения 640х480 пикселей при 60fps.

LiDAR Camera L515 — это самая компактная LiDAR камера с высоким разрешением для использования внутри помещений. Лидар (LIDAR, Light Detection and Ranging) — это технология получения и обработки информации об удалённых объектах с помощью активных оптических систем, использующих явления поглощения и рассеяния света в оптически прозрачных средах. В данной камере применяется технология лазерного сканирования MEMS mirror scanning technology, обеспечивающая получение данных о глубине изображения в максимальном разрешении и с высочайшей точностью при небольшом энергопотреблении всего в 3.5 Вт.

Данное устройство обеспечивает сканирование данных на расстоянии до 9 метров с получением до 23 млн. пикселей в секунду и при этом весит всего 100 грамм.

Она предназначена для проектов в логистике, робототехнике и 3D-сканировании.

Depth Camera D415-D435-D435i-D455 на базе модулей Depth Module D400-D430. Данная линейка камер от 415-й до 455-й модели наращивает свой функционал и производительность.

Эти камеры работают по технологии стереоглубины Stereo Depth (Depth from Stereo), т.е. определяют расстояние на основании различия в изображениях с двух приемников (ИК-камер), направленных в одном направлении и совмещая эти данные с получаемой видеокамерой картинкой. Расположение излучателей и приёмников показано на картинке:

Depth Camera D415 предназначена для измерения глубины изображений путем проставления каждому пикселю изображения своего значения расстояния от камеры до объекта съемки.

Данная камера является идеальным вариантом для 3D-сканирования, распознавания лица и других измерений данных объема и подходит для разработчиков, производителей и новаторов, стремящихся использовать данные глубины изображений.

Depth Camera D435 обладая камерой с широким углом обзора, является идеальным вариантом для приложений автоматизированной навигации и распознаания объектов.

Depth Camera D435i является модификацией камеры глубины Intel RealSense Depth Camera D435 с добавлением инерционного измерительного модуля inertial measurement unit (IMU), который позволяет определить положение (движения и повороты) в 6 степенях свободы (6 degrees of freedom — 6DoF). Он комбинирует данные с различных сенсоров с гироскопами для определения как вращения, так и движения в 3-х осях, а также тангаж, рыскание и крен. Он применяется для стабилизации изображения при движении камеры, что важно в игровых и указывающих устройствах.

Обладая камерой с широким углом обзора, данное устройство является идеальным вариантом для приложений автоматизированной навигации и распознаания объектов, позволяя точно получать данные в движении.

Depth Camera D455 является на сегодня топом линейки камер глубины Intel® RealSense™ Depth Camera D4хх. Она оснащена инерционным измерительным модулем IMU, который позволяет определить положение (движения и повороты) в 6 степенях свободы. Модуль комбинирует данные от различных сенсоров с гироскопами для определения как вращения, так и движения в 3-х осях, а также тангаж, рыскание и крен. Он применяется для стабилизации изображения при движении камеры, что важно в игровых и указывающих устройствах.

Особенностью данной модели является то, что расстояние между ИК-сенсорами увеличено до 95мм путем размещения их по краям модуля, что улучшает определение глубины изображения (ошибка определения не превышает 2% на дистанции 4м).

В камерах RealSense™ серии D400 применяется визуальный процессор Intel® RealSense™ D4, который использует сложные алгоритмы для обработки изображений, производимых 3D-камерой, а также вычисляет 3D-карты в высоком разрешении, при этом нет необходимости в выделенном графическом или хост-процессоре. Использование этого видеопроцессора ускоряет процесс проектирования и увеличивает пропускную способность для хост-процессора в системе.

Модули Depth Module D400-D430, на базе которых собираются камеры серии D400 — это готовое решение для ускорения разработки и интеграции новой продукции для систем виртуальной (VR, Virtual Reality) и дополненной реальности (AR, Augmented Reality), робототехники, дронов и других областей применения. Они используют технологию определения глубины с активным (D410, D415, D430) и пассивным (D400, D420) стерео режимом, технологию сенсора изображения: Global Shutter и Rolling Shutter, имеют 2 варианта Depth FOV — угла обзора (63.4° × 40.4° и 85.2° × 58°) и имеют глубину разрешения 1280х720 пикс. при 90fps. Подробнее с техническими характеристиками модулей можно ознакомиться по ссылке: https://www.intelrealsense.com/stereo-depth-modules-and-processors/

Для работы с данными камерами компания Intel предоставляет набор средств разработки — RealSense SDK 2.0 с возможностью самокалибровки камер, что позволяет производить калибровку камер менее чем за 15 секунд без необходимости использования специализированных приложений и аппаратуры. Этот комплект позволяет извлекать данные пространственных параметров из камер объема и переводить их в формат выбранной платформы — Windows, Linux, macOS и других. Пакет SDK также предлагает образцы открытого исходного кода и оболочки для различных языков программирования, включая Python, Node.js, C#/.NET и C/C++.

Завершая обзор линейки продукции RealSense™, можно сказать, что компания Intel предоставила возможность использовать готовые “коробочные” аппаратные решения для различных областей, использующих компьютерное зрение. Будь то трекинг, система предотвращения столкновений или системы распознавания жестов — для вас не будет проблемой подобрать соответствующее по техническим параметрам и рациональное по цене оборудование в нашем магазине.

Sensor Shootout: RealSense D415 vs. SR300 vs. Orbbec Astra S

Sensor Shootout: RealSense D415 vs. SR300 vs. Orbbec Astra S

It has been a while since I covered depth sensors for 3D scanning because there haven’t been interesting new ones for a while. When people ask what sensor to buy to take their first steps into the world of 3D scanning, I usually advice a Structure Sensor (Review) for iPad owners and and a 3D Systems Sense 2 (Review) — which features an Intel RealSense SR300 sensor — to people that want to use a Windows 10 laptop or tablet.

I always stress that the sensor itself is just 50% of the scanning experience. The software is the other half. The Sense 2 comes with its own well-designed Sense for RealSense software and for the Structure Sensor I advice either itSeez3D or Skanect, depending on the use case.

But the SR300 has been replaced by Intel’s latest RealSense D400 series of depth sensors and I’m getting a lot of questions about it in relation to 3D scanning. Also, I see a big rise in popularity of the Astra line-up from Orbbec, which is also HP’s sensor supplier of choice for the Sprout Pro G2 all-in-one computer (Review) and recently introduced HP Z Camera (which I’m currently beta-testing and will review soon). And of course, a lot of people are Googling for Microsoft Kinect alternatives and these sensors are all contenders for that.

Hardware

So for this review I’ve tested both the $172.55 Intel RealSense D415 and $159.99 Orbbec Astra S sensors to see how they perform for 3D scanning small to medium objects. And as a benchmark, I’ve put these sensors up the RealSense SR300 which I have been using for almost two years now — both in the form of the 3D Systems Sense 2 and the more bare-bone (dev-kit) version in the form $149.99 Creative BlasterX Senz3D.

Here are the sensors with some specs

SR300	D415	Astra S
Price	$149.99	$172.55	$159.99
Range	0.3 – 2m	0.16 – 10m	0.4 – 2m
Max Depth Res	640×480 @ 30fps	1280×720 @ 60fps	(1280×1024 @ 5fps) 640×480 @ 30fps
Max Color Res	1920×1080 @ 30fps	1920×1080 @ 60fps	(1280×960 @ 7fps) 640×480 @ 30fps
FoV	H: 73, V: 59	H: 69.4, V: 42.5	H: 60, V: 49.5
Connection	USB 3.0	USB 3.0 / C	USB 2.0

There are a few things that are noteworthy before I continue:

• The SR300 and Astra S are both short-range sensors (hence the model names). The D415 has a longer range but it does start at a very nearby distance which makes it better suitable for object scanning than long-range sensors like the RealSense R200 and the Orbbec Astra (non-S) which hav a minimal scanning distance of 0.5m and 0.6m respectively.
• There’s also a RealSense D435 model which has a larger field of view due to wide-angle lenses and a global shutter system for all cameras. Both features have benefits for object or human tracking use-cases that either have to cover a large area or have fast-moving subjects, but there are no benefits for (slowly) scanning small to medium objects or people.
• The Astra S’ higher resolution modes only work at very slow frame rates, making them less suitable for handheld scanning (turntable scanning does work). More about that later.
• The Astra S is a lot larger than the other sensors, putting the projector and IR-sensor further apart. This can make it harder to scan hard-to-reach areas that are obstructed by other parts of an object.
• Finally, it’s good to know that all three sensors have standard tripod threads but the SR300 is impossible to mount on the plates of most large tripod because the thread isn’t located at the lowest point of the device. A reader noted in the comments that even though my Astra S does have a standard 1/4″-20TPI tripod thread, recent models have an M6x7.2mm thread that might not fit the tripods you have (mine all have 1/4″ screws). The RealSense models all have a single 1/4-20 tripod threads on top of that the D400-series have two M3 threads on the back.

Software

To test these devices properly I needed software that supported all of them. The only commercial software that I know of that does so is RecFusion. I’m using the $99 single-sensor version for this review but it’s good to know that there’s also a $499 multi-sensor version. With that, you can create a calibrated rig with multiple sensors around a subjects so you can minimize or eliminate movement and increase scanning speed.

I’ll do a full review of RecFusion soon in which I will also cover its editing features. But in short the big benefit of the software is that it supports so many sensors and let you choose all available depth and color resolutions independently (although not all resolutions or combinations of resolutions seem to work).

Note about Texture Quality
A downside of RecFusion that greatly impacts this review is how it captures and handles color data. Unlike the recent version of Skanect that has a mode that can capture color frames independently of depth data and map these images as textures onto the geometry later, RecFusion strictly uses per-vertex coloring internally. It can export a UV texture map in some file formats but that will be generated from the per-vertex colors, not from external image files. This means texture quality isn’t on par with other software in my opinion, so I’m forced to mainly focus on geometric scan quality for this review.

Test Setup

Although all sensors can be used hand-held, I’ve opted to mount them on a Manfrotto Action Tripod and use a simple IKEA SNUDDA lazy susan. This way I can make sure that the scan results are not influenced by human variables such as hand motion. Because I’ve scanned from a single static angle, this means that the resulting models will contain holes. However, the goal of this test is not to make complete scans but rather look at the relative results between sensors.

As you can see I’m using two softboxes with continuous studio lights but that’s strictly for better texture quality (which isn’t RecFusion’s strong point). Depth capture is not influenced by artificial lights at all — depth sensors can even “see” depth in complete darkness. As a side note: the SR300 and Astra S don’t like sunlight from nearby windows, while the D415 is designed to also function outdoors. I haven’t tested that yet, tough.

It is nice that RecFusion let’s you set the sensor orientation to vertical. For tall objects, this is often preferable because the sensors image size is rectangular. Here is what the color and depth feeds look like, and how that translates to a realtime 3D point cloud:

The default settings for the SR300 (above is a still frame) are pretty good. And because the range stops at 2 meters I had no problems with the back wall of my office. The depth image might not be just VGA resolution but it’s very stable and almost without noise. This is a different story with the D415’s depth map (below is an animated GIF) that has a lot of moving noise — regardless of the resolution:

In my tests, I found that the severe noise impacted both the tracking during scanning as well as the scan quality. It did help to set the depth-cutoff to 1 meter (since the sensor can sense up to 10 meters) even though the 3D image is only formed withing the bounding volume.

With the Astra S, RecFusion displayed the high res color and depth modes as 30fps while the specs state 5-7fps.

But if you look closely at the bottom-right corner you can see the actual combined framerate drop to 3fps with the highest depth resolution selected. That’s very low even for turntable scanning. That might be a limitation of the Orbbec sensor’s USB 2.0 connection vs. USB 3.0 on the RealSense devices. Somehow the highest color resolution streamed only colored static.

Results

But now let look at some results! What you see in the Sketchfab embed below are (from left to right): the SR300 result with the 640×480 depth resolution; the D415 result in both 640×480 and 1280×720 resolutionl and the Astra S result in 640×480 and 1280×1024 resolution.

Note: All models were captured with RecFusion’s Volume Resolution set to 512×512 which translate to a “voxel size” of 2mm, meaning it won’t capture details smaller than that. Theoretically these sensors have a higher depth resolution than that at close range (the resolution is distance-dependent). For instance, Intel states that the D400 series is less than 1% of the distance, meaning

1mm at 1m. But setting any higher resolution proved too much for my Surface Book with GTX965 and 2GB of VRAM. RecFusion simply gave an error that it wouldn’t go any finer — at least in real-time*.

To start, let’s quickly take a look at the colors. From a distance they’re all okay’ish but zoom in and they’re blurry. Since RecFusion does per-vertex coloring, increasing the Volume Resolution can possibly result in slightly better textures but I can’t say how significant this is. Also, a higher resolution would be overkill for the 640×480 depth setting so you’ll just end up with an unnecessary high polycount.

Hit 3 on your keyboard to view the embed in MatCap mode without the textures. The SR300 made the bust a bit chubby somehow but overal the geometry is very clean (again, the holes are because of the single-angle scanning from a tripod).

The “low-res” D415 result seems to reveal that the sensor uses circular structured light patterns or something like that since there are circular deformations on the surface. Also there’s not a lot of definition, possibly because of normalized noise. This moving noise has been smoothed out on the actual surface because the software fuses image data over time but it’s still visible on top of the model. The “high-res” version has slightly more detail (check the eyes). Possibly this could have been more with a higher Volume Resolution setting but I doubt it will be significant because of the severe noise.

The Astra S results have a few errors but are overal smooth and even the “low-res” model contains more definition than the SR300 model with the same 640×480 depth resolution. The “high-res” model is a bit more defined but also contains a bit more surface noise. And since scanning was done at 3fps this was also the slowest scanning session of all.

Next up is a scan of a full-scale foam head. I chose this object because it doesn’t have so many details and a very smooth surface, making it harder to track (especially the back) and easier to spot noise on. For this comparison I’ve scanned with all 3 sensors at 640×480 resolution. I discarded color altogether since the foam head is all white anyway.

In this comparison it becomes very clear how the noise (which is probably even exaggerated by the white surface) on the D415 influences both the tracking and capture quality — it’s horrible! The face is completely different than the real thing and if you look at the back you can see that it didn’t capture the small indent in the skull which the other two sensors had no problem with.

Comparing the results from the two short-range sensors, you can see that they’re very similar in details but the Astra S scan is smoother and has less deformations.

To wrap up, a scan of a 30cm tall old jar with all three sensors:

By the way, the color quality in terms of hue, saturation and brightness can be easily controlled in RecFusion — both at the capture stage and afterwards — but I simply didn’t pay any attention to that here. Also, the deformations on the Astra S scan are probably because its projector and sensor are further apart compared to the RealSense arrays which becomes problematic when scanning smaller objects, especially from a fixed angle.

Although an object this size is only just within the comfort zone for a sensor like this, it’s clear that the D415 has most noise and the SR300 and Astra S surfaces are similar, with the latter having the edge on overal smoothness.

Conclusion

First, let me repeat that I cannot judge color capture quality for texturing with the native RGB cameras in this test because of the per-vertex nature of RecFusion. In general, both RealSense sensors should give better texture quality with their Full HD (

2 megapixel) RGB cameras while the Orbbec Astra S can only capture textures at VGA (

0.3 megapixel) resolution, at least at a decent framerate for 3D scanning. But even a Full HD camera won’t cut it for creating quality assets for purposes like asset creation for game and VR/AR development or mobile real-time 3D applications. That’s why HP added an external 14.2 megapixel RGB camera to the Astra S sensor array for it’s Sprout G2 (Review) and Z Camera (Review soon!) products combined with software that can perform asynchronous UV-texture mapping.

Need Tailored Advice?

Want to know which depth sensor is best for your use-case — or if a depth sensor is the best technology for that in the first place?

I consult for individuals and startups as well as large Fortune 50 corporations, so don’t hesitate to send me an email with your 3D scanning challenges.

But maybe you don’t care about color at all! Then it’s clear that Intel’s latest D400-series depth sensors, or at least the D415 (but I strongly believe the D435 performs similar) is not a step forward for 3D scanning compared to the SR300 short-range sensor of the previous generation. I don’t know if it can be fixed with software but the severe noise levels on my D415 make it unacceptable to use for 3D scanning both in terms of tracking and actual geometry capture.

That is, of course, for the small objects I’m testing with in this post. The D415 can scan up to a whopping 10 meters, which I’ll test soon. At a larger distance and for larger objects or interiors, the noise levels might be more acceptable.

For objects, my advice would be to buy an SR300 if color capture is important to you, or buy an Astra S if you care more about smooth surfaces in the geometry. Or you could wait for the HP Z Camera to come out, since it features a secondary high-res RGB camera and software for quality UV-texture mapping, but you’ll have to wait for my review to know if that combination works out — and need to save a bit more since pricing will “start at $599” according to HP.

Next up I’ll do a full review of RecFusion and its editing features. Follow me on LinkedIn, Facebook or Instagram and be the first to know when that post is live!