Що таке OAK-D Pro та її роль у комірці

OAK-D Pro — це компактна стерео-камера машинного зору, яка в нашій комірці використовується як джерело зображення та глибини для задач виявлення й позиціонування об’єктів. У конфігурації лабораторії застосовується USB-варіант камери: передача даних і живлення виконуються через USB-C.

На відміну від звичайної веб-камери, OAK-D Pro має не лише кольоровий сенсор, а й стереопару моно-камер та вбудовані інфрачервоні елементи підсвічування. Це дає змогу стабільніше отримувати глибину в сценах, де мало текстури або недостатньо світла.

Рисунок 8.2.1. Передній вигляд камери OAK-D Pro (референсне зображення)

Апаратна будова камери

З апаратної точки зору OAK-D Pro включає такі ключові вузли:

  • RGB-камера — формує кольорове зображення сцени.
  • Дві моно-камери (stereo pair) — використовуються для обчислення карти глибини.
  • IR laser dot projector — створює інфрачервоний патерн для покращення depth на слабко-текстурованих поверхнях.
  • IR flood LED — інфрачервоне підсвічування для роботи в умовах низького освітлення.
  • IMU — інерціальний модуль (для орієнтації/руху системи).
  • RVC2 (on-device compute) — обчислювальний модуль камери, який виконує частину CV/AI-обробки на самому пристрої.
  • USB-C інтерфейс — один кабель для зв’язку з хостом і подачі живлення.

Таблиця 8.2.1. Основні апаратні компоненти OAK-D Pro (USB)

КомпонентПризначенняПрактична примітка для студента
RGB-камераКольоровий відеопотікВикористовується для візуального контролю сцени та детекції об’єктів
Stereo mono-камериРозрахунок глибиниПотребують стабільного монтажу й коректної калібровки
IR dot projectorПокращення depth на «плоских»/малотекстурних поверхняхПідвищує якість стерео в складних сценах
IR flood LEDПідсвітка при низькому освітленніRGB-камера не використовує IR як основне джерело зображення
IMUІнерціальні даніКорисно для задач оцінки руху/орієнтації, якщо це потрібно
RVC2Локальна обробка CV/AI на камеріЗменшує навантаження на Jetson у частині обробки
USB-CДані + живленняЯкість кабелю та живлення напряму впливає на стабільність

Підключення OAK-D Pro у нашій комірці

У лабораторній конфігурації камера підключається так:

  1. Закріпіть OAK-D Pro на жорсткому кронштейні без люфту й вібрацій.
  2. Під’єднайте камеру до Jetson через USB-C (data + power).
  3. Переконайтесь, що кабель не натягується під час руху робота та не входить у його робочу зону.
  4. Після запуску ПЗ відкрийте Налаштування → Перевірка камери / Запустити потік і переконайтесь, що є живе RGB-зображення; далі у вікні перегляду (або в Моніторингу) увімкніть depth-перегляд і перевірте, що карта глибини оновлюється без «завислих» кадрів. Якщо у вашій збірці немає перемикача depth, орієнтуйтесь на офіційний гайд Luxonis: https://docs.luxonis.com/hardware/products/OAK-D%20Pro%20W.

Примітка щодо живлення. Для Pro-камер із активованими IR-елементами інколи потрібне стабільніше зовнішнє живлення через Y-Adapter (якщо USB-порт хоста не забезпечує потрібний струм).

Можливості камери OAK-D Pro

Функціональні можливості OAK-D Pro:

  1. Забезпечує одночасне формування кольорового відеопотоку (RGB) та карти глибини (depth).
  2. Підтримує стерео-оцінку глибини в реальному часі для типових навчальних сценаріїв pick-and-place.
  3. Підвищує стабільність оцінки глибини на слабко текстурованих поверхнях за рахунок IR dot projector.
  4. Забезпечує роботу в умовах зниженого освітлення завдяки IR flood LED.
  5. Дозволяє виконувати частину обчислень безпосередньо на вбудованому процесорі камери (RVC2).

Апаратні та експлуатаційні обмеження OAK-D Pro:

  1. Камера не належить до засобів функціональної безпеки та не замінює E-STOP, safety scanner або захисні огорожі.
  2. Для прозорих, дзеркальних і виражено блискучих поверхонь коректність карти глибини може бути обмеженою.
  3. Досягнення метрологічно обґрунтованої точності позиціонування потребує калібрування системи «камера-робот».
  4. Камера не компенсує механічні похибки монтажу (вібрації, зміщення, люфт кріплення).
  5. Камера не замінює належної організації освітлення сцени; недостатнє або нестабільне освітлення знижує якість сприйняття.

Базове використання на лабораторній роботі

Базовий порядок роботи для студента:

  1. Візуально перевірити кріплення камери, чистоту оптики, положення кабелю.
  2. Увімкнути Jetson та ПЗ, переконатися, що камера визначилась системою.
  3. Перевірити, що відображається RGB-потік і карта глибини без пропусків кадрів.
  4. Зафіксувати робочу сцену (без зміни положення камери) і тільки потім виконувати калібрування/запуск задачі.
  5. Перед автоматичним циклом перевірити, що зона огляду камери відповідає робочій зоні робота.

Рисунок 8.5.1. Приклад роботи активного стерео: порівняння без IR та з IR підсвічуванням

Додаткові ресурси

Для поглибленого налаштування використовуйте тільки офіційну документацію Luxonis:

Критерії якості калібрування (камера)

Калібрування вважається придатним до експлуатації, якщо одночасно виконано:

  1. Маркери стабільно детектуються в межах робочої області, а координатна прив’язка не демонструє помітного дрейфу під час повторних перевірок.
  2. Повторний запуск на контрольній сцені дає узгоджені позиційні оцінки без систематичного зсуву drop/target відносно робочої зони.
  3. Кріплення камери є жорстким і без люфту, а після калібрування не змінювались положення камери, кабелю та опорних елементів.

Повторне калібрування обов’язкове, якщо:

  1. Змінено монтаж або орієнтацію камери.
  2. Змінено фокус/оптику або відбулась механічна подія (удар, вібраційне зміщення).
  3. Виявлено стабільний зсув координатної прив’язки під час verification.

Фіксація в журналі:

  1. Дата/час, відповідальний оператор.
  2. Які артефакти збережено (calibration_bundle.npz, workspace_definition.npz).
  3. Результат контрольної перевірки (PASS/FAIL) і короткий коментар.