демо · компьютерное зрение на производстве

Камера на участке: что она ловит — и где ошибается

Любой подрядчик покажет вам ролик, где нейросеть обводит деталь зелёной рамкой. На производстве важно другое: сколько раз система поднимет тревогу напрасно и сколько нарушений пропустит. Это не настройка «включить получше» — это выбор, и его делает заказчик. Ниже смена с трёх камер и ползунок, который этот выбор показывает цифрами.

Смена 06:00–18:00, три камеры, 12 часов записи

Камеры стоят на посту сборки, у станка ЧПУ и на маркировке. Модель за смену подняла — срабатываний. Настоящих нарушений среди них было — — остальное похожие кадры: блик, рука оператора в кадре, тара не на месте.

0,75
0,50 — ловим всё0,97 — только бесспорное
—
поймано нарушений
—
пропущено — ушло дальше по цеху
—
ложных тревог за смену
—
работы оператора на разбор тревог
—
ВремяКамераЧто увиделаУверенностьИтог разбора

—

Как это считается — и почему так, а не «точность 99 %»

Модель не отвечает «да» или «нет». На каждый кадр она выдаёт число — насколько уверена, что видит нарушение. Дальше работает порог: всё выше порога идёт оператору как тревога, всё ниже молчит. Отсюда две ошибки, и они тянут в разные стороны.

порог = 0,75

тревоги   = срабатывания, где уверенность >= 0,75
поймано   = из них те, где нарушение было настоящим
ложные    = из них те, где нарушения не было
пропущено = настоящие нарушения с уверенностью < 0,75

разбор оператором = (поймано + ложные) × 40 секунд

Поэтому «точность 99 %» ни о чём не говорит: если нарушений 36 на 248 срабатываний, модель, которая всегда молчит, уже «права в 85 % случаев». Разговор надо вести про две цифры сразу — сколько пропустили и сколько раз позвали человека напрасно.

Данные смены на этой странице выдуманы и посчитаны в вашем браузере: на чужих производствах мы записей не берём. Распределение уверенности взято таким, какое обычно получается на реальном участке после обучения на 2–3 тысячах кадров.

Сколько камер влезет в ваше железо

Второй вопрос после «а оно поймает?» — «а на чём это будет считаться». Считается не в облаке: видео с цеха никуда не передаётся, модель работает на вашем сервере. Соберите свой участок и посмотрите, хватает ли одной видеокарты.

Пост сборки

комплектность детали, не та деталь в таре · 5 кадров/с
1

Зона станка

человек в опасной зоне при работе · 12 кадров/с
1

Маркировка

чтение номера и даты, нечитаемая маркировка · 2 кадра/с, кадр дороже в 4 раза
1

Видеокарта сервера

считает всё, что выбрано слева
——
—
кадров в секунду нужно считать
—
кадров в секунду даёт эта карта
—
памяти видеокарты под модели
—
запас по камерам
—
Откуда цифры производительности

Пропускная способность карт — замеры детектора на кадре 640×640: RTX 2060 — наш собственный замер на рабочем сервере, остальные карты пересчитаны по соотношению вычислительной мощности и подтверждаются типовыми значениями из открытых тестов. Кадр чтения маркировки считается за четыре кадра детекции: там две модели подряд — найти область с текстом и распознать символы.

нужно  = камеры_сборки × 5 + камеры_станка × 12 + камеры_маркировки × 2 × 4
память = 1,4 ГБ (детектор) + 0,25 ГБ на камеру + 1,8 ГБ, если есть маркировка

Это прикидка для разговора о железе, а не паспорт системы. На первом шаге мы ставим модель на ваш сервер и замеряем ровно на ваших камерах и ваших деталях: разрешение, освещение и скорость конвейера меняют цифры сильнее, чем модель видеокарты.

Что зрение делает хорошо, а что плохо

Эту часть обычно не пишут в предложениях, а она определяет, получится проект или нет.

Делает хорошо

Одно и то же место, один ракурс, постоянный свет: есть деталь или нет, та или не та, стоит крышка или забыли, человек зашёл за ограждение, тара переполнена. Считает штуки на конвейере. Читает крупную маркировку и сверяет её с заданием.

Делает плохо

Блестящий металл под прямым светом, мокрая или в масле поверхность, деталь в руке под произвольным углом, мелкая гравировка, трещины и раковины внутри материала. Оценка «качественно ли сварено» камерой не решается — это другой класс задач.

Что нужно от вас

Кадры с ваших камер, где нарушение видно, — хотя бы 300–500 штук на каждый тип. Пока их нет, никакой подрядчик не знает, с какой точностью это заработает: он просто не видел ваших деталей. Размечаем мы, снимает камера, которая у вас уже стоит.

Чего мы не делаем

Не распознаём лица сотрудников и не считаем, кто сколько курил, — это персональные данные и отдельный разговор с законом. Контроль безопасности делаем по силуэту в зоне, без привязки к личности.

С чего начать, чтобы не покупать обещания

Первый платный шаг на одну задачу и одну камеру. Берём самое дорогое для вас нарушение, размечаем кадры, обучаем, ставим на ваш сервер и две недели держим в режиме наблюдателя: система пишет журнал, но никого не останавливает. По журналу видно настоящие цифры — сколько поймала, сколько пропустила, сколько раз позвала напрасно. После этого вы решаете, ставить ли её в контур и расширять ли на остальные камеры.

Обсудить участок SmittMediaGroup · локальные модели на своём железе

Это демонстрационная страница. Смена, камеры и события на ней придуманы и считаются прямо в браузере — чужих записей с производств у нас нет и не будет. Механика порога, расчёт нагрузки на железо и ограничения описаны те же, с какими мы приходим на реальный участок.