Промышленность

Машинное обучение с сохранением конфиденциальности для промышленности

Отрасли:

Транспорт, горнодобывающая промышленность и металлургия

Метод шифрования:

Функциональная трансформация (Veils)

Тип данных:

Изображения, видео

ML-модель:

YOLOv7, YOLOv8

ML-задачи:

Класс задач ― компьютерное зрение, подзадача ― детектирование:

факта, последовательности и продолжительности использования набора инструментов в производственной цепочке;
использования каски, защитных очков, перчаток и специальной обуви для соблюдения норм техники безопасности.

Задачи:

защитить данные
сохранить качество
защитить инференс
защитить модель

Заказчики

Три крупные компании из области транспорта, горнодобывающей промышленности и металлургии. Это крупные инфраструктурные компании, в совокупности управляющие множеством распределенных по миру зданий, объектов и сооружений. Сотрудники компании ежедневно выполняют работы по техническому содержанию объектов и связывающих их коммуникаций. Задача компаний ― отслеживать факт и качество выполнения работ, а также соблюдение норм техники безопасности. Задача дополнительно затрудняется географической распределенностью объектов.

Общие характеристики Заказчиков

Систематически занимаются R&D и внедрением машинного обучения
Изучают применение для этого облачных платформ третьих лиц
Намерены привлекать внешние команды специалистов по ML
Рассчитывают на собственных удалённых специалистов

Задача

Данные об использовании набора инструментов в производственной цепочке, равно как и соблюдении норм техники безопасности отнесены клиентами к чувствительным, поскольку на видео попадают сами сотрудники, помещения и объекты, а также факты, требующие тщательных расследований.

Для качественной и быстрой работы с ML-алгоритмами необходимо привлекать специалистов со стороны, использовать мощные вычислительные возможности, предлагаемые облачными провайдерами, и предоставлять доступ для работы с данными сотрудникам, находящимся за пределами контура безопасности клиентов.

Для этого необходимо:

защитить данные при тренировке ML-моделей на облаке третьих лиц, при работе с ML-аутсорсингом и при работе со штатной удаленной ML-командой,
сохранить качество, сопоставимое с обучением на открытых данных,
защитить инференс,
защитить модель как результат интеллектуального труда.

Функциональная трансформация (Veils)

Владелец данных переводит их в неинтерпретируемый вид с помощью однонаправленной функции трансформации

Передача неинтерпретируемых данных ML-команде

Хранение неинтерпретируемых данных

Обучение ML-модели
на неинтерпретируемых данных

Проверка качества
ML-модели

Защита данных, отправляемых на инференс

Решение

Для решения поставленных задач был применен метод Veils, относящийся к классу методов функциональной трансформации. В целях публичной демонстрации сводных результатов трёх разных клиентов мы используем открытый датасет “Mechanical tools-10000” с пятью детектируемыми классами. Трекинг ML-экспериментов выполнялся в TensorBoard. На рисунке представлены графики метрики mAP_0.5 в ходе обучения модели YOLOv7.

График розового цвета соответствует обучению на исходных изображениях датасета, график фиолетового цвета ― обучению на защищенных с помощью Veils данных. Как видно из графиков, разница метрики mAP_0.5 не превышает двух процентов.

Графики других метрик также демонстрируют схожее поведение.

01 \ 09

В таблице приведены некоторые параметры и характеристики обучения.

Input data	Batch size	Epochs	Workers	Max mAP_0.5	Max mAP_0.5:0.95	Run time (hours)	Dataset size
Original images	10	100	8	0,9082	0,7307	6	332 MB
Veils	10	100	8	0,8917	0,717	7,2	53000 MB

Время вычисления защищенных данных для всего датасета составило 20 минут на ПК с GPU и 70 минут на ПК без GPU.

Ниже представлены результаты применения обученных моделей к тестовому набору изображений датасета.

На основе приведенных в таблицах значений может быть сделан вывод, что метод защиты данных Veils является промышленно применимым.

Результаты, полученные на исходных изображениях

Результаты, полученные на защищенных методом Veils данных

Результаты

На этапе обучения разница mAP_0.5 не превышает 2%.

Результаты на тестовых данных показывают, что метод Veils, относящийся к классу методов функциональной трансформации, может иметь промышленное применение.

Результатом проектов для клиентов стало формирование обученных на защищенных данных ML-моделей детектирования требуемых объектов на изображениях.

Обеспечена последующая возможность безопасной передачи конфиденциальных данных. Эти данные собираются с множества распределенных точек видео регистрации действий сотрудников Заказчиков в локальные дата-центры, в которых выполняется защищённый инференс на обученной ML-модели. В свою очередь это позволяет устанавливать факт и продолжительность выполнения работ по содержанию инфраструктуры компаний, а также соблюдение правил техники безопасности, экономит затраты на контроль деятельности линейного персонала, оптимизирует производственные процессы, снижает аварийности и производственные травмы.

Заказчики получили количественные данные для более обоснованной системы мотивации и поощрения сотрудников и проведения более выгодных переговоров со страховыми компаниями.

Модели как результат интеллектуального труда получили защиту.

Ознакомьтесь с дополнительными материалами, обосновывающими полезность внедрения технологий компьютерного зрения и машинного обучения в промышленность:

[1] Computer Vision for Safety Management in the Steel Industry
[2] Applications of Machine Learning and Computer Vision in Industry 4.0
[3] Role of Computer Vision in Industry 4.0: Top 5 Use Cases Transforming Manufacturing Industry
[4] Complete Guide to AI-Powered Workplace Safety in Manufacturing
[5] Computer Vision in Workplace Safety
[6] Role of Computer Vision (CV) in Manufacturing
[7] Leveraging computer vision towards high-efficiency autonomous industrial facilities

Попробуйте и вы!

Запросить Демо версию программного обеспечения для защиты данных можно здесь:

Получить Демо