Опубликованный опыт
В докладе PPSA 2025 специалисты TRAPIL и MP Data Technologies описывают включение искусственного интеллекта в обработку данных внутритрубного контроля. Увеличение объёма ультразвуковых данных потребовало ускорить поиск кандидатов на дефекты. На выборке из 129 реальных сигналов трещин авторы сообщают вероятность обнаружения 95%; отдельно рассмотрены линии без полевой обратной связи. Эти результаты относятся к описанной проверке, а не ко всем возможным трубопроводам.
Авторы также отмечают, что большое число ложных тревог способно уменьшать выигрыш времени. Ниже рассматриваем, как такую систему оценивать с инженерной точки зрения.
Разделение задач делает результат проверяемым
Автоматическая обработка включает несколько разных операций. Сначала программа ищет подозрительный участок, затем классифицирует его и оценивает размеры. Успешное выполнение первой операции не доказывает точность последующих. Например, система может уверенно выделить сварной шов, но ошибочно отнести его локальный отклик к трещине.
Поэтому испытание должно отдельно отвечать на вопросы: сколько дефектов пропущено, сколько исправных участков привлечено к анализу и насколько верно определены характеристики обнаруженных объектов. Для разработчика это означает необходимость сохранять промежуточные результаты. Итоговая цветная метка без исходного сигнала затрудняет разбор ошибок и улучшение модели.
Почему общая доля правильных ответов мало говорит
В длинном трубопроводе большая часть данных не содержит целевого дефекта. Алгоритм, который почти всегда выбирает класс «нет трещины», может показать высокий процент правильных ответов и при этом быть бесполезным. Для редких событий важнее чувствительность к дефектам требуемого размера и нагрузка от ложных срабатываний.
В отчёте следует указывать состав выборки, количество независимых объектов и способ получения эталонной разметки. Отдельный вопрос — неопределённые случаи, по которым даже эксперты расходятся. Их нельзя незаметно исключать из оценки: именно такие сигналы часто создают основную трудность при эксплуатации системы.
Обучение и проверку нужно разделять по происхождению
Соседние фрагменты одной записи обычно похожи. Если часть фрагментов попала в обучение, а соседние — в проверку, алгоритм фактически встречает знакомые условия. Полученная оценка может выглядеть лучше, чем результат на новом трубопроводе, другом приборе или иной настройке регистрации.
Более содержательная проверка разделяет данные по независимым объектам или обследованиям. Дополнительно полезны испытания на непривычных формах сигнала, загрязнениях, пропусках каналов и изменениях скорости. Такая организация не гарантирует универсальность, но помогает понять, какие различия модель действительно переносит, а при каких ей необходима отдельная квалификация.
Ложная тревога имеет измеримую стоимость
Каждый кандидат требует времени специалиста: открыть данные, сравнить каналы, проверить привязку и зафиксировать решение. Даже быстрый автоматический просмотр может увеличить общую длительность работы, если число кандидатов слишком велико. Поэтому скорость вычисления на компьютере не равна скорости выдачи проверенного отчёта.
Удобно оценивать трудоёмкость всего маршрута: подготовка данных, машинный анализ, экспертная проверка, повторное рассмотрение спорных объектов и выпуск результата. При изменении порога чувствительности следует показывать оба последствия — изменение числа пропусков и изменение экспертной нагрузки. Выбор порога тогда становится прозрачным инженерным компромиссом.
Человек должен видеть основания решения
Эксперту нужны не только предсказанный класс и условный процент уверенности. Полезнее одновременно показать исходный сигнал, соседние каналы, положение относительно шва и признаки, на которых построен вывод. Число уверенности модели не следует автоматически понимать как вероятность существования трещины: для этого необходима отдельная проверка калибровки.
Особенно важно предусмотреть маршрут для данных вне известной области применения. Система может пометить их как требующие ручного рассмотрения, вместо того чтобы принудительно относить к знакомому классу. Отказ от автоматического заключения в неоднозначной ситуации является свойством качественного процесса, а не признаком его слабости.
Как организовать полезную обратную связь
Исправление экспертом автоматической метки становится ценным обучающим примером только при сохранении контекста. Следует записать, что именно изменено: наличие объекта, его класс, границы или размеры. Желательно различать уверенное исправление и спорный случай, который требует дополнительных сведений.
Иначе следующая версия модели начнёт обучаться на неоднородных решениях, не понимая их надёжности. Полезна выборочная повторная разметка независимым специалистом. Она показывает не только ошибки программы, но и согласованность человеческого процесса. Если эксперты систематически расходятся, сначала необходимо уточнить правила классификации. Увеличение обучающей базы без такого шага способно масштабировать неоднозначность вместо её устранения.
После внедрения проверка продолжается
Версия алгоритма, параметры предварительной обработки и состав обучающих данных влияют на результат. При обновлении модели старые записи могут получить новые оценки. Поэтому изменения следует сопровождать контрольной выборкой, журналом версий и объяснением существенных расхождений. Без этого сравнение обследований разных лет становится непрозрачным.
В редакционном понимании ОКБ полезность искусственного интеллекта определяется качеством всей цепочки доказательств. Автоматизация помогает работать с большим объёмом измерений, но не заменяет метрологию, понятную постановку задачи и ответственность за окончательную интерпретацию. Именно эти элементы превращают исследовательский алгоритм в промышленный инструмент.
Инженерный вывод
Оценивать ИИ следует по независимой проверке, пропускам, ложным тревогам и полной трудоёмкости анализа. Результат модели должен оставаться прослеживаемым до исходных измерений.
Источники и дальнейшее чтение
- Технический доклад PPSA 2025, открытый PDFTRAPIL / MP Data Technologies — How AI Can Reshape the Data Analysis Process of ILI Tools ↗
Самостоятельное изложение на русском языке. Полные тексты и иллюстрации источников не воспроизводятся.