Detección de anomalías multimodal sin memoria a través de una red de estudiante-maestro y aprendizaje de distancia firmada
Autores: Sun, Zhongbin; Li, Xiaolong; Li, Yiran; Ma, Yue
Idioma: Inglés
Editor: MDPI
Año: 2024
Disponible con Suscripción Virtualpro
Artículos
Categoría
Ingeniería y Tecnología
Licencia
Atribución – Compartir igual
Consultas: 4
Citaciones: Sin citaciones
La detección de anomalías no supervisada es una tarea desafiante de visión por computadora, en la que los métodos de detección de anomalías basados en 2D han sido estudiados extensamente. Sin embargo, la detección de anomalías multimodal basada en imágenes RGB y nubes de puntos 3D requiere una investigación adicional. Los métodos existentes están principalmente inspirados en métodos basados en bancos de memoria comúnmente utilizados en la detección de anomalías basada en 2D, lo que puede implicar un costo adicional de memoria para almacenar características multimodales. En el presente estudio, se propone un método novedoso sin memoria MDSS para la detección de anomalías multimodal, que emplea una red de alumno-maestro liviana y una función de distancia firmada para aprender de imágenes RGB y nubes de puntos 3D, respectivamente, y complementa la información de anomalías de las dos modalidades. Específicamente, una red de alumno-maestro se entrena con imágenes RGB normales y máscaras generadas a partir de nubes de puntos mediante una pérdida dinámica, y el mapa de puntuación de anomalía podría ser obtenido a partir de la discrepancia entre la salida del alumno y del maestro. Además, la función de distancia firmada aprende de nubes de puntos normales para predecir las distancias firmadas entre puntos y superficies, y las distancias firmadas obtenidas se utilizan para generar un mapa de puntuación de anomalía. Posteriormente, los mapas de puntuación de anomalía se alinean para generar el mapa de puntuación de anomalía final para la detección. Los resultados experimentales indican que MDSS es comparable pero más estable que los métodos de referencia del estado del arte y, además, tiene un mejor rendimiento que otros métodos de referencia.
Descripción
La detección de anomalías no supervisada es una tarea desafiante de visión por computadora, en la que los métodos de detección de anomalías basados en 2D han sido estudiados extensamente. Sin embargo, la detección de anomalías multimodal basada en imágenes RGB y nubes de puntos 3D requiere una investigación adicional. Los métodos existentes están principalmente inspirados en métodos basados en bancos de memoria comúnmente utilizados en la detección de anomalías basada en 2D, lo que puede implicar un costo adicional de memoria para almacenar características multimodales. En el presente estudio, se propone un método novedoso sin memoria MDSS para la detección de anomalías multimodal, que emplea una red de alumno-maestro liviana y una función de distancia firmada para aprender de imágenes RGB y nubes de puntos 3D, respectivamente, y complementa la información de anomalías de las dos modalidades. Específicamente, una red de alumno-maestro se entrena con imágenes RGB normales y máscaras generadas a partir de nubes de puntos mediante una pérdida dinámica, y el mapa de puntuación de anomalía podría ser obtenido a partir de la discrepancia entre la salida del alumno y del maestro. Además, la función de distancia firmada aprende de nubes de puntos normales para predecir las distancias firmadas entre puntos y superficies, y las distancias firmadas obtenidas se utilizan para generar un mapa de puntuación de anomalía. Posteriormente, los mapas de puntuación de anomalía se alinean para generar el mapa de puntuación de anomalía final para la detección. Los resultados experimentales indican que MDSS es comparable pero más estable que los métodos de referencia del estado del arte y, además, tiene un mejor rendimiento que otros métodos de referencia.