• Título:  IMAGE FEATURE REPRESENTATION USING DEEP LEARNING FOR INSTANCE SEARCH AND SCENE RECOGNITION
• Autor:  Saikia, Surajit
• Universidad:  Universidad de León
• Departamento:  Ingeniería eléctrica de sistemas y de automática
• Fecha de Lectura:  26/11/2021
• Programa de doctorado:  Programa de Doctorado en Ingeniería de Producción y Computación por la Universidad de León
• Dirección: 
  • Fernández Robles, Laura (DIRECTOR)
  • ALEGRE GUTIERREZ, ENRIQUE (DIRECTOR)
• Tribunal: 
  • DE LA ESCALERA HUESO, ARTURO (PRESIDENTE)
  • González Castro, Víctor (SECRETARIO)
  • Strisciuglio, Nicola (VOCAL)
• Descriptores: 
  • CONSTRUCCION DE ALGORITMOS
• Localización:  BIBLIOTECA UNIVERSITARIA DE SAN ISIDORO
• 674055_1519946.pdf
• Resumen:
  Esta tesis investiga la creación de algoritmos novedosos para representar imágenes con el fin de abordar dos áreas importantes en el campo de la visión por ordenador: la recuperación de imágenes basada en el contenido (CBIR, del inglés content-based image retrieval) y el reconocimiento de escenas. Los sistemas CBIR se pueden clasificar en dos tipos, recuperación a nivel de instancia y recuperación a nivel de categoría, y en esta tesis abordamos la primera. Motivados por nuestro trabajo conjunto con INCIBE, construimos sistemas basados en el aprendizaje profundo que pueden ayudar a las Fuerzas de Seguridad a cotejar las evidencias en las investigaciones de la escena del crimen, además de a una amplia gama de otras aplicaciones. En particular, proponemos dos algoritmos para la CBIR, uno basado en la descripción del color de los objetos y otro en la descripción de la textura de parches en imágenes. Además, proponemos un método adicional, que permite predecir y recuperar escenas, basándose en la combinación del contenido local y global de la escena. Los sistemas CBIR para la recuperación a nivel de instancia tienen como objetivo recuperar imágenes de una base de datos de imágenes o vídeos que contengan el mismo objeto o escena que el representado en una imagen de consulta. Introducimos dos algoritmos para abordar esta tarea con el fin de ganar robustez frente a las variaciones de color y textura, respectivamente. Por un lado, proponemos descriptores neuronales de color que se componen de características de redes neuronales convolucionales (CNN, del inglés convolutional neural networks) obtenidas mediante la combinación de diferentes espacios de color y canales de color. A diferencia de los trabajos anteriores, que se basan en el ajuste fino de las redes preentrenadas, nosotros calculamos los descriptores propuestos basándonos en las activaciones generadas a partir de una CNN preentrenada sin ajuste fino. Además, aprovechamos un detector de objetos para optimizar la arquitectura de recuperación de instancias propuesta para generar características tanto a escala local como global. Adicionalmente, introducimos una técnica de expansión de consultas basada en zancadas (strides en inglés) para recuperar objetos de conjuntos de datos multivista. Finalmente, demostramos experimentalmente que los descriptores neuronales de color propuestos obtienen resultados superiores al estado del arte en los conjuntos de datos Paris 6K, Revisiting-Paris 6k, INSTRE-M y COIL-100, con una precisión media de 81,70%, 82,02%, 78,8% y 97,9%, respectivamente. Posteriormente, nos centramos en describir y utilizar las propiedades de textura de las imágenes. En las investigaciones de escenas de un crimen, algunas pistas pueden provenir de parches de textura de las imágenes que no contienen mucha información sobre el contorno del objeto, como puede ser una camiseta tirada en el suelo. Para definir las características de dichas imágenes, los patrones de textura conforman los principales indicios para obtener una descripción visual. Proponemos un nuevo descriptor de características de textura que se basa en la combinación de las imágenes espaciales y sus mapas de transformada discreta de Fourier. Además, presentamos un nuevo y eficiente modelo de recuperación de imágenes basado en la textura, que se apoya en una red de propuesta de regiones, autocodificadores convolucionales y aprendizaje por transferencia. Extraemos las características de la capa de espacio latente del codificador como descriptores de textura compactos. Realizamos experimentos para validar la eficacia del método propuesto y obtuvimos tasas de recuperación medias de 80,36%, 90,25% y 81,02% en los conjuntos de datos Outex, USPtex y Stex. Además, también experimentamos con el conjunto de datos TextileTube, que consiste en imágenes en un escenario real de interior. En este caso, calculamos las medias aritméticas de la precisión@k para tres intervalos diferentes, en los que k tomaría valores en los intervalos [1, 10], [1, 20] y [1, 30], siendo los resultados obtenidos de 99,2%, 93,2% y 67,9%, respectivamente. Además, el rendimiento obtenido en estos cuatro conjuntos de datos superó los resultados del estado del arte recogidos en la literatura. La segunda área de investigación se refiere al reconocimiento de escenas en interiores, que es una tarea desafiante y en expansión en el campo de la visión por ordenador. Aunque las CNN pueden obtener resultados extraordinarios en el reconocimiento de escenas en exteriores, su rendimiento carece de la misma solidez en el reconocimiento de escenas en interiores. Esto se debe a la alta variabilidad espacial de las claves semánticas (por ejemplo, los objetos) y a la presencia de objetos similares en diferentes categorías de escenas. Para superar estos problemas, proponemos DeepScenePip (DSP), un pipeline con tres módulos: object-centric y objects-to-scene, y scene-centric, que se centran independientemente en el contenido local y global de la escena, respectivamente. El proceso propuesto tiene tres componentes novedosos. En primer lugar, produce una descripción de la imagen a partir de las etiquetas de los objetos reconocidos para predecir las escenas mediante un enfoque de procesamiento del lenguaje natural. En segundo lugar, utiliza una función de peso que combina la información sobre el objeto y la escena para realizar una predicción global de la misma. En tercer lugar, incluye una técnica de expansión de consultas que resulta muy beneficiosa para la recuperación de escenas. Hemos evaluado nuestro enfoque para el reconocimiento y la recuperación de escenas en interiores en tres conjuntos de datos públicos: MIT-67 Indoor, NYU-v2 y Hotels-50k. La precisión alcanzada (MIT-67 Indoor = 94,5%, NYU-v2 = 74,5% y la precisión top-1 10,1% sin oclusión y 7,8% con oclusión media en el Hotels-50k) demostró la eficacia del método propuesto, que también supera significativamente los enfoques del estado del arte existentes. Esta tesis contribuye al desarrollo de métodos para crear descriptores robustos a los cambios de color, textura y punto de vista y presenta marcos para utilizarlos en sistemas CBIR y de reconocimiento de escenas.