Índices de validación para algoritmos de agrupamiento. - Campo, David Nazareno
La información generada por el ser humano, dirigida por las nuevas tecnologías tales como mensajes en redes sociales y conectividad constante, viene creciendo a pasos agigantados, pero no es útil si no se la procesa o analiza de alguna manera inteligente. Una forma de hacerlo es a través de algoritmos de agrupamiento. Con la ayuda de los mismos es posible indagar sobre la estructura subyacente de los datos. Es en casos donde no se conoce la estructura del conjunto de datos donde se hace más importante contar con herramientas que permitan valorar la solución provista por dichos algoritmos de clustering. Muchas de estas herramientas se materializan a través de índices de calidad. En esta tesis se hace foco en un tipo particular de índice: los de validación externa. Con la ayuda de los mismos es posible comparar distintas soluciones de agrupamientos entre sí, o comparar una solución con algún objetivo externo impuesto como referencia o “norma de oro”. Éstos índices fueron evolucionando en el tiempo a la par de los algoritmos de agrupamiento. Sin embargo, empezó a notarse una brecha entre los algoritmos, cada vez más complejos, y los índices que los medían. En este estudio se ve cómo en los algoritmos de clustering que proveen soluciones solapadas, no es posible medir la calidad de estas a partir de los índices clásicos que se mencionan en la literatura. Se demuestra cómo los mismos fallan ante tales situaciones y se abre camino para el desarrollo intuitivo de un nuevo índice que permita manejar dicho escenario. Se propone un nuevo índice a partir de un desarrollo basado en estimadores de probabilidad por ocurrencia de pares de objetos en los mismos grupos. Este índice permite medir tanto soluciones complejas con clusters solapadas como las más tradicionales sin solapamiento. A través de distintos experimentos, con datos artificiales y reales, se muestra cómo el nuevo índice es capaz de medir adecuadamente la calidad.