Evolutionary Algorithms for Data Transformation

Abstract

V této práci jsme navrhli novou metodu pro supervised redukci dimenze, která se učí váhy neuronové sítě pomocí evolučního algoritmu CMA-ES, optimalizujícího úspěšnost k-NN klasifikátoru. Když v dané neuronové síti nejsou použity žádné aktivační funkce, tak algoritmus vykonává lineární transformaci. Tato lineární transformace také může být použita uvnitř Mahalanobisovy vzdálenosti a tím pádem naše metoda může být také považována za distance metric learning algo- ritmus. Při použití aktivačních funkcí v neuronových sítích se algoritmus může taky naučit nelineární transformace. V naší práci se zaměřujeme na redukci do nízko-dimenzionálních prostorů, které jsou užitečné pro vizualizaci dat. Ex- perimentálně také ukazujeme, že ve srovnání s dalšími technikami pro redukci dimenze naše výsledné projekce fungují lépe a také ukazujeme, že naše vizual- izace díky lokalitě k-NN klasifikátoru poskytují lepší interpretaci dat a rozlišení mezi různými třídami v datech. 1

In this work, we propose a novel method for a supervised dimensionality reduc- tion, which learns weights of a neural network using an evolutionary algorithm, CMA-ES, optimising the success rate of the k-NN classifier. If no activation func- tions are used in the neural network, the algorithm essentially performs a linear transformation, which can also be used inside of the Mahalanobis distance. There- fore our method can be considered to be a metric learning algorithm. By adding activations to the neural network, the algorithm can learn non-linear transfor- mations as well. We consider reductions to low-dimensional spaces, which are useful for data visualisation, and demonstrate that the resulting projections pro- vide better performance than other dimensionality reduction techniques and also that the visualisations provide better distinctions between the classes in the data thanks to the locality of the k-NN classifier. 1