Narodil se v Praze do rodiny židovského obchodníka s elektrotechnikou a československého legionáře. V listopadu 1941 nastoupil do transportu mladých Židů, kteří měli vybudovat ghetto Terezín. Netušili, kam jedou a co je čeká. V Terezíně a později i v Osvětimi s několika spoluvězni založili odbojovou skupinu, která hledala možnosti, jak zachránit tisíce lidí z tábora. Kolmer v Terezíně nalezl staré chodby, kterými se dostal za hradby lágru. Mohl utéct sám, měl by naději. Vrátil se však zpět, aby o svém objevu informoval ostatní. K útěku už ale nebyl čas. Felixe Kolmera transportovali do Osvětimi.