Jaohann WilhelmTrollmann po lewej
W tydzień później władze bokserskie pozbawiły go jednak mistrzowskiego pasa motywując to złym stylem jego walki i niestosownym zachowaniem w ringu. (Mogło tu chodzić o to, że Trollmann rozpłakał się po ogłoszeniu wyniku, co uchodziło za niegodne mistrza bokserskiego, lub też o jego zwyczaj pozdrawiania publiczności w czasie walki). Przed następną walką Trollmannowi postawiono ultimatum: albo zrezygnuje ze swojego stylu, albo utraci licencję bokserską. W akcie protestu Trollmann przystąpił do walki z utlenionymi na blond włosami i upudrowaną na biało twarzą. Stojąc w miejscu i nie atakując dotrwał do 5 rundy, w której pozwolił się znokautować. Był to praktycznie koniec jego kariery – stoczył jeszcze kilka walk, przegrywając prawie wszystkie z nich.
Przez kilka następnych lat Trollmann utrzymywał się z rozmaitych zajęć, okresowo ukrywając się przed przeniesieniem do „obozu cygańskiego”. Został jednak poddany sterylizacji. Rozwiódł się też ze swoją żoną (Niemką) chcąc uchronić ją i ich córkę przed prześladowaniami. Ponieważ jednak prześladowania Sinti i Romów w nazistowskich Niemczech były niespójne, został w 1939 r. wcielony do wojska i służył w Wehrmachcie do 1942 r., a gdy rozpoczęła się akcja usuwania z armii niemieckich Sinti trafił do obozu koncentracyjnego Neuengamme a następnie Wittenberge. W obozie tym stoczył w 1944 r. swą ostatnią walkę, pokonując byłego boksera, niemieckiego kryminalistę pełniącego w obozie funkcję kapo, który rozpoznał go i zapragnął zmierzyć się z dawnym mistrzem. W akcie zemsty został przez niego następnie zatłuczony na śmierć kijem. W 1993 r. niemiecka federacja boksu zawodowego pośmiertnie przywróciła Trollmannowi tytuł mistrza Niemiec.