El grup es forma a principis dels 60 amb Keith Hopwood (guitarra), Karl Green (baix), Derek "Lek" Leckenby (guitarra i veu), i Barry Bean Whitwam (bateria) i després es va unir Peter Noone (veu principal ). Tot i que Noone era el membre més jove de la banda (16 anys), tenia una gran experiència com a actor en la sèrie britànica "Coronation Street".El grup aconsegueix posar ràpidament diversos senzills en les llistes de popularitat tant a Gran Bretanya com als Estats Units. Aconsegueixen el seu únic Número 1 a Gran Bretanya amb el senzill "I'm a Into Something Good", a més d'aconseguir èxits com "I'm a Henry VIII, I'm a" i "Mrs. Brown Ha Got a Lovely Daughter" . Es presenten repetides ocasions a The Ed Sullivan Show de forma reeixida. Aconsegueixen el seu màxim de fama entre 1964 i 1965.Cap a 1966, la popularitat del grup comença a decaure, tot i que aconsegueixen encara un èxit més amb "No Milk Today", cançó que és tot un clàssic. Un últim intent va ser "There 'sa kind of Hush". La seva imatge i pop molt digerible i suau no aconsegueixen sobreviure a l'era psicodèlica, tot i que ho intenten amb el disc "Blaze", material ben rebut per la crítica, però que només es va publicar a Estats Units i va ser mancat de promoció.

Peter Noone deixa el grup en 1971. La resta continua amb el grup amb poc èxit fins a 1974, en què es desintegra. Diversos membres de la banda han estat des de llavors fent actuacions sota el nom de "Herman 's Hermits", sense gaire èxit i tenint problemes entre ells pels drets legals. Derek "Lek" Leckenby va morir el 4 de juny de 1994 per causa de la Malaltia de Hodgkin.