Herberts собрались летом 1991 года. Они слушали Oi! в его первоначальном виде: 4-Skins, Cockney Rejects и Blitz, а также французские группы 80-х годов, в том числе La Souris Deglinguee, Snix, Tolbiac's Toads, R.A.S. и Camera Silens. Своё название они взяли из песни «Chaos» группы 4-Skins – есть концертная запись 4-Skins, где вместо «skinheads» поётся «herberts».

В группе играют: Eric – la guitare, Francois – бас-гитара, Flavien – ударные, поёт Alteau. На фотографии слева направо: Francois, Flavien, Alteau и Eric. Одно время (в октябре 91 года) на ударных играла Antonella, она также была замечена в итальянской группе Klasse Kriminale.

Herberts против любой политики, как левой, так и правой. Тем не менее, они не стесняются говорить о своих убеждениях – например, песня «Animal Choc» была написана в защиту животных («anti-vivisection song»). Остальные их песни рассказывают о жизни «поколения Oi!» во Франции девяностых годов, одна из них так и называется: «Oi! Generation».