Herberts собрались летом 1991 года. Они слушали Oi! в его первоначальном виде: 4-Skins, Cockney Rejects и Blitz, а также французские группы 80-х годов, в том числе La Souris Deglinguee, Snix, Tolbiac's Toads, R.A.S. и Camera Silens. Своё название они взяли из песни "Chaos" группы 4-Skins - есть концертная запись 4-Skins, где вместо "skinheads" поётся "herberts".

В группе играют: Eric - la guitare, Francois - бас-гитара, Flavien - ударные, поёт Alteau. На фотографии слева направо: Francois, Flavien, Alteau и Eric. Одно время (в октябре 91 года) на ударных играла Antonella, она также была замечена в итальянской группе Klasse Kriminale.

Herberts против любой политики, как левой, так и правой. Тем не менее, они не стесняются говорить о своих убеждениях - например, песня "Animal Choc" была написана в защиту животных ("anti-vivisection song"). Остальные их песни рассказывают о жизни "поколения Oi!" во Франции девяностых годов, одна из них так и называется: "Oi! Generation".