Simon Neil, dos Biffy Clyro, e Mike Vennart, dos Oceansize, queriam criar uma banda que tocasse a música mais extrema possível. De facto, os EMPIRE STATE BASTARD tocam uma mistura brutal de metal, screamo e rock experimental, que está a quilómetros de distância do registo mais adequado à rádio das suas bandas de raiz. Com o nome definido antes de escrever uma nota, a dupla viu-se com bastante tempo disponível durante a pandemia e Vennart começou a compor, fornecendo periodicamente a Neil canções que feitas de riffs cortantes e um profundo sentimento de angústia e raiva. Para completar a formação, chamaram a baixista Naomi Macleod, dos Bitch Falcon, e ainda o lendário Dave Lombardo. Foi, de resto, com o ex-baterista dos Slayer já a bordo que gravaram o álbum de estreia «Rivers Of Heresy», lançado em Setembro de 2023, e saíram em tour pelo Reino Unido e pela Europa, recolhendo elogios rasgados por parte dos fãs e da imprensa especializada.