'Under the Bushes Under the Stars' to dziewiąty album Guided by Voices i ostatni, aż do wydanego w 2012 roku 'Let's Go Eat the Factory', na którym oprócz lidera Roberta Pollarda znalazł się "klasyczny" skład, w tym: Tobin Sprout, Mitch Mitchell i Kevin Fennell.
Album jest uważany za pierwsze profesjonalne podejście Guided by Voices, ponieważ został nagrany w 24-ścieżkowym studiu, a nie jak wcześniej w 4-ścieżkowym. Sesje nagraniowe do tego albumu były podobno żmudne, rozłożone na co najmniej cztery studia i tyle samo producentów, a wiele tytułów i konfiguracji zostało sprawdzonych przed osiągnięciem ostatecznej kolejności.
Ostatnich sześć piosenek na płycie CD nie pojawia się na tylnej okładce albumu. Utwory te, które zostały dołączone jako osobna 12" EP-ka do wydania winylowego, nie były pierwotnie zawarte w ukończonej trackliście, ponieważ zostały usunięte z wcześniej proponowanych wersji albumu, ale zostały dołączone na prośbę szefów wytwórni Matador, którzy nie chcieli by zostały pominięte.