Budujący swe instrumenty z odrzutów cywilizacji technicznej, Neptune porównywani są czasami do Einsturzende Neubauten; najnowszy album nagrali w studio Machines With Magnets, tym samym gdzie swoje płyty realizowali m.in.: Battles, The Psychic Paramount, oraz The Skull Defekts.