„Medium Rarities” po raz pierwszy w kompletnym pakiecie zawiera zbiór klasycznych coverów, wersji instrumentalnych i nagrań na żywo. Wśród eklektycznej gamy coverów muzycy zajmują się „A Commotion” Feista, „A Spoonful Weighs A Ton” zespołu The Flaming Lips i „Orion” Metalliki. Album zawiera również ścieżki dźwiękowe, takie jak „White Walker” („Gra o tron”) i „Cut You Up With A Linoleum Knife” („Aqua Teen Hunger Force”).