Po sukcesie koncertowego projektu "An Idiot Prayer", zapowiedziano "B-Sides & Rarities: Part I & II". Zestaw przygotowali Nick Cave i Warren Ellis. Wydawnictwo zawiera 27 utworów z okresu od "Dig, Lazarus, Dig!!!" z 2006 roku po "Ghosteen" z 2019 roku. Ponadto 19 rzadkich i niepublikowanych nagrań, w tym pierwsze wersje "Skeleton Tree", "Girl in Amber", "Bright Horses" i "Waiting for You".
Wersja deluxe w slipcasie z ekskluzywnymi fotografiami i komentarzami Seana O'Hagana ("The Guardian", "The Observer")