Po sukcesie koncertowego projektu "An Idiot Prayer", zapowiedziano "B-Sides & Rarities: Part I & II". Zestaw przygotowali Nick Cave i Warren Ellis. Wydawnictwo zawiera 27 utworów z okresu od "Dig, Lazarus, Dig!!!" z 2006 roku po "Ghosteen" z 2019 roku. Ponadto 19 rzadkich i niepublikowanych nagrań, w tym pierwsze wersje "Skeleton Tree", "Girl in Amber", "Bright Horses" i "Waiting for You".