Die Musiker Ben Knox Miller und Jeff Prystowsky lernen sich bei ihrer Tätigkeit als Radio-Moderatoren beim Collegesender WBRU an der Brown Universität in Providence, Rhode Island kennen. Vier Jahre lang spielen sie gemeinsam in verschiedensten Formationen, bevor sie 2006 The Low Anthem gründen.
Miller, der nebei auch als Maler tätig ist, kommt ursprünglich aus der Folk-Szene. Prystowsky, einst Baseball-Trainer in New Yersey, macht Jazz. Das musikalische Interesse reicht von Rock über Electro bis Klassik ab. Zudem verbindet das Duo ein Interesse an Baseball und Amerikana. Die gemeinsame Musik lässt sich am besten als Indie-Folkrock kategorisieren.
Noch im Mai erscheint ihr erster, selbstbetitelter Longplayer. Als Produzent kann die Band den Grammy-nominierten John Paul Gauthier gewinnen, er rückt den Sound der Musiker in die Nähe von Tom Waits und Neil Young.
Im September 2006 stößt Dan Lefkowitz, Bluesmusiker aus Strasville, zu dem Duo, verlässt es allerdings schon im März des darauffolgenden Jahres wieder. Man trennt sich in Freundschaft. Der musikalische Einfluss Lefkowitzs ist auf dem zweiten Album "What The Crow Brings" (Oktober 2007) allerdings noch zu hören. Die Platte gewinnt nicht nur mehrere Awards, sie verhilft der Band auch auf die Bühne: The Low Anthem spielen im selben Jahr über 100 Konzerte und begleiten u.a. Bon Iver.
Seit November 2007 gehört die klassische Komponistin und NASA-Technologin Joice Adams zu The Low Anthem. Mit ihr nehmen die beiden Gründungsmitglieder den Drittling "Oh My God, Charlie Darwin" auf. Er wird u.a. von Jesse Lauter produziert. Zwei jahre später stehen bereits große Festivals auf dem Live-Plan, darunter das Bonnaroo, Coachella und Lollapalooza. Beachtlich bleibt, dass alle drei Mitglieder Multiinstrumentalisten sind: Ingesamt spielen sie über zwanzig Instrumente, darunter Bass, Gitarre und Schlagzeug oder verschiedene, im Folk verwurzelte Blas- und Percussioninstrumente.