Влияние Колтрейна на музыку охватывает множество жанров и музыкантов. Колтрейн оказал огромное влияние на джаз, мейнстрим и авангард, что началось при его жизни и продолжало расти и после его смерти. Он является одним из самых доминирующих влиятельных личностей на джазовых саксофонистов после 1960 года и вдохновил целое поколение джазовых музыкантов.
В 1965 году Колтрейн был введен в Down Beat Jazz Hall of Fame. В 1972 году его альбом A Love Supreme был сертифицирован золотом RIAA за продажу более полумиллиона копий в Японии. Этот альбом, а такжеMy Favorite Things, получили «золотой» статус в Соединенных Штатах в 2001 году. В 1982 году он был удостоен посмертной премии «Грэмми» за «Лучший джазовый моноспектакль» на альбоме Bye Bye Blackbird, и в 1997 году он был награждён премией Грэмми за прижизненные достижения в премиях. В 2002 ученый Молефе Кете Асанте включил имя Джона Колтрейна в одно из его 100 величайших афроамериканцев. Колтрейн был удостоен специальной Пулитцеровской премии в 2007 году со ссылкой на его «виртуозную импровизацию, музыкальность и верховное знаковое центральное место в истории джаза». Он был введен в Северной Каролине в музыкальный Зал славы в 2009 году.
Также влияние Колтрейна на музыкальный мир оказалось значительным (оно ощущается и сегодня). Он произвел революцию в джазе с его методами экспериментальных исследований — это показало глубокое почитание звуков из других народных музыкальных культур, в том числе культур Африки и Латинской Америки.
Его вдова, Элис Колтрейн, после нескольких десятилетий изоляции, все-таки восстановила общественную жизнь вплоть до её смерти в 2007 году. Бывший дом Джона, Джон Колтрейн-Хаус в Филадельфии, был объявлен национальным историческим памятником в 1999 году. Его последний дом, Джон Колтрейн-Хаус в Дикс-Хиллс, район (Хантингтон, Нью-Йорк), где он проживал с 1964 года и до его смерти был добавлен в Национальный реестр исторических мест США 29 июня 2007. Один из их сыновей, Рави Колтрейн, названный в честь ситариста Рави Шанкара — тоже саксофонист.