Schweitzer József Veszprémben született 1922-ben. Édesapja jogász volt, édesanyja tanítónő, akit korán elvesztett. Nagyapja, Hoffer Ármin veszprémi főrabbi fővárosba kerülésével Budapesten tanulhatott. A világháború idején munkaszolgálatra hívták be, majd Budapesten bujkált.

1946-ban szerzett bölcsészdoktori diplomát az akkori Pázmány Péter, a mai Eötvös Loránd Tudományegyetem Bölcsészettudományi Karán, ahol sémi nyelvészetből, ókori keleti történelemből és szociológiából doktorált. 1947-ben avatták rabbivá. 

1948 és 1981 között Pécsett volt főrabbi. 1981-ben hívták meg a Budapesti Izraelita Hitközség főrabbijává. 1985-ben nevezték ki az Országos Rabbiképző Intézet igazgatójának, amely tisztséget 1997-ig töltötte be. 

1994-ben - lelkészi, tudományos és nevelői munkájának elismeréseként - országos főrabbivá választották, e tisztséget 2000-ig töltötte be. 

1991 óta volt a Keresztény-Zsidó Társaság társelnöke.     

1990-ben beválasztották az izraeli Egyetemes Héber Civilizációoktatási Társaság vezetőségébe, 1991-ben társelnöke lett a Keresztény-Zsidó Társaságnak, 2002  májusában megválasztották a Magyar Hebraisztikai Társaság (MHT) elnökévé.

Tagja volt az MTA Doktori Tanácsa vallástudományi szakbizottságának. Kutatási területe a zsidó teológia, a magyarországi zsidóság története. Megírta a Pécsi Izraelita Hitközség történetét, a Tolna megyei zsidók történetét, kiadta A zsidóság a magyar művelődés századaiban és Uram, nyisd meg ajkamat címmel válogatott tanulmány- és esszékötetét. 

Címzetes egyetemi tanára volt az Eötvös Loránd Tudományegyetemnek, előadó tanára a Pázmány Péter Katolikus Egyetem Hebraisztikai Tanszékének, díszdoktora a Károli Gáspár Református Egyetemnek és a New York-i Jewish Theological Seminary-nak. A Sárospataki Református Teológiai Akadémia 2006-ban avatta tiszteletbeli tanárává. 

Munkássága elismeréseként 1995-ben Kisebbségekért-díjat, 1996-ban Pro Urbe Budapest kitüntetést, 1997-ben Széchenyi-díjat, 1998-ban Pázmány Péter-díjat, 2000-ben Scheiber Sándor-díjat, 2001-ben a Francia Köztársaság Becsületrendjét, 2002-ben a Magyar Köztársasági Érdemrend Tiszti Keresztjét, 2005-ben Prima-díjat, 2006-ban Várhegyi György-díjat kapott, 2007-ben Radnóti Miklós-díjat kapott. 2003-ban Budapest díszpolgárává választották. 2007-ben a pozsonyi Ferdinand Martinengo Társaság Békeharangok - üzenet az egyesült Európának elnevezésű emlékéremmel tüntette ki. 2011-ben Magyar Örökség-díjjal jutalmazták, amelyet nem vett át.