Nato nel 1924 ad Harlem, New York, primo di nove figli, cresce in povertà, sviluppando un rapporto tormentato con il patrigno, una persona rigida e molto religiosa.
Sin da giovane, dimostra un interesse per la scrittura e la lettura, che lo porta a sfuggire alla dura realtà del quartiere in cui è cresciuto.
Baldwin sperimenta il razzismo e la discriminazione fin da bambino, e questi temi diventeranno una parte significativa del suo lavoro futuro. Dopo il diploma, si trasferisce a Parigi per sfuggire al razzismo negli Stati Uniti e lì inizia a scrivere in modo più serio.
Durante questo periodo diventa parte della comunità di scrittori afroamericani esiliati e nel 1953 pubblica il suo primo romanzo, Gridalo forte, opera autobiografica sulla sua giovinezza ad Harlem che sarà un successo.
Nel corso degli anni cinquanta Baldwin si sposta tra Parigi, New York e Istanbul, e scrive la raccolta di saggi Mio padre doveva essere bellissimo e il racconto lungo La camera di Giovanni, parlando di argomenti al tempo tabù, come l'omosessualità e le relazioni tra persone di etnie diverse.
Nei primi anni Sessanta torna negli Stati Uniti per unirsi attivamente al movimento per i diritti civili, anche se viene spesso criticato per il suo approccio pacifista.
Nel 1962 scrive il romanzo Un altro mondo, per il quale viene duramente attaccato per aver parlato dell'omosessualità all'interno della comunità nera di New York, per questo Eldridge Cleaver, leader delle Pantere Nere, condanna le opere di Baldwin, accusandole di "odio assoluto per i neri". Quasi in risposta, Baldwin rafforzerà ulteriormente le sue posizioni contro le discriminazioni sessuali.
Nel 1963, pubblica The Fire Next Time, un potente saggio, diventato poi best-seller, che affronta il razzismo negli Stati Uniti.
Dopo l'assassinio di personalità a cui era vicino come Medgar Evers, Malcolm X e Martin Luther King Jr., ritorna in Francia e lavora a Se la strada potesse parlare, un libro che esprime tutta la disillusione di quel momento storico
Durante gli ultimi dieci anni della sua vita, compone numerose opere di narrativa, di saggistica e di poesia e scopre l'insegnamento come nuovo modo per avvicinarsi ai giovani. 
Nel 1986 è nominato commendatore della Legion d'onore del governo francese. 
Muore il 1 dicembre 1987 nella sua casa a Saint-Paul-de-Vence, in Francia. La sua eredità rimane di fondamentale importanza per la letteratura e per la lotta per i diritti civili, e le sue opere continuano a ispirare e informare le discussioni sulla razza e la giustizia sociale in tutto il mondo.