Nasce a Kyoto, figlio di un monaco buddista (lui stesso è stato per qualche tempo monaco nel tempio di famiglia), e della figlia di un commerciante di Osaka. Terminate le scuole superiori si iscrive alla facoltà di letteratura dell'università Waseda di Tokyo dove si laurea nel 1975 con una tesi sull'idea del viaggio nel cinema americano, un immaginario che lo influenzerà molto. Gli anni della sua frequenza universitaria sono gli anni delle rivolte studentesche. Murakami partecipa molto attivamente a quel periodo, esprimendosi per esempio in maniera molto decisa contro la guerra in Vietnam, nonostante il Giappone non vi avesse preso parte.
Haruki per un anno interrompe la frequenza all'università e comincia a lavorare in una stazione televisiva. Poiché questo lavoro non lo soddisfa, lui e la moglie decidono di aprire un jazz bar, utilizzando sia denaro ottenuto in prestito da una banca, che i soldi guadagnati da entrambi lavorando di giorno in un negozio di dischi e di sera in una coffee house. Il bar viene aperto a Kokubunji (Tokyo), nel 1974, e viene chiamato “Peter cat”, dal nome di un gatto che lo scrittore aveva avuto qualche anno prima. Il “Peter Cat” era un coffee bar di giorno, mentre di sera venivano serviti anche alcolici; l'ambiente era senza finestre, con muri bianchi in stile spagnolo, sedie e tavoli di legno, nonché foto di gatti dappertutto. Murakami qui preparava drink, metteva musica, leggeva libri e ascoltava le persone; come ammette lui stesso, questa esperienza è stata preziosa per la sua formazione di scrittore.
Nel 1981 Murakami vende il jazz bar e comincia a vivere dei proventi ricavati dalla vendita dei suoi libri, che ben presto diventano grandi successi internazionali.