Figlio di un agiato commerciante francese pied-noir di religione ebraica, ha vissuto ad Algeri fino al trasferimento della sua famiglia a Parigi nel 1956. Compie studi brillanti e prestigiosi: liceo Janson-de-Sailly (ha tra i compagni di corso Jean-Louis Bianco, figlio di un italiano e futuro direttore di gabinetto di François Mitterrand, e Laurent Fabius), Polytechnique, dottorato in scienze economiche, laurea in ingegneria all'École des mines, all'Institut d'études politiques (Sciences-Po) e specializzazione all'École nationale d'administration (Ena) di cui è terzo classificato nel 1970 insieme a Philippe Séguin e a Louis Schweitzer.

Nel 1968, svolge il suo stage dell'École nationale d'administration nel dipartimento della Nièvre, all'epoca presiduto da François Mitterrand. Ma la collaborazione con il futuro presidente della Repubblica incomincerà nel 1973, in prossimità delle elezioni presidenziali del 1974, e si farà più intensa nel 1981. Il compito principale di Attali è di formare Mitterrand sulle materie economiche, che rappresentano il suo punto debole di fronte all'avversario Valéry Giscard d'Estaing.

Nel 1970 entra al Consiglio di Stato come uditore. Incomincia l'intensa attività pubblicistica (con uno dei suoi primi libri otterrà un premio dell'Accademia delle Scienze), che al 2008 annovera una cinquantina di opere di argomento diverso, compresi dei libri per l'infanzia.

E' professore di economia all'università di Parigi-Dauphine, all'École polytechnique e all'École des Ponts et Chaussées. Nel 1979 partecipa alla fondazione dell'organizzazione Action internationale contre la faim, attuale Action contre la faim (ACF).