Nato a Trieste, allora parte dell'Impero austro-ungarico, studia a Praga e successivamente a Firenze, dove si laurea in Lettere con una tesi su Niccolò Machiavelli. Durante gli anni universitari entra in contatto con l'ambiente della rivista La Voce, che riunisce alcuni dei più importanti intellettuali italiani del periodo.

Allo scoppio della Prima guerra mondiale si arruola volontario nell'esercito italiano insieme al fratello Carlo e all'amico Scipio Slataper. Viene ferito e fatto prigioniero dagli austriaci. L'esperienza della guerra segna profondamente la sua produzione letteraria, soprattutto nelle opere autobiografiche. Tornato a Trieste, insegna per molti anni al liceo e continua a scrivere racconti, romanzi e memorie. Durante il fascismo rifiuta di aderire al partito e, negli ultimi mesi della Seconda guerra mondiale, viene anche internato nella Risiera di San Sabba.

Il fratello Carlo, anch'egli scrittore, morì durante la Prima guerra mondiale. Giani gli dedicò Colloqui con mio fratello, un'opera molto personale in cui il dialogo con il fratello scomparso diventa anche una riflessione sulla memoria e sul senso della vita.