Spre deosebire de primul joc Mafia, actiunea este plasata in jurul anilor 1940-1950, intr-o lume in care mafiotii isi conduceau nestingheriti afacerile. Jucatorii vor fi dusi intr-un decor desprins din filmele hollywoodiene.
Eroul principal al jocului se cheama Vito Scaletta, acesta incercand sa scape de saracia in care a trait cand era mic, prin castigarea unui rol cat mai important in mafie. Intors din WW2, Vito se intalneste cu un vechi amic, Joe Barbaro, alaturi de care incepe ascensiunea in lumea interlopa.