События Mafia 2 развернулись в период 40-50-х годов XX века, в вымышленном городе Empire Bay, где заправляют три мафиозные «семьи»: Винчи, Клементе и Фальконе. Встав на сторону одного из кланов, игрок будет медленно, как и в первой части, на продолжении шести лет зарабатывать почёт и уважение.

Главного героя зовут Вито Скалетта (Витторио Антонио Скалетта), и его история в корне отличается от судьбы Томаса Анджело из первой части игры. Вито вырос в бедных районах Эмпайр Бэй, в семье эмигранта из Сицилии Антонио Скалетты. Будучи ещё маленьким мальчиком, он поклялся сам себе, что когда-нибудь станет таким же, как «они» — те люди, за которыми он наблюдал не раз и не два: хорошо одетые, на шикарных машинах, богатые и властные джентльмены, которым уступают дорогу прохожие на улицах, а хозяева различных заведений лично открывают перед ними входные двери.

Впервые Вито преступил закон довольно рано, но во время одного из ограблений его ловит полиция. Теперь нашему герою предостоит выбор: срок или фронт. 1943 год, Вторая мировая война в самом разгаре, на передовой нужны люди, и Вито выбирает армию.

Игрок попадает на улицы Эмпайр Бэй вместе с Вито после того, как он возвращается с фронта. Уже на платформе вокзала «Гранд Централь» сразу с поезда его встречает друг детства Джо Барбаро, который заметно изменился со времён последней встречи. Как выясняется, пока Вито отстреливал фашистов, Джо благополучно работал на мафию и теперь имеет некоторые связи в криминальном мире.