L’histoire se déroule au Japon en 2020. L’économie s’est complètement envolée et à Tokyo, la vie est devenue extrêmement chère. Kaiji mène une vie difficile dans ces conditions : il a beau charbonner dans son boulot, il n’écope à la fin du mois que d’une maigre paie, avec laquelle il peut à peine aller se payer une bière. Il découvre alors que son patron, Otsuki, s’en est mis plein les fouilles grâce à un réseau de jeux d’argent illégaux. Désormais président de la puissante compagnie Teiai, il entraîne Kaiji dans son monde afin que celui-ci participe à un jeu de grande envergure appelé la Tour de Babel.