Milieu du XIXe siècle. À Edo (l'actuelle Tokyo), le shogun entretient un harem de concubines caché dans une aile de son palais. À part le shogun, un seul homme a le droit d'approcher ces femmes qui comptent parmi les plus jolies filles du royaume : Sumeragi, surnommé Gold Finger, sorte de chaperon chargé de préparer les compagnes du shogun à leur première fois. Un travail qui réserve bien des surprises, et bien des aventures sexuelles !