Séparé de son épouse et totalement absorbé par son travail au ministère de l'Intérieur, Tom Winston ne s'est guère occupé de ses enfants. Lorsque sa femme décède, il récupère David, Elizabeth et le petit Robert chez leurs grands-parents et les installe dans son petit appartement de Washington. Arrachés à leur vie aisée par un père quasiment inconnu, les trois enfants ont bien du mal à s'adapter à leur nouvelle existence. Pour y remédier et gagner leur affection, Tom décide d'emmener sa progéniture en vacances et d'engager une gouvernante...