Ούτε και οι γονείς της Ελισάβετ τον συμπαθούσαν. Ο Βασιλιάς Γεώργιος δεν πρόλαβε να τον αντιπαθήσει και πολύ, καθώς έφυγε σχετικά νωρίς. Λάτρευε την κόρη του και έτσι είπε το “ναι” να παντρευτεί τον αλλόθρησκο, όμως δεν ήταν εκείνος το μεγάλο εμπόδιο. Η μητέρα της Ελισάβετ, ήταν για τον Φίλιππο ο μεγάλος μπελάς.
Δεν τον αποδέχθηκε ποτέ ως ίσο και γενικότερα οι κακές γλώσσες στα πέριξ του Μπάκιγχαμ έλεγαν ότι έβαζε… φιτιλιές στην Ελισάβετ.
Λέγεται μάλιστα ότι εκείνη τη συμβούλεψε να τον στείλει ένα πολύ μακρινό και πολύμηνο ταξίδι όταν κυκλοφόρησαν φήμες ότι ξενοκοιμόταν… Ήταν το μακρινό 1956 όταν ο Φίλιππος πήγε στις αποικίες για μήνες κατ’ εντολή της Ελισάβετ και μετά από… συμβουλή της μητέρας της.
Η εκδίκηση όμως είναι ένα πιάτο που τρώγεται.. κρύο.
Ο Φίλιππος επέστρεψε. Ήταν πλέον πολλά χρόνια στο Μπάκιγχαμ και είχε και τους δικούς του ανθρώπους. Επίσης ήξερε πλέον πολύ καλά τα… χούγια της πεθεράς του και έτσι τη… χτύπησε εκεί που πονούσε.
Γνωρίζοντας ότι η βασιλομήτωρ μισούσε το κρύο έβαλε έναν έμπιστό του να χαλάσει τη θέρμανση στα ιδιαίτερα διαμερίσματά της στο Μπάκιγχαμ. Η βασιλομήτωρ υποχρεώθηκε να φύγει και… ουδέν μονιμότερο του προσωρινού, την ξεφορτώθηκε για πάντα και έμεινε μόνος με την Ελισάβετ στα Ανάκτορα.