再次翻开菲茨罗伊家族的历史，会发现菲茨罗伊家族的第一代，高祖父辈是纯血华人，至于是因为什么来到的欧洲，并没有确切记载，甚至曾祖父威廉还故意隐瞒高祖父的汉字名，只保留了姓氏，只用法语名“腓力”来记载父亲来到欧洲之后的经历，是一名住在法国的巴黎，并且很少露面的一名富商。
高祖母是法国普通小农场主的女儿安妮苏尔特。
高祖父腓力至死没有放弃姓氏，他与高祖母安妮苏尔特的儿子曾祖父威廉也没有放弃姓氏，按照法国贵族的传统，自路易十四封曾祖父威廉为纽斯特里亚男爵开始，这个家族可以以纽斯特里亚为姓氏，但他还是没有这样做。
反而让家族以与英国斯图亚特王室有血缘关系的妻子玛格丽特菲茨罗伊的姓氏菲茨罗伊为姓氏，想以此来融入法国大贵族们的世界。
但腓力强大的基因还是让儿子威廉在相貌上偏向东方一些，当然也有西方的特征，因此带来很多麻烦
也获得绰号“东方人威廉”
威廉个人私底下在日记里称自己是“华人威廉”。
威廉在父亲腓力的各方面严格要求的生活状态下活到成年了，想以参军来实现自己的抱负，也是因为这样人生彻底改变
从士兵到骑士将军，再到纽斯特里亚男爵，最后路易十五时代退居幕后的强大军事财阀家族的开创者。
时间来到1743年1月，身体不是太好，年迈的曾祖父威廉德纽斯特里亚男爵向路易十五辞去一切职务，于同年1743年12月去世。
之后家族仅靠玛格丽特菲茨罗伊和儿子菲利普德菲茨罗伊支撑着
查理的祖母，祖父菲利普的妻子克里斯蒂安娜凯特莱来自库尔兰公国的第一任公爵，宝剑骑士团末任团长德意志人哥达凯特莱的后人，属于凯特莱家族成员。
库尔兰公国位于波罗的海沿岸的小国，在1562年至今存在的，名义上隶属于立陶宛大公国，后隶属于波兰立陶宛联邦的公国，名义上的凯特莱家族最后一任库尔兰公爵斐迪南于1737年去世后，库尔兰公国的大公位置被上一任大公夫人和俄罗斯女皇，安娜伊凡诺芙娜在1737年任命她的情夫恩斯特约翰冯庇隆为库尔兰公爵，但遭到克里斯蒂安娜凯特莱这位凯特莱家族成员的反对，她认为凯特莱家族并没有绝嗣，而作为外国的俄罗斯公然的任命外人为库尔兰公爵的做法是不合法的，是强盗行为。
可惜没有实力的反对是没有什