В марте 1785 года к нему в Пизу приехали кузены Василий Николаевич Зиновьев и Илларион Иванович Воронцов. Первый через 4 дня уехал в Рим, а второй в Вену. У нанятой для Миши няни в середине марта внезапно появилась «лихорадка с бредом» которая продолжалась 3 дня. Пришедший доктор дал снадобье и сказал, что ничего опасного нет «меня беспокоит это из-за Миши, который так привык и так привязан к этой женщине, без которой он вряд ли может обойтись. Я со всем домом то и дело развлекал и отвлекал его эти дни»². Он боялся остаться в Италии из-за детей, так как при его болезни и возможной кончине никто не позаботится о них, а в Лондоне есть знакомый советник при дворе Георгий Дмитриевич Моцениго. Потом приехал тесть Алексей Наумович и помог зафрахтовать греческое транспортное судно и всё семейство поздней весной следующего года отбыло в Лондон. Семён Воронцов с сыном, дочерью и обслугой прибыли в порт в конце мая 1785 года, сняли дом и занялись его благоустройством. В сентябре Воронцов был вынужден был отпустить кормилицу Машу в Россию, которая ухаживала за маленькой Катенькой. У неё умер отец «она служила моей жене Екатерине Алексеевне с большим рвением, и я назначил ей пенсию 50 рублей в год». Он предлагает Марии Алексеевне, сестре своей покойной жены деньги приходящие на его счёт в банке за полученные в боях ордена, вложить на хранение с процентами как приданное своей маленькой дочери «…я намерен все это увеличить в приданое моей Катиньки, которое я желаю дать в дополнение к земля его матери моей дорогой Екатерины Алексеевны, земли усадьбы Ceмёновское: потому что я не хочу не то чтобы у нее ничего не было от отца. Когда невеста бедная, ей трудно найти суженного, сейчас обычно выходят замуж очень поздно и обычно не всегда относилось к жениху так хорошо, что, если она будет богатой. Мишенька не останется беден у него на 150 крестьян меньше, а у моей маленькой Катиньки будет 300 и двадцать тысяч рублей наличными»³. Из этих слов можно сделать вывод, что Семён Романович с самого начала больше всего беспокоился о своих детях, а не о себе.

В сентябре 1786 года Воронцов получает от Императрицы за свои труды по заключению соглашения о торговле с Великобританией и разоружении английской эскадры орден «Святого Александра Невского». Воронцов младший с рождения был записан в каптенармусы Преображенского полка и как бы за выслугу лет в этом году 4-летний Миша произведён в новое звание «прапорщик». Способствовал этому старший брат Семён Романовича Александр Романович Воронцов к тому времени член Совета при Императрице. Вот цитата из письма брату: «…мой дорогой Алексаша теперь я смогу спокойно умереть до того, как мой сын сможет служить, но я умру спокойным и довольным, увидев, что его поступление на службу уже обеспечено таким достойным образом, разумно и выгодно. Маленький офицер еще не понимает вся польза от того, что ты только что получил, а я признаться вам, позаботился о том… мой сын будет носить форму только в тот день, когда он поступит на выборную службу, и я постараюсь объяснить ему что если он пойдет на эту службу с таким большим преимуществом, это будет из-за избытка доброты императрицы к его родителям… я уверен он сделает себя способным и очень усердным в служение, и сможет оправдать нашу доброту к нему, это только из-за того, что он будет нежным, скромным и услужливым со своими равными и подчиненными… я пока не могу судить, хватит ли ума у моего сына и таланта, но я отвечаю, что сделаю чтоб он стал умным и скромным, без страха и смущения»⁴.

В июне 1787 года королева София-Шарлотта Мекленбург-Стрелицкая (именно ей принадлежит рецепт пирога с яблоками «шарлотка») захотела увидеть детей Воронцова, и он послал их в карете с мадмуазель Гомме (нянькой). Она отвела их в королевскую резиденцию, где так же находился король Георг III. Королевские особы без посторонней помощи говорили долго и любезно с этими русскими детьми. Они решили, что трёхлетняя Катенька очень красивая, миловидная и весёлая девочка, а 5-летний Мишенька более умен и интересен. За девочкой в доме так же наблюдала и ухаживала «девица Жардин» выпускница Смольного института, а за Мишей швейцарец «мисье Жоли». В августе Семён Романович вместе с семьёй поехал по Англии и писал в Санкт-Петербург из Ричмонда «… он (Миша) всегда со мной или с Джоли; женщины только для мыть, одевать и раздевать его, и поскольку он имеет очень мягкий характер, очень привязан к окружающим, я не никогда не отнимаю его от этой женщины, которую он любит и правильно любит, потому что она его обожает, но не балует»⁵. Отец постепенно отучает сына быть с женщинами и всячески старается сблизить его с воспитателем: «…я с удовлетворением вижу, что он привязался к Джоли и дружен с ним: когда с ему случается поехать на один день в город, его возвращение всегда доставляет Мишеньке огромное удовольствие. Вы не представляете, сколько я доволен своими детьми. Я никогда не видел такого веселого, так что нежный и такой послушный. Также их любят все, кто их знает. Король, королева и принцессы, с кем они были дважды, хвалят их во всю; все женщины, которых я знаю, мучают меня своими вопросами. Я навещаю их больше; они уже начинают одеваться по-английски и понимать все, что им говорят. Мишенька очень хорошо читает по-русски, который выучил, не осознавая видеть, подшучивая надо мной, капелланом и мистером Лизакевич (Василий Григорьевич-советник посольской канцелярии). Я не учу его писать по-русски, потому что ни у кого в миссии нет хорошей руки, и я не хочу, чтобы у него почерк был такой плохой, как у его отца, дедушки и дорогого дядюшки. Через год отдам его английскому мастеру письма»⁶.

В сентябре этого года граф Воронцов предупреждает графа Александра Андреевича Безбородко о том, что турки имеют план Севастополя и укреплений и советует убрать торговые корабли «позвольте изъявить вам моё удивление, что в Севастополе позволяют купеческим судам, купцам и консулам иностранным иметь пребываение. Сие не дозволяется ни в каком военном порте здесь в Англии, во Франции и в Гишпании… я уповаю, что вы отдалите из военнаго нашего порта, где все делаются вооружения, сии гнёзда шпионов, кои поселились там под именем купцов и консулов».

На следующий 1788 год Императрица Екатерина пишет Семён Романовичу с приказом не допустить сближение Англии с Турцией и Швецией: «Господин граф Воронцов! …вы узнаете приказания, которые к вам я посылаю. Вы сами можете рассудить, как велика была бы услуга ваша Отечеству и мне… она будет ещё значительнее, коль скоро вы успеете отвести Англию, по крайней мере по отношению к северным делам, от системы Прусской». Он во всю работает как дипломат, не оставляя себе порой время на отдых и на воспитание детей. Встречаясь с английскими представителями власти он всячески выражал мнение о необходимости для Англии сохранять дружбу с Россией. Сам бывший больным «грудной простудою» скрывая от всех выезжал на встречу с первым министром Чарльзом Фоксом. Спустя два года англичане предприняли попытку заставить турок начать войну против России. Премьер-министр Виллиам Питт вооружал в Портсмуте большую эскадру в 36 линейных кораблей и столько же бригов и куттеров. Воронцов провёл огромную работу с представителями Верхней и Нижней палаты парламента и простым народом (велел сочинять записки и рассылать во все провинции) и заставил англичан не посылать флот в Балтийское море. Императрица позже сказала всем своим министрам «только он один мыслит так же, как и я». Проявляя твёрдость, Россия добилась временного умиротворения. Воронцов тогда сказал «нет славнее и полезнее мира, как под мечем подписанного». В Яссах 29 декабря был подписан мир с Турцией с возвращением крепостей Анапы, Измаила, Аккермана, Суджук-Кале и Бендер. Семён Романович был награждён орденом «Св. Владимира» первого класса и добавили к жалованию 6000 рублей «я тогда был уже в долгах по горло».

Проходит время, дети Воронцова подрастают и в апреле 1892 года настали преобразования. Дом, который изначально снимал Семён Романович, стал мал для семейства. Строение состояло из двух комнат. Десятилетнего Мишу с гувернёром Жоли поместили в одну комнату, а Катеньку с домработницей в другую. В августе он решил отпустить в Россию в Мурино кормилицу Мишеньки, которую звали Пелагея. Она уже 2 года просила её отпустить и теперь, когда это было решено постоянно плачет и не может смириться с мыслью, что покидает любимого Мишеньку, которого по-матерински очень сильно обожает. Последние время она была с Катенькой и вот как о ней говорит Семён Романович: «это женщина с лучшим характером, которую я когда-либо видел; она хороша во всём, ни на что не жалуется, всем довольна, бескорыстна и ненавидит ложь». Он просит управляющего именьем Мурино принять её в России после десятилетнего отсутствия, выделить ей крестьянский дом с огородом, купить двух коров и сепаратор, чтоб она могла делать масло. Он велит дать ей 25 рублей сразу из своих сбережений и платить в дальнейшем зарплату 75 рублей в год. Семён Романович приказывает сына Пелагеи устроить в школу, чтоб он научился писать и считать, а через два года отправить назад в Англию. Он желает сделать его камердинером своего сына, который будет постоянно с ним сопровождая каждый день в путешествиях. Воронцов решил во дворе английского дома построить для себя флигель, но тут вмешался суд, который завёл на него дело и требовал выплатить штраф.