В 1771 году внимание Совета было занято волнением московской черни и свирепствовавшим в древней столице моровым поветрием, Орлов сам отправился в Москву с большими полномочиями, и 26 сентября прибыл туда в сопровождении большой свиты. Пробыв в Москве до 16 ноября, он успокоил население; болезнь с наступлением холодов стала ослабевать и город скоро принял свой обычный вид. Орлову пришлось много перенести за это время, причем он выказал замечательное хладнокровие, усердно посещая больницы, всюду сам разъезжая и делая распоряжения в самых очагах заразы. При возвращении в Петербург ему была устроена торжественная встреча, в Царском Селе были поставлены триумфальные ворота с соответствующими надписями; кроме того, была выбита золотая медаль с портретом гр. Орлова. Приняв снова участие в заседаниях Совета, Орлов скоро убедился при обсуждении военных дел, что его взгляды на войну с Турцией уже не могут иметь более успеха: императрица желала мира; к тому же и Прусский Двор успел склонить Порту к мирным переговорам с Россией; впрочем, козни Австрии расстроили все эти планы, и враждебные действия возобновились. Россия решила еще энергичнее действовать против неприятеля и собиралась двинуть туда свежие силы. Обманутая в своих надеждах Австрия постаралась тогда сама склонить Турцию к миру, что при помощи Пруссии ей и удалось сделать. Россия согласилась на переговоры, и было решено созвать мирный конгресс в Фокшанах. С русской стороны полномочным послом на этот конгресс был назначен князь Григорий Григорьевич. Он отправился туда с пышностью, удивившую всех. Осыпанный милостями императрицы, Орлов прибыл в Фокшаны в сопровождении громадного штата чиновников, придворных и блестящей толпы придворной прислуги. Как известно, конгресс кончился неудачно; Орлов, выведенный из терпения бесцеремонностью турецких уполномоченных и их требованиями, порвал всякие переговоры и донес обо всем Императрице, сам же остался жить в Яссах, и здесь-то узнал, что место его при Дворе императрицы заняли другие, а роскошные проводы в Фокшаны были последней к нему милостью императрицы, уже согласившейся, под влиянием, главным образом, партии гр. Панина, на его отстранение от дел и даже от Двора. Орлов немедленно отправился в Петербург, но не успел выехать из Москвы, как был остановлен курьером императрицы, которая письменно просила Орлова выдержать карантин и предлагала ему отправиться в его роскошно устроенное имение Гатчину. Орлов покорно отправился в Гатчину, надеясь еще личным свиданием с императрицей вернуть утраченное расположение. Через посредство доктора Крузе и брата своего Ивана Григорьевича ему удалось завязать переговоры с императрицей, которая, впрочем, не вернула Орлову его прежнего при Дворе положения. Прежде всего его лишили права входить в покои императрицы, жить во дворце и начальствовать над конногвардейцами, кавалергардами и артиллерийским корпусом; вместе с тем, ему предлагали подать в отставку и поселиться вдали от Двора и пенсию в 150000 рублей; но Орлов настаивал на просьбе о допущении его к императрице. Наконец, сама императрица предложила ему ряд уступок и награждений, изложенных ею собственноручно в 14 пунктах, в сохранившейся до наших дней записке; императрица давала обещание обратить в пенсию получаемое Орловым жалованье в размере 150000 рублей, выдать на обзаведение дома 100000 рублей, разрешила жить во всех дворцах империи, кроме Петербурга, выбрать самому где пожелает 10000 душ крестьян, отдать строящийся у Троицкой пристани дворец с внутренним убранством в вечное и потомственное владение и пр., но при этом она требовала, чтобы он удалился на год в путешествие. Но Орлов напомнил тогда императрице о дипломе его на княжеское Римской Империи достоинство, подписанном австрийским императором еще 21 июня 1763 года, и диплом этот Орлову был выдан 4 октября 1772 года. В довершение всего, 24 декабря 1772 года Орлов был принят императрицей, но уже в начале января следующего года уехал из Петербурга в Ревель. Впрочем, в марте того же года Орлов снова неожиданно приехал в Петербург и явился ко двору; принятый милостиво императрицей, он стал всюду бывать, не обнаруживая никакого желания мстить своим врагам и не проявляя стремления занять прежнее положение. 21 мая 1773 года, в милостивом рескрипте, императрица, выражая удовольствие по поводу выздоровления Орлова, поручала ему снова вступить в отправление всех лежавших на нем дел и обязанностей. Кн. Орлов снова привлек к себе расположение императрицы, которого не могли уничтожить интриги Панина и др., но это расположение было лишь тенью прежнего. В свою очередь, и кн. Орлов не упускал случая выказать свою признательность императрице за возвращение его ко Двору; так, 24 ноября 1773 года, в день тезоименитства императрицы, он поднес ей чудный, больших размеров, алмаз, составляющий и теперь украшение Российского Императорского скипетра. Впрочем, появление в 1774 году при Дворе Потемкина уничтожило какое бы то ни было значение кн. Орлова и было началом его окончательного падения. В начале 1775 года он уехал за границу и жил в Австрии, Италии Англии и др. В июне 1777 года кн. Орлов женился на фрейлине Е. Н. Зиновьевой (дочери петербургского обер-коменданта генерал-майора Николая Ивановича Зиновьева); но брак этот не был счастлив. На первых порах Орловым предстояло вынести немало неприятностей и даже преследований ввиду того, что брак этот некоторыми представителями власти считался противозаконным, так как E. Н. Зиновьева приходилась Г. Г. Орлову близкой родственницей. Правда, императрица, возведя супругу кн. Орлова в статс-дамы и наградив ее орденом св. Екатерины, положила конец всем проискам; но все же Г. Г. Орлову не удалось пользоваться спокойно семейной жизнью: летом 1780 года кн. Орлова отправилась для лечения за границу, а 16 июня 1782 года скончалась в Лозанне от чахотки.

Удрученный потерей горячо любимой жены, кн. Григорий Григорьевич стал страдать психическим расстройством, приведшим его к полному помешательству. Екатерина не забывала Г. Г. Орлова до последних дней его жизни, и не раз оказывала ему знаки своего уважения и дружбы. Так, 22-го сентября 1782 г., празднуя двадцатилетие своего коронования, она учредила в память этого события новый орден Св. Равноапостольного Кн. Владимира, и в числе первых кавалеров этого ордена сделала Григория Григорьевича; кроме того, из всех лиц, игравших более или менее крупную роль при Дворе Екатерины, только Орлов и Потемкин удостоились получить для ношения на груди портрет императрицы.

В ноябре 1782 г. Орлов был отвезен своими братьями в Москву и поселимся в Нескучном, в роскошном дворце. 13-го апреля 1783 г. кн. Г. Г. Орлов скончался, приобщенный пред смертью московским митрополитом Платоном; погребение его состоялось в подмосковной деревне Орловых, селе Отраде, Серпуховского уезда.

Кн. Г. Г. Орлов не оставил детей от брака с Е. Н. Зиновьевой, но ранее того у него было несколько человек детей, из которых известны: 1) София Григорьевна Алексеева, вышедшая замуж за Буксгевдена; 2) сын Галактион, умерший в молодости; 3) сын Оспенный, которому было пожаловано дворянство, после того, как от него была привита оспа императрице и великому князю Павлу Петровичу; 4) дочь Елизавета, вышедшая замуж за Ф. И. Клингера.

Состояние, полученное братьями Орловыми за время их придворной службы, достигало громадных размеров. Они получили в сложности за это время 45000 душ крестьян и 17000000 наличными деньгами и различными драгоценностями. Часть из этих денег они употребили на покупку имений и сделались богатейшими землевладельцами в различных местах России. Из поместий, собственно пожалованных Григорию Григорьевичу, известны: мыза Ропша под Петербургом, где еще Петром Великим построен был дворец в голландском стиле; затем, в 1780 г., государыня подарила ему Гатчину, которая ранее принадлежала императору Петру III. Здесь был простой господский домик и ничтожные постройки, когда Григорий Орлов решил здесь обосноваться. По плану знаменитого Ринальди был выстроен роскошный дворец с башнями, а пространство между дворцом и озером было обращено в парк. Григорий Григорьевич владел этим имением до своей смерти, после чего Гатчина была куплена у его наследников и подарена императору Павлу Петровичу, в бытность его наследником.

Не обладая выдающимися способностями, кн. Гр. Гр. Орлов, однако, выделялся среди лиц своего положения добрым и мягким характером, благородством души и заботой о благе родины. Первый, и чуть ли не в единственном числе, выступив в защиту улучшения быта крестьян, он также принял под свое покровительство русских единоверцев в Польше и энергично хлопотал за угнетаемых турками балканских славян. Имя Г. Г. Орлова тесно связано со многими лучшими начинаниями Екатерины II в первый период ее царствования, когда она открыто заявляла сочувствие к важным реформам в государстве. Большинство современников очень сочувственно отзываются об Орлове а Екатерина уже в конце 80-х годов так характеризовала Храповицкому своего бывшего любимца: "Григорий Орлов был génie, храбр, решителен, mais doux comme un mouton, il avait le coeur d'une poule".