Über die Zeit, als die Brandenburger Bischöfe die Herrschaft über Ruhlsdorf ausübten, ist wenig bekannt. Bereits Anfang des 15. Jahrhunderts vergaben die Landesharren Anteile von Ruhlsdorf als Lehen. So fiel das Eigentum an Ruhlsdorf allmählich wieder an die Brandenburgischen Kurfürsten zurück. Die Besitzer der Ruhlsorfer Lehen, wie das Schulzengericht mit 4 Hufen, einen abgabefreien Hof mit 5 Hufen oder das Patrimoniat, wechselten seit dem Jahr 1400 recht häufig und bestanden fast ausschließlich aus vermögenden Berliner Bürgern. Als erster adliger Lehnsherr von Ruhlsdorf trat Henning von Rathenow auf. Er war der Gründer eines Vorwerkes, das seine Söhne auf 11 Hufen unter Einziehung von drei Bauernhöfen vergrößerten.
Nach kurzeitigem Besitz des Dorfes durch Otto von Britzke erhielt nach ihm Georg Ernst von Stockheim die Belehnung im Jahr 1652 vom Kurfürst Friedrich Wilhelm von Brandenburg. Von Stockheim schreibt in einem Brief, dass er Ruhlsdorf „ganz wüste“ antraf. Von den ehemaligen Bewohnern auf 12 Höfen und dem Müller- und Kruggut waren nur noch 8 Männer im Dorf anzutreffen. Bekannt und belegt ist, dass in den Jahren 1630 bis 1633 die Pest im Raum Teltow so gewütet hat, dass manche Dörfer fast leer gefegt waren. Der Ort blühte aber durch den (land-)wirtschaftlichen Aufschwung wieder auf, was auch in den Kirchenbüchern mit vermehrten Einträgen von Trauungen und Kindstaufen nachzuverfolgen ist.
Christoff Ernst, Sohn von Georg Ernst von Stockheim, errichtete das Rittergut in Ruhlsdorf. Außerdem ließ er eine neue Windmühle bauen sowie den Weinberg erneuern. In die Belehnungszeit der Familie von Stockheim fällt jedoch auch das so genannte Bauernlegen. Wie auf anderen Rittergütern der Mark eigneten sich die Grundherren den Besitz der freien Bauern an und führten so genannte Lassgüter ein. Den ehemals 11 Bauern mit ebenso vielen Höfen im Jahr 1624 standen 70 Jahre später 11 Kossäten auf unfreien Lassgütern, einschließlich streng geregeltem Hofdienst auf dem Rittergut, gegenüber. Ein besonderer Glanz brach über Ruhlsdorf herein, als die Belehnung des Rittergutes an die adlige Familie von Thiele fiel. Gottfried von Thiele, Nachfolger seines Vaters Martin, ließ auf dem Gutshof entlang der Dorfstraße ein weiträumiges frühklassizistisches Herrenhaus erbauen, welches seinem Status als Hofmarschall in den königlichen Residenzen Berlin und Potsdam entsprach.
Auch in der Ruhlsdorfer Kirche hinterließen die von Thiele ihre Spuren, indem sie eine herrschaftliche Loge im Turmteil der Kirche errichteten, geschmückt und ausgemalt mit ihrem Wappen. Im Jahr 1777 erbte der Schwiegersohn, Leopold von Retzow, das Rittergut, das nach seinem Tod im Jahr 1803 zwangsversteigert werden musste. Anfang des 19. Jahrhunderts wechselten das Gut und seine Ländereien recht häufig seine Besitzer, bis es 1829 der letzte Käufer Emil Bouvier übernahm.