Die Burg Efferen wurde 1391 im Zuge von Auseinandersetzungen der Stadt Köln mit Ihrem Erzbischof Friedrich III. von Saarwerden von den Kölnern stark befestigt und seitdem mehrfach verändert. So wurde im 18. Jahrhundert auf den mittelalterlichen Fundamenten durch den Architekten Christian Birkenhus ein neues, siebenachsiges und zweigeschossiges Herrenhaus errichtet. Darauf weist im Giebelfeld die Jahreszahl 1769 hin. Der Turm ist mittelalterlich, die krönende Barockhaube kam erst im 17. Jahrhundert dazu, ursprünglich war das Gebäude zinnenbewehrt. Die Annahme, es habe einst vier Türme gegeben mit römischen Fundamenten, konnte bei den durch die Kriegsschäden notwendigen Fundamentarbeiten nicht bestätigt werden, es fanden sich dafür keine Spuren. Der Burggraben führte bis 1962 Wasser. Ab dem 14. Jahrhundert sind die Familien der Burgherren fassbar:

• Die Overstolzen, ein Kölner Patriziergeschlecht, welches sich später Overstolz von Efferen nannte, noch später dann nur noch von Efferen. Diese Familie kam in der Folgezeit zu einiger Bekanntheit, ein Wilhelm von Efferen war Fürstbischof zu Worms, ein anderer Wilhelm von Efferen war Deutschordensritter und Burggraf zu Riga, ein weiterer Geheimer Rat des Kaisers Ferdinand II. in Wien. Ein Gerhard Ludwig von Efferen war Urgroßvater des deutsch-amerikanischen Generals Friedrich Wilhelm von Steuben.
• ab 1393 die Familie v. Coesen oder von Cuesin, nun hieß das Burggut wohl Kusinengut
• 1439 wurde der Kölner Bürgermeister Rüttgers von der Weyden mit dem Gut belehnt, der es
• 1461 an Johann Rauftesch verkaufte. Dessen Sohn,
• Johann v. Diepenbroich wurde 1477 ordentlich mit dem Gut belehnt.
• 1535 bis 1635 war die angesehene Kölner Familie Orsbeck im Besitz der Burg.
• Für zwei Jahrhunderte folgte nun die Familie von Bourtscheid bis 1836.
• Bis 1870 waren die Grafen von Schaesberg im Besitz der Burg, verkauften diese dann an
• die Grafen von Fürstenberg-Stammheim aus Bonn, welche sie 1894 an ihren Pächter
• Matthias Koch weitergaben. Dessen Familie ist nach wie vor im Besitz des Anwesens.

Viele dieser Namen sind als Straßennamen rund um die Burg zu finden.