Seit Anfang des 14. Jahrhunderts lässt sich in Eltville, das um 1060 erstmals erwähnt wird („alta villa“ = „hochgelegener Ort“), eine Burg des Mainzer Kurfürstentums nachweisen.
Der Trierer Kurfürst Balduin von Luxemburg (1307-1354) hatte eine Zeit lang gleichzeitig auch die Macht im Erzstift Mainz inne. Während der Mainzer Stiftsfehde von 1328-1337 wählte er Eltville zu seiner Operationsbasis gegen Mainz.
Ab 1329 ließ er – möglicherweise anstelle einer älteren Anlage, die vermutlich im sogenannten Zollkrieg 1301 zerstört worden war –  eine Burg erbauen. Die erste Bautätigkeit fand zunächst 1332 ein Ende. Der begonnene Bau des Erzbischofs Balduin von Luxemburg wurde vom Mainzer Erzbischof Heinrich von Virneburg weitergeführt. So entstand von 1337 bis 1345 der markante Wohnturm der Burg. Vermutlich datieren der angrenzende Palas sowie die Ringmauern und die Zwingeranlagen ebenfalls in diese Zeit.
Im 14. und 15. Jahrhundert diente die Eltviller Burg – bis zum Bau der Martinsburg in Mainz ab 1478 – häufig als Residenz der Mainzer Kirchenfürsten, wie auch Aschaffenburg. 1484 wurde Eltville modernisiert, jedoch ab 1555 in Teilen niedergelegt.
Nachdem die Anlage in den Wirren des Dreißigjährigen Krieges 1635 durch die Schweden zerstört worden war, wurde sie von Giovanni Angelo Barella 1682 wiederhergestellt und erweitert. Der zweigeschossige Ostflügel wurde in der Barockzeit wiederhergestellt und nach Norden verlängert.  
In den Revolutionskriegen wurde Eltville 1793 von den Franzosen von der gegenüberliegenden Rheinseite aus beschossen.

Es handelt sich um eine regelmäßig-viereckige Burganlage. Sie besteht im Wesentlichen aus einem rheinseitig gelegenen Palas, einem Ost- und einem Westflügel sowie im Norden einer Wehrmauer mit Tor.
Nach Norden und Westen ist der Kernburg ein kleiner Zwinger vorgeschaltet, vor dem ein breiter, ausgemauerter, möglicherweise stets trockener Graben liegt. Im Süden erstreckt sich ein vorburgartig erweiterter großer Zwinger mit zwei runden Ecktürmen bis unmittelbar an den Leinpfad am Rhein (heute Teil der Promenade). An der Nordostecke der Befestigung schloss die Stadtbefestigung an.