Während noch die Entwurfsarbeiten an der Atlas ICBM liefen, schrieb die USAF bereits die Entwicklung einer Alternative aus. Hintergrund waren vor allem Bedenken hinsichtlich der innovativen technischen Auslegung der Atlas, vor allem ihres „Ballontank“ Designs. Wenig verwunderlich erhielt im Oktober 1955 Martin Marietta den Zuschlag für die Entwicklung der SM-​68  Titan, eines durchwegs konventionellen Entwurfs. Statt des 1½-​stufigen Designs der Atlas hatten die Ingenieure bei Martin Marietta eine klassische 2-​stufige Auslegung für die Titan gewählt. Konstruktiv wurden die Zellen der beiden Stufen ebenfalls nach bewährten Kriterien gestaltet: eine selbsttragende Struktur mit separaten dickwandigen Tanks im Inneren. Dank des Einsatzes leichter Aluminiumlegierungen konnte aber dennoch ein gutes Masseverhältnis erreicht werden. Als sehr gelungen erwies sich das Triebwerksdesign. Aerojet General entwarf für die Erststufe das XLR-​87 , das Kerosin und flüssigen Sauerstoff verbrannte. Es verfügte über zwei Brennkammern, die von einer gemeinsamen Turbopumpeninstallation gespeist wurden. Brennkammer und Entspannungsdüse des nach dem Gasgenerator-​Zyklus arbeitenden Triebwerks wurden regenerativ gekühlt. Für die Oberstufe entwarf Aerojet eine Modifikation des XLR-​87  mit nur einer Triebwerksdüse. Zudem war die Entspannungsdüse des XLR-​91  für den Betrieb im Vakuum optimiert. Sie erhielt u.a. eine ablativ gekühlte Erweiterung, wodurch das Entspannungsverhältnis auf 49,2:1  stieg (8:1  beim YLR-​81 ). Nach einer sehr umfangreichen Erprobungsphase erreichte die Titan I die Einsatzbereitschaft. Doch die Treibstoffkombination bedingte ein relativ lange Zeit zur Startvorbereitung und erlaubte keinen Start direkt aus einem unterirdischen Silo. Daher wurde noch während der Erprobung der Titan I die Entwicklung eines Nachfolgers forciert. Die Titan II SM-​68 B baute auf dem Vorgänger auf, jedoch wurden die Triebwerke für den Betrieb mit Aerozin 50 (einer Mischung aus UDMH und Hydrazin) und Stickstofftetroxid modifiziert. Um den niedrigeren Energiegehalt dieser Kombination zu kompensieren und sogar einen noch größeren Sprengkopf transportieren zu können, vergrößerte man das Tankvolumen — die Oberstufe wurde dazu im Durchmesser an die Erststufe angeglichen. Die Steuerung beider Stufen um die Nick– und Gierachse erfolgte durch hydraulisches Schwenken der Triebwerke, für die Rollkontrolle wurden die Abgase des Gasgenerators genutzt. Um Problemen bei der Zündung des Oberstufentriebwerks aus dem Weg zu gehen, erfolgte dessen Zündung bei Brennschluß der Erststufe (sobald der Schub abzufallen begann), was eine ausreichende Beschleunigung zum Ansaugen der Treibstoffe durch die Turbopumpen sicherstellte. Bei Zündung des YLR-​91 zerlegte sich planmäßig die Übergangssektion zwischen den beiden Stufen. Der obenliegende Oxidatortank der Erststufe wurde aber mit einem Schutzschild vor dem heißen Gasstrahl des Zweitstufentriebwerks geschützt. Turbinenabgase wurden für die Druckbeaufschlagung des Treibstofftanks herangezogen, während beim Oxidator der anfallende gasförmiger Sauerstoff ausreichte. Richtungsweisend war das autonome Steuerungssystem der Rakete, das mit Gyroskopen als Referenzsystem arbeitete und auf Korrekturinformationen über eine Radiosteuerung verzichten konnte.
Trotz einiger Probleme erreichte die Titan II recht schnell die Serienreife. Im Juni 1960 wurde der offizielle Entwicklungsauftrag erteilt und im März 1962 erfolgte der erste Start. Bis zum ersten Silostart verging noch mehr als ein Jahr. Dennoch wurde die Titan II bereits im April 1963 in die Bewaffnung der USAF aufgenommen. Sie sollte die bis heute stärkste Interkontinentalrakete im Arsenal der USA bleiben.
Während noch die Erprobung der militärischen Variante lief, trat die NASA Ende 1963 an die USAF heran. Für das Gemini Programm suchte man dringend nach einer leistungsfähigeren Trägerrakete, als es die Atlas war. Eigene Entwicklungen (Saturn) waren noch nicht soweit. Somit blieb einzig die Titan II. Die NASA bot Unterstützung bei der Verbesserung der Titan im Gegenzug für die Bereitstellung einiger modifizierter Exemplare sowie die Durchführung der Startoperationen. Obwohl die USAF einen Großteil der anfallenden Entwicklungskosten trug, profitierten beide Seiten von der schließlich getroffenen Vereinbarung. Problematisch waren vor allem starke Treibstoffschwingungen (POGO Effekt). Im militärischen Einsatz waren weitaus intensivere Schwingungen tolerabel als für bemannte Missionen. Modifikationen an den Triebwerken und der Tankstruktur halfen schließlich, die von der NASA geforderten Werte zu erreichen. Erprobt wurden die Modifikationen im regulären Testprogramm zur Qualifizierung der militärischen Variante. Als die USAF die Titan II als Basis für eine ganze Familie leistungsfähiger Raumfahrtträgerraketen wählte (Titan III), war das POGO Problem immerhin bereits gelöst.
Für das Gemini Launch Vehicle Programm hielten noch einige weitere Verbesserungen und Modifikationen Einzug. Verzichtet werden konnte auf die bisherigen Retrotriebwerke an der Zweitstufe. Neu eingeführt wurde hingegen ein Malfunction Detection System, das eine Vielzahl an Parametern kontinuierlich überwachte und eine Reihe von Notfallszenarien automatisch initiieren konnte. Sollte eine vorzeitige Kapseltrennung oder das Verlassen der Kapsel per Katapultsitz erforderlich sein, signalisierte das MDS dies allerdings lediglich der Crew, die daraufhin selbständig entscheiden konnte/mußte. Besonders kritische Systeme der Rakete waren aber redundant ausgelegt, so daß die Wahrscheinlichkeit für den Verlust einer Mission auf akzeptable Werte gedrückt werden konnte. Das Inertial Guidance System (IGS) der ICBM Variante der Titan II wurde beim GLV gegen ein Mod. III-​G Radio Guidance System (RGS) getauscht. Der Autopilot erhielt präzise Lage-​Referenzdaten von einem Three-​Axis Reference System (TARS).