את הקמת משכנו של בנק ישראל בקריית הממשלה בגבעת רם יזם הנגיד הראשון של הבנק, דוד הורוביץ. קודם לכן, מאז הקמתו ב-1954, שכן הבנק בבניין מצפה ברחוב יפו (בקרבת בניין ג׳נרלי), שתכנן ראובן אברמוביץ׳ עבור הבנק האיטלקי בנקה די-רומא ונחנך ב-1939. האיטלקים לא ישבו בבניין זמן רב, שכן שיתוף הפעולה עם גרמניה הנאצית הוביל לגירושם מפלשתינה-א״י על-ידי הבריטים. עם הקמת המדינה ישבו בבניין משרדי האוצר, עד מעברם ב-1955 לבניינם החדש בגבעת רם. בעת הקמתו היו בבניין מצפה שלוש קומות, שעליהן נבנתה ב-1959 קומה נוספת, אך מצוקת המקום אילצה את הבנק לשכור חדרים בבניינים סמוכים, ביניהם מלון עדן.
על רקע זה הוכרזה ב-1966 תחרות אדריכלים לתכנון בניין חדש לבנק ישראל (חבר השופטים בתחרות מנה כלכלנים ואדריכלים, ביניהם בנימין אידלסון ואברהם יסקי), שבה זכו אריה שרון, אלדר שרון והאדריכלים האחראים על הפרויקט במשרדם, ג׳ורג׳ פרל ויחזקאל רוזנברג. במקום השני זכה רם כרמי, ובמקום השלישי — דוד רזניק.
שרון ושרון הציעו להקים בניין המאורגן סביב שתי חצרות פנימיות, בקצה כיכר רחבת ידיים בשטח 1,250 מ״ר, הסמוכה לבניינים אחרים של קריית הממשלה המתפתחת בגבעת רם. הבניין עצמו מיתמר לגובה תשע קומות, כאשר חמש הקומות העליונות אורגנו כפירמידה הפוכה, ומתחת לפני הקרקע נקבעו מרתפים לכספות הבנק. הקמת הבניין החלה באוקטובר 1967, לאחר מלחמת ששת הימים ועם היציאה מהמיתון ששרר בארץ לפניה, אך הופסקה זמן קצר לאחר מכן במסגרת הקפאה כללית של בניית בנייני הממשלה, בעקבות החלטה להפנות משאבים לבניית מגורים ולהיערכות ביטחונית בדרום.
הקמת הבניין חודשה ב-1979 ונשלמה ב-1981. ביום חנוכתו על-ידי ראש הממשלה דאז, מנחם בגין, היה הבניין מאובזר במיטב הטכנולוגיה של זמנו, לרבות מרכז תקשורת חדיש לביצוע עסקאות בינלאומיות. עם אכלוסו ישבו בו פקידי מחלקות המחקר, האשראי והפיקוח על מטבע חוץ, לצד ספרייה ולשכות הנגיד וסגניו בקומה העליונה.
בצורת הפירמידה ההופכה ובפרופורציות שלו, הבניין מזכיר את בית עיריית בוסטון בתכנון קלמן, מק׳קינל ונולס (Kallmann, McKinnell & Knowles). החזית השונה והייחודית של בניין הבנק, המורכבת ממערך משטחים הארוג כשיניים אנכיות, הקנתה לו מעמד איקוני.
