Императорский воспитательный дом построен в центре Москвы — на Васильевском лугу, на котором в течение веков разворачивалось немало исторических событий. Под строительство определили часть Васильевского сада и Гранатный двор, где изготавливали порох и отливали пушечные ядра. Закладку здания торжественно провели в день 35-летия Екатерины II-21 апреля 1764 года.
В память о закладке выпущена медаль с портретом Императрицы, а на другой — двух женских фигур, из которых одна — Вера — повелевала другой — Человеколюбию — поднять лежащего с земли ребёнка. Пеликан, кормящий грудью птенцов, стал гербом заведения.