Chiều ngày 2/9/1969, tin Bác Hồ mất đến với Tố Hữu khi ông đang điều trị ở bệnh viện. Ông vội trở về, tìm đến ngôi nhà sàn thân quen. Trời mưa tầm tã, xung quanh vắng lặng. Lòng trĩu buồn, đêm hôm ấy ông ngồi viết bài thơ này.
Ngày 2-9-1969, Chủ tịch Hồ Chí Minh qua đời. Trong dịp lễ Quốc tang lãnh tụ vĩ đại, bài thơ Bác ơi ! của Tố Hữu được giới thiệu trên báo Nhân dân, sau này in trong tập thơ Ra trận.