amamoto chào đời ngày 4-4-1884, giữa một mùa hoa anh đào trong một căn nhà nhỏ bé nghèo nàn tại vùng Nagaoka, một nơi nổi tiếng nhiều tuyết về mùa đông. Thân phụ ông, Sadakichi Takano, là một cựu võ sĩ đạo. Trong một cuộc chiến giữa hai phe võ sĩ đạo, phe ông bại trận, và do đó ông lâm vào cảnh nghèo túng. Sau khi dẫn vợ và bốn con trai đi lưu lạc một thời gian, Sadakichi Takano trở về làng cũ để trở thành một giáo viên trường làng. Nhưng đúng lúc đó bà vợ chết, và Sadakichi tục huyền với em gái của vợ là Mineko. Mineko sinh được ba người con nữa, hai trai một gái, và Yamamoto là con út của ông bà Takano.

Ngày 4-4-1884, Sadakichi đang ngồi chơi cờ với một người bạn già thì một đứa con của ông chạy lại báo tin, vợ ông đang đau đẻ và cần một cô đỡ. Sadakichi sai đứa con đi tìm cô đỡ và vẫn tiếp tục chơi cờ như không có gì quan trọng cả. Không phải Sadakichi là một con người chai đá, nhưng lúc đó ông đã già rồi và đứa con sắp sinh là đứa con thứ bẩy của ông, nên ông cũng không hào hứng lắm. Khi bà vợ đòi ông đặt tên cho con thì ông nói: "Năm nay ta đã 56 tuổi rồi. Thôi hãy gọi nó là Năm-Mươi-Sáu." Trong tiếng Nhật, Isoroku có nghĩa là 56, và cái tên đầu tiên của danh tướng Yamamoto là Isoroku Takano. Mãi về sau này ông mới đổi tên là Isoroku Yamamoto.

Tuy Sadakichi đón nhận đứa con trai thứ bảy một cách thờ ơ, nhưng dần dần Isoroku trở thành nguồn vui lớn của ông. Hàng ngày ông già kể cho đứa con nhỏ nghe về những chuyện võ sĩ đạo trong gia tộc ông, những trận đánh đẫm máu giữa các lãnh chúa, và dậy Isoroku viết chữ Hán. Sadakichi rất ghét người tây phương nhưng khi bà Newall, một nhà truyền giáo Mỹ, tới dạy học trong vùng thì ông lại cho các con ông học với bà Newall. Chính bà Newall đã giới thiệu đạo Thiên Chúa cho Isoroku và sau này ông có thói quen đọc Thánh Kinh.

Gia cảnh một giáo viên rất là nghèo túng. Cái gia đình đông đúc chín người đó sống chen chúc trong một căn nhà gỗ nhỏ bé. Về mùa đông lạnh cắt da thịt, Isoroku chỉ được mặc một chiếc áo kimono bằng vải sợi do mẹ may. Nhà nghèo không có tiền mua sách nên Isoroku phải đi mượn sách về và chép lại để học. Khi lên trung học, Isoroku rất yêu chuộng thể thao, nhất là môn dã cầu, bơi lội và chạy. Trong một lần đi câu một mình, thuyền của Isoroku bị lật vì biển động. Cậu bé phải bơi vào một hang động ngoài khơi, và nằm chờ hai ngày sau biển lặng rồi mới bơi trở vào bờ.

Là một thiếu niên cường tráng, yêu thể thao, thấm nhuần tinh thần võ sĩ đạo và yêu thích biển cả, nên năm 15 tuổi Isoroku quyết định ghi tên vào trường sĩ quan hải quân Etajima. Isoroku đã chọn ngành hải quân đúng lúc Minh Trị Thiên Hoàng đang quyết tâm phát triển hải quân Nhật, theo khuôn mẫu của hải quân tây phương.