在哥伦比亚学校的两年期间，马汉对军事产生了更强烈的兴趣，他有了献身海军的激情。马汉的父亲一直反对马汉参加海军，但由于马汉的坚持，也只好作罢，同意他在外面可以利用自己的名声和威望的影响。这样，在哥伦比亚学校学习了两年的16岁的马汉带着校长的推荐信，进入到安纳波利斯海军军官学校学习，踏上了实现自己远大抱负的人生征途。
1856年9月30日，马汉到安纳波利斯海军军官报到，三年后，马汉以全班第二名的成绩顺利毕业，此时的他渴望到作战部队，做一名真正的海军军官。
毕业后，马汉被分配到护卫舰“国会”号任职。对此，马汉非常不满意，因为他更希望能够分配到拥有比较先进的蒸汽动力船，能在战争发生时有效担负起港口巡逻和海上阻击任务的“易洛魁”号舰上去。
1860年，美国内战爆发，马汉站在联邦政府一边，支持北方。在这段时间里，马汉一直郁郁不得志，始终无法发挥出其军事才能。后来，他干脆利用生病的机会，拒绝到舰上服役，因此他的事业一直处于低迷状态。
