这齐泰本名德，获太祖朱元璋赐名泰，江苏溧水人。洪武十七年举应天乡试第一，次年成进士。授礼部主事，不久改任兵部主事。洪武二十八年，朱元璋在齐德陪祀郊庙时，因他为官九年而无过失赐名泰。第二年擢升为兵部左侍郎。洪武三十一年又提任为兵部尚书。朱元璋曾经向齐泰问边将姓名，齐泰能一一道出，“历数无遗”。朱元璋又问齐泰关於诸图籍的事，齐泰从衣袖中拿出手册进呈，“简要详密”，朱元璋很欣赏他。是年朱元璋病危，齐泰受命与太常寺卿黄子澄同辅皇太孙。朱允炆昔日便与齐泰相熟，知其通晓兵事，朱元璋驾崩之后，朱允炆因担心藩王权力过重，渐成尾大不掉之势，便与齐泰、黄子澄商议，以遗诏的名义，收掉各王统兵之权，并命齐泰督办此事。朱允炆即位后，便升齐泰为兵部尚书，与升任太常寺卿的黄子澄一起参预国政。他有感于朱元璋的知遇之恩，一心辅佐朱允炆，希望他有朝一日能成为尧舜一样的明君。
“回陛下，一切顺利！”听到皇帝的问话，齐泰毕恭毕敬的答道。