解:如图,由题意知,因为三棱锥A-BCM的体积=三棱锥M-ABC的体积,底面△ABC的面积一定,当高最大时,体积最大;当平面MAB⊥平面ABCD时,过点M作MN⊥AB,则MN⊥平面ABCD,在△MAB中,|MA|+|MB|=10,AB=6,显然,当|MA|=|MB|=5时,高MN最大,并且所以,三棱锥A-BCM的最大体积为:故选D