张学良已经分配到凤至原来,由于凤至不接收谷瑞玉,谷瑞玉不能正式进入帅府,而是住在张学良买的房子里。 1925年郭松龄反哺失败后,张学良怀疑谷瑞玉与杨宇霆有关,而且后期谷瑞玉的兴趣爱好也发生了变化,越来越任性,逐渐与张学良发生摩擦和误会,与张学良发生争吵,导致夫妻发生矛盾离婚 1931年1月,张学良和谷瑞玉解除了婚姻关系。