官员也挺不客气的，当时有一们御史看不过他的所作所为，多次依法弹劾他，冯小宝一怒之下，把这人堵在路上，打了个半死，这类为非做歹的事情干多了，有时候也会碰钉子。有一天，薛怀义带着自己的一帮喽啰进宫，在门口遇到了宰相苏良嗣。薛怀义骄横惯了，觉得我是宠儿啊，我得先进门啊，根本没把苏良嗣放在眼里，苏良嗣勃然大怒，当即叫左右把薛怀义揪过来，劈头盖脸一顿暴打，把薛怀义打得满地找牙。薛怀义跑到武则天面前哭诉，没想到武则天心里非常明白，摸着冯小宝的光头说：“孩子你记住，北门才是你出入的地方，南衙是宰相理政的地方，你没事到那里闯什么祸呢？”但随着薛怀义地位的提高，宰相也奈何他不得，在出征突厥期间，李昭德以宰相的身份充当小宝的幕僚，因为一言不合，冯小宝挥拳便打，李昭德也只能惶惧求饶。

武则天成为皇帝后，身边的男宠逐渐多了起来，慢慢移爱于一个叫沈南璆的人了，薛怀义一气之下，干脆不进宫见武则天了，整天待在白马寺里，和他剃度的那些小流氓胡闹。御史周矩怀疑薛怀义谋乱，曾几次向武则天奏劾，武则天命周矩处置众僧，周矩查问，将诸僧悉数发配远州边地，但是不久后周矩又被薛怀义诬陷，下狱免官。

上元佳节，朝廷取消宵禁，百姓家里也是张灯结彩，天下狂欢，薛怀义为这个节日做了精心准备，他指挥手下在明堂的地上挖了一个五丈深的大坑，坑里面预先埋上佛像，装上机关。然后，用丝绸在坑上搭了一座宫殿，皇帝也得过节啊，武则天来到明堂之后，冯小宝指挥手下将佛像从坑底徐徐拉起，一直拉到彩绸搭建的宫殿之中，从旁边看起来，活像是地底踊出佛像。并且，薛怀义早就杀了一头牛，用牛血画了二百尺高的一个大佛，把这个佛像张挂在天津桥上，然后对武则天说，这是我割破膝盖，用自己的血画成的，但武则天还是淡淡一笑，没有理会。

为此，薛怀义心怀怨恨，在第二天正月十六的夜里，火烧天堂，火借风势，迅速蔓延，很快天堂就成了一片火海。当初建天堂的时候，所费以万计，府藏为之枯竭，如今只剩下一片锦灰堆，大火又继续蔓延，把明堂也给点着了。烈火熊熊，把神都洛阳照耀得如同白昼，这一场大火一直烧至天明，明堂和天堂一起化为灰烬，火烧明堂半个多月之后，薛怀义被杀。

史事讲将2隋唐五代三月天