邵雍祠被称为理学祖庭之一 理学是融佛学 儒学及道家思想而形成
邵雍在天宫寺设馆授徒十三年后，西京留守王拱辰在天宫寺西侧，即唐代天宫寺西区为邵雍建立了宅园，名为安乐窝。北宋末年，天宫寺和安乐窝都被金兵焚毁。元明清时，在此区域先后建九真观、伊洛五贤祠、伊洛书院等，一直在传承邵雍在天宫寺和安乐窝创造的理学道统。
天宫寺西安乐窝
宋仁宗嘉祐七年（公元1062年）初，王拱辰任西京留守。王拱辰，字君贶，曾经担任宣徽南院使和宣徽北院使，时人称其为王宣徽。王拱辰上任伊始，就前去拜见在家守制的宰相富弼，并前往天宫寺看望邵雍。
天宫寺西侧，是一片荒地。此地原为唐代天宫寺的西区，五代时被齐国公安审琦建了宅园。安审琦死后，其子安守忠将此宅交给了官府，但不慎被大火焚烧。北宋天圣九年（公元1031年）初，西京留守钱惟演将进过园拆除后，其建材存于天宫寺，准备在此区域重建天宫寺西区，但由于钱惟演的突然离职而未果。
王拱辰组织官府工匠，在这片荒地上，利用天宫寺存放的建材，建了三十间房子，请邵雍居住。这类房，是属于官府所有、居民可低价租赁或免租使用的特殊房屋。这组房子的南侧，是一个花园，原为唐代内仆局的一部分，也一并交给邵雍使用，与新建的三十间房子形成一个很大的宅园。邵雍将其命名为安乐窝。
王安石为了推行变法，设了“置制三司条例司”和全国分支机构，这是凌驾于各级地方政府的特殊机构。宋神宗熙宁七年（公元1074年），王安石推行官田官宅法，凡是非官府占用的官田官宅，一律卖掉。
安乐窝属于官田官宅，“置制三司条例司”的官员要求邵雍立即搬家。当时，王拱辰让其子、西京粮料院的官员王正甫联络了富弼、司马光等二十余家集钱买下了安乐窝，赠给了邵雍。邵雍写了一首长诗以答谢，诗中有“重谢诸公为买园”“二十余家争出钱”之句。
名寺名园化成灰
安乐窝南侧，为荒废的宗正寺，王拱辰出资将其买下，建立了自己的宅园。宅园中有中堂七间，上起高楼三层，最上一层叫作朝元阁。王拱辰的宅园还住着他的女儿、女婿全家。他的女婿就是《洛阳名园记》的作者李格非，李清照是李格非的女儿。
熙宁十年（公元1077年），邵雍于安乐窝去世。邵雍与司马光、程颢、程颐并称“洛学四子”。洛学，即产生于洛阳的宋代理学，其思想受禅宗影响甚巨，与禅宗主要道场天宫寺密不可分。
元丰八年（公元1085年），宋神宗去世，王拱辰去世，司马光入朝为宰相，尽废新法。司马光执政一年半，即与世长辞。在司马光入朝为相两年前，富弼去世于富郑公园。
宋徽宗即位后，以蔡京为首的“六贼”执政，他们打着变法的旗号，无恶不作，军政、民政皆坏，军心、民心尽失。靖康元年（公元1126年）十月，金军攻破洛阳，烧杀抢掠，富弼、邵雍、王拱辰等人的后裔，逃亡江南。次年四月，金将完颜宗翰将富庶繁华的洛阳城一把火烧毁，天宫寺和无数名园都化为灰烬。
邵雍的儿子邵伯温，曾跟随天宫寺宝月大师学习佛学，有家学心传，又与司马光等西京名士变游，在学问见识上，已达到很高的成就，他是北宋末期的士人精英。到江南后，邵伯温与其子邵博定居在犍为县的翠屏山，宅园仍取名安乐窝。
在翠屏山安乐窝，邵博读李格非《洛阳名园记》后，痛哭流涕，他为该书所写后记云：“洛阳名公卿园林，为天下第一。靖康后，祝融回禄，尽取以去矣！”
名寺名园身后事
金朝大定元年（公元1161年），全真派道士张六来在天宫寺旧址，建立九真观，此观毁于金元之际的战火。元大德元年（公元1297年），翰林院直学士薛友谅在九真观旧址，建伊洛五贤祠，祭祀邵雍、司马光、程颢、程颐、张载。此祠堂毁于元末的战火。
明朝景泰六年（公元1455年），河南府知府虞亭玺在伊洛五贤祠旧址建四贤堂，祭祀邵雍、司马光、程颢、程颐。成化十五年（公元1479年），河南府拨款，对四贤堂进行扩建，历时三年建成占地三十亩的伊洛书院。据河南按察提刑副使胡谧的《伊洛书院记》所载，伊洛书院是由山门、十贤祠、讲道堂、主敬斋等组成的大型建筑群。
明嘉靖三十二年（公元1553年），进士姜宝拜谒十贤祠后，写的《洛阳安乐窝祠记》详细介绍了十贤祠建筑组团的布局，大门为台阁三间，大门内为周南阙里三间。其北为奎聚堂、先天堂各五间，两堂的东西两侧各有厢房六间，东为天根宫，西为月窟宫。再北为安乐窝、皇极阁各三间，两侧各有厢房三间，东为九贤祠，西为启贤祠。
姜宝还记述，伊洛书院周围有祭田十顷，所得收入用于十贤祠的祭祀和维修费用。设守祠门役两名、奉祀生员六名，以管理祠堂。
自明朝初年，邵雍的嫡系后裔迁回洛阳。崇祯五年（公元1632年），崇祯皇帝封邵雍第二十八代孙邵养醇为翰林院世袭五经博士。邵养醇去世，其子邵国璋承袭此职。此后，邵雍的后裔代代承袭此职。最后一任翰林院世袭五经博士，是邵雍第三十八代孙邵天泽。1935年，改世袭五经博士为奉祀官，邵天泽担任此职。
在清朝时，伊洛书院暨十贤祠经过多次重修。道光六年（公元1826年），洛水暴涨，将这个建筑群全部冲毁。这个建筑群的位置很明确，在今邵雍祠西北约250米处，即中国国花园南侧、龙门大道西侧约100米处。建筑群和祭田一带，正是宋代天宫寺和安乐窝旧址。
今邵雍祠，又称安乐窝，位于龙门大道东侧，是道光十九年（公元1839年）由洛阳知县马恕创建的，当时只修建了山门和邵子祠、启贤祠，并从原十贤祠移来了部分石碑，规模很小。民国初年，吴佩孚驻洛，增建了皇极阁和厢房，形成现在的规模。但是，这个邵雍祠与宋代的天宫寺、安乐窝有继承关系，因此历史价值也不可忽视。
现在，邵雍祠被称为理学祖庭之一，理学是融佛学、儒学及道家思想而形成之哲学体系，又被称为洛学。洛学以邵雍、二程、司马光为开山之鼻祖，而三者又不同。邵雍之学为术数之学，二程之学为心性之学，司马光之学为实证之学，其中又融合而贯通，师生相传，学派众多，遂成宋元明清之学术主流。