杨广在江都设置的四道场与杨坚在长安设立的大兴善寺、玄都观交相晖映，成为全国性的宗教思想控制的中心。杨广曾写诗夸耀自己在江都设立的四道场，对自己能延揽到众多高僧颇为得意。
然而，也有一些高僧坚决拒绝杨广的延揽，不愿前往江都四道场“任职”。如《续高僧传》卷一《彭城崇圣道场靖嵩传》记曰：“隋炀昔镇扬越，立四道场，教旨载驰，嵩终谢遣。及登紫极，又有敕征，固辞乃止。门人问其故，答曰：‘王城有限，动止严难，虽内道场，不如物外’”。苏州虎丘山名僧智琰因“道盛名高”，被杨广召进慧日道场，后亦“以辞疾，得返旧山”。江南第一高僧的智觊虽被杨广延屈至江都。但智觊却也坚决拒绝进入慧日道场。
智觊来江都时，“慧日己明”，杨广意让智觊为慧日主持，利用智觊的德望扩大其对江南佛教界的影响。智觊坚辞不受，反倒当面提出要回荆湘，“于当阳县玉泉山”建立自己的“精舍”。不愿意加人有大隋官方背景的慧日道场，要远离江都到荆州建立自己自由传教的天地，这是对杨广盛情邀请明确表示不予合作。智觊在江都城外住了几个月，但始终未入慧日道场。其间杨广仍百般延请，多次派柳顾言往智居处奉送礼物，再作挽留。杨广称：“弟子一曰恭亲，犹以陋薄，不称宿心。”开皇十二年（592年）二月十八日，杨广致书一封请留，但智觊则反而提出要先回庐山东林寺，并转而请杨广为“东林峰顶两寺檀越（施主）”。杨广无奈，只得再派柳顾言转达口信：“弟子意不欲相去辽远，脱能旋回，不敢留停，镇下近山隋乐住止”。但智觊仍执意离去。三月一日，杨广又修《重留书》，欲留智觊过完夏天后再“发遣，冀不半途飘露”，“请就摄山安居度夏”，但“师不许”，严辞谢绝。杨广对这位固执的长者不敢“违忤”，“谨尊宿愿”，“即命所司发遣”，最后“具装发遣”送智觊觊上庐山。
智觊入江都仅四个月就远走荆湘，对杨广表现出的不合作甚至对立，杨广都表现出了极大的耐心与智慧。
然而智觊虽极力疏远杨广，却也没有忘记利用王者之力来兴办佛事。他离江都时即给杨广写信，称“近年寇贼交横，寺塔烧烬，仰乘大力建立将危。遂使佛法安全，道俗蒙赖，收拾经像处处流通，诵德盈衢恩满路”，希望杨广营造治葺庙宇。杨广立即回信表示同意，称“废寺同于火宅，持钵略成空返，僧从无依，实可伤叹”。智觊登上庐山，又述东林寺“羡玩忘劳”，然山下伽蓝偏近驿道，行人归去颇成混杂，请求杨广下令寺边“永禁公私停泊”。杨广知道后立即交代有关方面“勒彼州令去公私使命，不得停止”。就这样，师徒二人各有图谋，互相利用，书信往来不绝，表面看来似乎已成莫逆之交。
杨广也一刻没有放松对智觊大师的拉拢。开皇十二年（592年）三月二十一日，杨广连修书三封，存问大师“道体如何”。七月一日，杨广遣主簿王灌往庐山参省问候，并送盐米，希望智觊回心转意。但智觊却于八月八日西去南岳衡山，“营建功德”参拜恩师慧思之墓。杨广得知智觊远云，急忙于十月十日参书一封，云：“弟子渡江还，去月初移新住，多有造次，未善安立，来旨勖以法事，实用惭悚，始于所居外援建立慧日道场，安置照禅师以下，江陵论法师亦已远至于内援。建立法云道场，安置潭州觉禅师已下。”再次表示要请智到江都道场主持佛法，并催促说：“已别遣使迎延，愿预整归计。”十一月十五日，杨广再遣亲信伏达往潭州奉迎。但智觊未加理会，于十二月回到阔别二十多年的家乡荆州。一时“泮宫道俗延颈侯望，扶老携幼相趋戒场，垂里戴白云屯讲座，听众五千余人，旋乡答地荆襄未闻”。智觊即于当阳县玉泉山建立“精舍”，并重修十住寺，打算在此长住久居。
智觊大师我行我素，傲慢地拒绝晋王杨广的“累书延屈”，当然使晋王大丢面子，但杨广也并未激怒，表现出极高的政治素养和极大的耐心。智觊远离江都而入荆湘意在摆脱晋王的控制，但终不能摆脱大隋政权的监视，远离晋王却也使智觊难以得到晋王的政治庇护。时杨坚在旧陈荆州等地设置的总管府，虽说总归晋王节制，但实际上是直接听命于朝廷，“总管刺史加使持节”，拥有很大的权力。如令狐熙为桂州总管十七州诸军事，即有便宜从事之权，可以朝廷名义任命刺史以下官吏，杨广号令所达地区实际上仅限于扬越一隅。
智觊进入荆湘弘法，果然遇到了麻烦。智觊临终时给杨广的遗书中透露了自己在荆州集众说法时，遭到地方当局粗bào_gàn涉的情况：
于荆州法集，听众一千余僧，学禅三百，州司惶虚，谓乖国式，岂可集众，用恼官人。胡朝同云合，暮如雨散，设有善萌，不获增长，此乃世调无堪，不能谐和所得。
法会竟被地方官勒令解散，足见其事之严重。时江南平叛不到两年，隋对旧陈遗民心存警戒，曾多次下令收缴武器，直到开皇十八年（598年），还下令禁止“私造大船，因相聚结，致有侵害，其江南诸州，人间有船长三丈以上，悉括入关”。智觊“因相聚结”了一千余僧，外加学僧三百，而未经官方同意，自然“有乖国式”。特别是智觊先前与南陈君臣关系密切而不附隋