早饭后黄药师去找杨过，问道：“你可知江湖上叫我什么名号？”杨过道：“前辈是桃花岛主？”黄药师道：“还有呢？”杨过觉得“东邪”二字不便出口，但转念一想，他外号中既然有个“邪”字，脾气自和常人大不相同，于是大着胆子道：“你是东邪！”黄药师哈哈大笑，说道：“不错。我听说你武功不坏，心肠也热，行事却也邪得可以。又听说你想娶你师父为妻，是不是？”杨过道：“正是，老前辈，人人都不许我，但我宁可死了，也要娶她。”
黄药师听他这几句话说得斩钉截铁，怔怔的望了他一阵，突然抬起头来，仰天大笑，只震得屋顶的茅草簌簌乱动。杨过怒道：“这有什么可笑？我道你号称东邪，定有了不起的高见，岂知也与世俗之人一般无异。”黄药师大声道：“好，好，好！”说了几个“好”字。转身出屋。
杨过见黄药师离去，怔怔的坐着，心想，一定把他得罪了，殊不知黄药师一生纵横天下，对当时礼教世俗之见最是憎恨，行事说话，无不离经叛道，因此上得了个“邪”字的名号。他落落寡合，生平实无知己，虽以女儿女婿之亲，也非真正知心，郭靖端凝厚重，尤非意下所喜。不料到得晚年，居然遇到刘韦枫和杨过，只觉二人都异于常人。
他本欲考校二人后，收为门下之意。刘韦枫敢做敢当，直言不讳的性格堪称豪气，虽不能确定其人品，但猜想不差，可竟是老叫化的徒弟。日前英雄大会中杨过诸般作为，已然传入他耳中，黄蓉也约略说了这少年的行事为人，此刻与他寥寥数语，亦是大合心意。
这天傍晚，黄药师又回到室中，劝杨过反出古墓派师门，转拜自己为师，言道先不认小龙女为师，再娶她为妻，岂非名正言顺？杨过却道，偏要她既做师父，又做妻子。
黄药师鼓掌称赞想法高己一筹。叹道：“我本想要你传我衣钵，要好教世人得知，黄老邪之后又有个杨小邪。你不肯做我弟子，那是没法儿的了。”
杨过道：“也非定须师徒，方能传扬你的邪名。你若不嫌我年纪幼小，武艺浅薄，咱俩大可交个朋友，要不然就结拜为兄弟。”黄药师怒道：“你这小小娃儿，胆子倒不小。我又不是老顽童周伯通，怎能跟你没上没下？”杨过道：“老顽童周伯通是谁？”黄药师当下将周伯通的为人简略说了些，又说到他与郭靖如何结为金兰兄弟。
二人谈谈说说，大是邪气相投，自此每日侃天说地，相见恨晚。数日过后，杨过与黄药师二人竟如胶如漆，难舍难分。黄药师本要带了傻姑南下，此时却一句不提动身之事。程英与陆无双见他一老一少，白日樽前共饮，晚间剪灯夜话，高谈阔论，滔滔不绝，忍不住暗暗好笑，都觉老的全无尊长身份，少的却又太过肆无忌惮。本来以见识学问而论，杨过还没黄药师的一点儿零头，只是黄药师说到甚么，他总是打从心窍儿出来的赞成，偶尔加上片言只字，却又往往恰到好处，不由得黄药师不引他为生平小知己了，有时还点拨杨过武功，让他获益匪浅。
这些时日之中，杨过除了陪黄药师说话之外，常自想到傻姑认错自己那晚所说的话，当时她说：“你不是我害死的，你去找别人罢！”料想她必知自己父亲是给谁害死，旁人隐瞒不说，傻姑疯疯癫癫，或可从她口中探明真相。
这日午后，杨过果然用玩捉迷藏的游戏想让傻姑说出杀父仇人，即将还原真相时，却被黄药师撞见而中止。傻姑道：“好兄弟在跟我捉迷藏呢。是他叫我玩的，不是我叫他玩的。你可别骂我。”黄药师微微一笑，向杨过望了一眼，神色之间颇含深意。
杨过心中怦然而动，见他似已瞧破了自己的心事。岂知对方不光窥破他的意图，还想着此事的另外一节。杨过待要说几句话掩饰，忽听树林外脚步声响，程英携着陆无双的手奔来，说道，李莫愁在西面山后并未远走。
五人已转到山后，只见一株大树旁有间小小茅舍，却已破旧不堪，柴扉紧闭，门上钉着一张白纸，赫然写着四行十六个大字：“桃花岛主，弟子众多，以五敌一，贻笑江湖！”
黄药师哈哈一笑，随手从地下拾起两粒石子，放在拇指与中指间弹出，嗤嗤声中，两粒石子急飞而前，啪的一响，十余步外的两扇板门竟被两粒小小石子撞开。杨过在桃花岛上之时，曾听郭芙说起外祖父这手弹指神通的本领，今日亲见，尤胜闻名，不由得佩服无已。
板门开处，只见李莫愁端坐蒲团，手捉拂尘，低眉闭目，正自打坐，神光内敛，妙相庄严，俨然是个有道之士。她果然料到黄药师不会再动她，有恃无恐。
陆无双想起父母之仇，这几年来委屈忍辱的苦处，霍地拔出长剑，叫道：“表姊，傻蛋，不用岛主出手，咱三个跟她拚了。”傻姑摩拳擦掌，说道：“还有我呢！”李莫愁睁开眼来，在五人脸上一扫，脸有鄙夷之色，随即又闭上眼睛，竟似丝毫没将身前强敌放在心上。程英眼望师父，听他示下。
黄药师叹道：“黄老邪果然徒弟众多，若是我陈梅曲陆四大弟子有一人在此，焉能让她说嘴？”说着将手一挥，道：“回去罢！”四人不明他的心意，跟着他回到茅舍，只见他郁
郁不乐，晚饭也不吃，竟自睡了。
刘韦枫预言的两件事竟然精准，黄药师由衷欣喜，心道此子竟有未卜先知之能，足见其说三女之事非虚，如此，便不是品行拙劣，反而是品端德馨，武功又高，程英托付于他大可放心，这件事算结了。但李莫愁的“十六字”让他如鲠在喉，悔恨当年自毁贤徒，落得个后继无人让人奚落的结果，程英年幼却还不能挑大梁……
杨过睡在他卧榻之旁，回想日间与傻姑的一番说话，又琢磨李莫愁的神情，心想：“她笑我们以五敌一，眼下以我一人之力，也未必敌她不过，不如我悄悄去跟她恶斗一场，一来雪她辱我姑姑之耻，二来也好教岛主出了这口气。”心意已决，当下轻轻穿好衣服。他虽任性，行事却颇谨慎，知道李莫愁实是强敌，稍一不慎，就会将性命送在她的手里，于是盘膝坐在榻上练气调息，要养足精神，再去决一死战。
坐了约莫半个更次，突然间眼前似见一片光明，四肢百骸，处处是气，口中不自禁发出一片呼声，这声音犹如龙吟大泽，虎啸深谷，远远传送出去。黄药师当他起身穿衣，早已知觉，听到他所发奇声，不料他内功竟然进境至斯，不由得惊喜交集。
此时杨过中气充沛，难以抑制，作啸声闻数里。程英、陆无双固然甚是讶异，连山后李莫愁听到也是暗自惊骇，但她料想定是黄药师吞吐罡气，反正他不会出手，却也不用惧怕。哪料到杨过既受寒玉床之益，又学得玉女心经与九阴真经的秘要，内功积蓄已厚，日前与黄药师全力过招，受到他那股深厚无比的内力激发，不由自主的纵声长啸。这片啸声约莫持续了一顿饭时分，方渐渐沉寂。
黄药师心想：“我自负不世奇才，却也要到三十岁后方能达到这步田地。这少年竟比我早了十年以上，不知他曾有何等异遇？还有他那义弟，境界更是超越常人，真是自古英雄出少年。”
待杨过吐气站起，黄药师和他谈论李莫愁的看家本领，要破并不难。他心中因“以五敌一”之事郁闷难遣，见杨过功力大有进境，便教了他“弹指神通”功夫，可用以克制五毒神掌，再教他一路自玉箫中化出来的剑法，可以破她拂尘。说以他的基础三年可具有杀李莫愁的实力，代自己雪十六字之辱，在对敌李莫愁时二人是师徒关系，其余仍是朋友。
此后黄药师便趁夜告辞，走前放言，将来若得知有人阻杨过的婚事，便在万里之外，亦必赶到相助。
天亮后，杨过想探知李莫愁动向，便独自到山后她所居的茅舍去窥察端倪，却见地下一摊焦土，茅舍已化成灰烬，原来李莫愁放火烧屋，竟已走了。心道，她终究还是忌惮黄岛主神威。
大敌既去，杨过又待了一天便想告辞，怎知次日发现门板上印着四个殷红的血手印，显是李莫愁昨晚曾来查探，得悉黄药师已去，便宣示要杀他四人。
杨过和程陆三人说了一阵，也无什么妙策，杨过道：“我们两傻合璧，正面跟她对战，你表姊妹左右夹攻。咱们去寻傻姑来，先行演习一番。”
呼叫傻姑时却无应声，竟已不知去向，三人在山间一堆乱石中见傻姑躺在地下，已是气若游丝，大惊之下，解开她衣服察看，但见背心上隐隐一个血色掌印，果然是中了李莫愁的五毒神掌。原来已被李莫愁偷袭。三人将傻姑救治一番后，她躺在榻上，突然大声叫道：“剪断，恶女人的扫帚！剪断扫帚！”她不会说拂尘，却说是“扫帚”。
杨过受到启发，以丝线设想拂尘的来势，持剪刀追击，创拟招数。程英与陆无双看了一会，已明其意，都是喜动颜色。三人决定打制一把大剪刀，专克李莫愁的拂尘，程英知向北七八里地有家打铁铺子。但四人不可分离，怕李莫愁忽施毒手。于是在马背上垫了被褥，扶傻姑横卧，四人同去铁匠铺。