如此疯疯颠颠的在江湖上混了数年，时日渐久，疯病倒也慢慢痊愈了。点苍渔隐参与大胜关英雄大会之后回山，与几个武林朋友结伴同行，闲谈中听他们说起有这样一个人物，模样似与师弟武三通相像，转辗寻访，终于和他相遇。
武三通听得两个爱子已然长成，大喜之下，便来襄阳探视，到达之时，适逢金轮国师大闹襄阳，郭靖负伤，黄蓉新产。他与朱子柳及郭芙晤面之后，得知两个儿子竟尔阋墙而斗，想起妻子临死时的遗言，伤心无已，急忙追出城来，经过一座破庙时听到庙中有兵刃相交之声，进去一看，正是武敦儒与武修文在持剑相斗。他与二子相别已久，二子长大成人，原已不识，但眼见二人右手使剑，左手各以一阳指指法互点，当即上前喝止。
武氏兄弟重逢父亲，喜极而泣，然一提到郭芙，兄弟俩却谁也不肯退让。武三通不论怒骂斥责，又或温言劝谕，要他二人息了对郭芙的爱念，却始终难以成功。武氏兄弟在父亲面前不敢相互露出敌意，但只要他走开数步，便又争吵起来。当晚两兄弟悄悄约定，半夜里到这荒山中来决一胜败。武三通偷听到了二人言语，悲愤无已，抢先赶到二人约定之处，要阻止二子相斗。他本来不自节制心情，越想越难过，不由得在荒野中放声悲号。
武三通正当心神激荡之际，突见一个少年从山洞中走了出来，登时大生敌意，喝道：“你是谁？怎知我的名字？”杨过听他自承，说道：“武老伯，小侄杨过，从前与敦儒、修文二兄曾同在桃花岛郭大侠府上寄居，对老伯威名一直仰慕得紧。”
武三通点了点头，道：“你在这儿干幺？啊，是了，敦儒与修文要在此处比武，你是作公证人来着。哼哼，你既为他们知交，怎不设法劝阻？反而推波助澜，好瞧瞧热闹，那算得甚幺朋友？”说到后来，竟声色俱厉，将满腔怒火发泄在杨过身上，口中喝骂，脚下踏步上前，举起巨掌，便要教训这大亏友道的小子。
杨过见他虬髯戟张，神威凛凛，心想没来由的何必和他动手，退开两步，陪笑道：“小侄不知二位武兄要来比武，老伯莫错怪了人。”武三通喝道：“还要花言巧语？你若事先不知，何以到了这里？世界这幺大，却偏偏来到这荒山穷谷？”杨过心想此人不可理喻，何况与他在这荒僻之地相遇，确也凑巧，一时不知如何解释。
武三通见他迟疑，料定这小子不是好人，他年轻时情场失意，每见到俊秀的少年便觉厌憎，心念一动：“这小子未必便识得我两个孩儿，鬼鬼祟祟的躲在这儿，多半另有诡计。”
狂怒下更不多想，提起右掌便往杨过肩头拍落。杨过闪身避开，武三通右掌落空，弯过左臂，一记肘锤撞去。杨过见他出招劲力沉厚，不敢怠慢，斜身移步，又避过一招。武三通叫道：“好小子，轻功倒是了得，亮剑动手罢！”
就在此时，洞中婴儿忽然醒来，哭了几声。杨过心念一动：“他与李莫愁有杀妻大仇，只要一照面，非拚个你死我活不可。两人动上手便是绝招杀着，我未必能护得住婴儿。”
笑道：“武老伯，小侄是晚辈，怎敢和你动手？你定要疑心我不是好人，那也无法。这样罢，我让你再发三招。你如打我不死，便请立时离开此地如何？”
武三通大怒，怒道：“小子狂妄，适才我掌底留情，未下杀手，你便敢轻视于我幺？”
右手食指倏地伸出，使的竟然便是“一阳指”。他数十年苦练，功力深厚。杨过只见他食指晃动，来势虽缓，自己上半身正面大穴却已全在他一指笼罩之下，竟不知他要点的是那一处穴道，正因不知他点向何处，九处大穴皆有中指之虞，当即伸出中指往他食指上一弹，使的正是黄药师所授“弹指神通”功夫。
“弹指神通”与“一阳指”齐名数十年，原各擅胜场，但杨过功力既浅，所学为时短暂，学后又未尽心钻研苦练，那及得上武三通数十年的专心一致？两指相触，杨过只觉右臂一震，全身发热，腾腾腾退出五六步，才勉强拿住椿子，不致摔倒。
武三通“咦”的一声，道：“小子果然在桃花岛住过。”一来碍着黄药师的面子，二来见他小小年纪，居然挡住了自己生平绝技，心起爱才之意，喝道：“第二指又来了，挡不住便不用挡，莫要震坏内脏，我不伤你性命便是。”说着抢上数步，又是一指点出，这次却指向杨过小腹。
这一指所盖罩的要穴更广，肚腹间冲脉十二大穴，自幽门、通谷，下至中注、四满，直抵横骨、会阴，尽处于这一指威力之下。杨过见来势甚疾，如再以“弹指神通”功夫抵挡，只怕不但手指断折，还得如他所云内脏也得震伤，急使一招“琴心暗通”，嗤的一声轻响，君子剑出鞘，护在肚腹之前二寸。武三通手指将及剑刃，急忙缩回，跟着第三指又出。这一指迅如闪电，直指杨过眉心，料想他决计不及抽剑回护。杨过见来指奇速，绝难化解，危急中使出小龙女所授“天罗地网势”，飕的一声，倏地矮身从武三通胯下钻过，快速无伦。这一招虽然迅捷，毕竟姿式狼狈，抑且大失身分，好在他是小辈，在长辈胯下钻下也没甚幺。
武三通“啊哟”一声也来不及呼出，只觉对方手掌在自己左肩轻轻一拍，跟着听得杨过笑道：“武老伯，你第三指好厉害。”他一怔之下，垂手退开，惨然道：“嘿嘿，当真英雄出少年，老头儿不中用啦。”
杨过忙还剑入鞘，躬身道：“小侄这一招避得太也难看，倘若当真比武，小侄已然输了。”
武三通心中略感舒畅，叹道：“那也不然，你刚才如在我背后一剑，我这条老命便不在了。你这招当真机伶，似我这种老粗，原斗不过聪明伶俐的娃儿们……”他话未说完，忽听远处足步声响，有两人并肩而来。杨过一拉武三通的袖子，隐身在一片树丛之后。
只听脚步声渐近，来的果然是武敦儒、武修文两兄弟。
武修文停住脚步，四下一望，道：“大哥，此处地势空旷，便在这儿罢。”武敦儒道：“好！”
他不喜多言，唰的一声，抽出了长剑。武修文却不抽剑，说道：“大哥，今日相斗，我若不敌，你便不杀我，做兄弟的也不能再活在世上。那手报母仇、奉养老父、爱护芙妹这三件大事，大哥你便得一肩儿挑了。”武三通听到此处，心中一酸，落下了两滴眼泪。
武敦儒道：“彼此心照，何必多言？你如胜我，也是一样。”说着举剑立个门户。武修文仍不拔剑，走上几步，说道：“大哥，你我自幼丧母，老父远离，哥儿俩相依为命，从未争吵半句，今日到这地步，大哥你不怪兄弟罢？”武敦儒说道：“兄弟，这是天数使然，你我都做不了主。”武修文道：“不论谁死谁活，终身决不能泄漏半点风声，以免爹爹和芙妹难过。”武敦儒点点头。握住了武修文的左手。兄弟俩黯然相对，良久无语。
武三通见兄弟二人言语间友爱深笃，心下大慰，正要跃将出去，喝斥决不可做这胡涂蠢事，忽听两兄弟同时叫道：“好，来罢！”同时后跃。武修文一伸手，长剑亮出，唰唰唰连刺三剑，星光下白刃如飞，出手迅捷异常。武敦儒一一架开，第三招回挡反挑，跟着还了两剑，每一招都刺向武修文的要害。武三通心中突的一下大跳，却见武修文闪身斜跃，轻轻易易的避开。
荒谷之中，只听得双剑撞击，连绵不绝，两兄弟竟性命相扑，出手毫不容情，只将武三通瞧得又担心，又难过，两个都是他爱若性命的亲儿，自幼来便无半点偏袒，见两兄弟出剑招招狠辣，纵然对付强仇亦不过如是，斗将下去，二人中必有一伤。此时他若现身喝止，二人自必立时罢手。但今日不斗，明日仍将拚个你死我活，总不能时时刻刻跟在二子身边，寸步不离的防范。他越瞧越痛心，想起自己身世之惨，不由得泪如雨下。
杨过幼时与二武兄弟有隙，其后重逢，相互间仍颇存芥蒂。他生性偏激，度量殊非宽宏，见二武相斗，初时颇存辛灾乐祸之念，但见武三通哭得伤心，想起自己命不久长，善念登起：“我一生没做过甚幺于人有益之事，死了以后，姑姑自然伤心，但此外念着我的，也不过是程英、陆无双、公孙绿萼等寥寥几个红颜知己而已。今日何不做椿好事，教这位老伯终身记着我的好处？”心念既决，将嘴唇凑到武三通耳边，低声说道：“武老伯，小侄已有一计，可令两位令郎罢斗。”
武三通心中一震，回过头来，脸上老泪纵横，眼中满是感激之色，但兀自将信将疑，实不知他有何妙法能解开这死结。杨过低声道：“不过要得罪两位令郎，老伯可莫见怪。”
武三通紧紧抓住他双手，心意激动，说不出话来。他年轻时不知情爱滋味，娶妻是奉了父母之命，其后为情孽牵缠，难以排遣，自丧妻之后，感念妻子舍身救命的深恩，对何沅君的痴情已渐淡漠，老来爱子弥笃，只要两个儿子平安和睦，纵然送了自己性命，也所甘愿。此刻于绝境之中突然听到杨过这几句话，真如忽逢救苦救难的菩萨一般，大喜之下，感激无比。
杨过见了他的神色，心中不禁一酸：“我爹爹倘若尚在人世，亦必如此爱我。”低声道：“你千万不可给他们发觉，否则我的计策不灵。”
这时武氏兄弟越打越激烈，使的都是越女剑法。这是当年江南七怪中韩小莹一脉所传，两人自幼至大，也不知已一同练过几千百次，但这次性命相搏，却不能有半招差错，与平时拆招大不相同。武修文矫捷轻灵，纵前跃后，不住的找隙进击。武敦儒严守门户，偶然还刺一剑，却招式狠辣，劲力沉雄。
杨过瞧了一阵，心想：“郭伯伯武功之强，冠绝当时，但他传授徒儿似乎未得其法，武氏兄弟又资资平平，看来郭伯伯武功的一成也