倪仁视为珍宝，与未婚妻子各佩一枝。
待倪仁二十五岁光景，家父与他娶妻成家。李氏生得美貌，倪仁品学兼优，人们皆夸两口郎才女貌，甚是般配。这对夫妻也知道珍惜感情，生活得和和美美，白天倪仁下地耕种，李氏在家缝补做饭，等丈夫归来。晚上倪仁秉烛夜读，妻子陪伴一旁，捶背研墨，两人感情日密一日，渐渐地李氏肚子一天比一天大了起来，吃得愈来愈多，呼吸越来越粗。又过了两个月，腹已有胎动，合家人甚是欢喜，估计离孩儿出世不远了，家中不久能又添新丁。
这天，收到泰州亲戚来信邀请夫妇前往居住，李氏感到行动不便，打算不去，可倪仁坚持要妻子陪伴，为了讨丈夫欢心，李氏勉强同意前往，他们觉得水路平稳，免得李氏呕吐腹痛。在码头租了船只，这船户有两个主人，一名雇工，主人分别叫陶宗、贺豹，帮闲雇工名叫杨芳。天下总是好人多，但也有不法之徒以从事生意为名谋人钱财。这陶宗贺豹就是做水面上生意的，凡是乘船客人有行李辎重露在他眼里，多数遭他们暗算，很少有逃过去的。
如今倪仁雇了他们的船，虽无沉重行李，但贺豹见李氏生的美貌，乳丰腰圆，没看出是有身孕，以为李氏是有福之人，这个光棍觉得压上去，似乎浮在海绵之上暄乎暄乎的，美梦使他不顾别人幸福，要拆散这对恩爱夫妻。
淫心突起的贺豹暗暗地与陶宗商量，意欲劫掠这宗买卖，他别的财物一概不要，全给陶宗，单要李氏作个妻房，二人计议停当，又悄悄地通知了杨芳，杨芳因是雇工，不敢多言。
一天，船行到了扬子江，有一幽僻之处，乘他们夫妇不备，二贼子将倪仁抛向水中，这倪仁是旱鸭子，不习水性，扬子江水深流急，不一会倪仁力气用尽，喝了几口水便沉了下去。陶宗收了行李，贺豹便来逼勒李氏。李氏哭诉道：“我怀孕已有九个多月，分娩日期已经不远，即使成亲，也得待孩子出生以后再说。”
那贺豹本来不依李氏，伸手把她抱住，一双大手在她身上乱摸。李氏又哭又闹，杨芳于心不忍，在一旁劝贺豹行个方便，他老老实实地言讲：“她丈夫已死，难道还怕她飞上天不成？”
贺豹听了也觉无奈，李氏肚子便便，干什么都不方便，只能等等再说，暂时作罢。
杨芳是个心地善良，同情别人的汉子，他见此情景，心里暗想：“他们作恶，将来必有事发的那一天，难免把我拉进去陪着蹲监。再者看这妇人哭得可怜，我何不想想办法呢？”想罢，他便沽酒买肉，庆贺他们一个得妻，一个发财。二人见他殷勤，一齐说道：“何若要叫你费心呢？你以后真要入伙，我等按三七与你股份，你说好吗？”
杨芳听了心里暗想：“似你等这样行为，慢说三七股份，就是全给我杨芳，我也是不稀罕的。”他虽这样想，却故意答道：“如若二位肯提携于我，那当然好。”说罢便殷勤劝酒。不大一会儿，就把二人灌得酪配大醉，横卧在船头之上。杨芳见机会到了，便悄悄地告诉了李氏，让她在此上岸，一直往东走，过了树林，有个白衣庵，他姑母在这庙出家，那里可以安身。
此时天已五鼓，李氏上岸，不顾高低，拼命往前奔逃，忽然她感觉一阵肚痛，心里暗说：“不好了！我是临月身体，若要分娩，可怎么好？”
正思索时，肚中痛得一阵强如一阵，只得勉强奔到树林，安身于树荫下。不多时，就分娩了，喜得男儿，连忙脱下内衫，将孩儿包好，胸前别了那半枝莲花，不敢留恋，以免悲伤上来，气力全无，只得将小儿放在树木之下。她惧怕那贼人追来受辱，匆忙往东奔逃，上庙中去了。
船工杨芳慈心大发擅自放了李氏，心里十分畅快，一歪身也就睡着了。他刚刚睡了一会儿，就觉得仿佛有人在他耳边对他说：“你还不快走，等待何时？”
杨芳从梦中醒来，看得四下无人，但见残月西斜，疏星几点，自己暗想：“刚才明明有人呼唤，为何醒来竟无一人呢？”其实，他虽做了放人之事，但仍惧怕陶宗、贺豹二人，神经紧张到极点，自会急中生智，逢凶化吉，他再看陶、贺二人酣睡如雷，又转而想道：“不好！他二人若是醒来，不见了美人儿，难道就罢了不成？不是埋怨于我，就是四下搜寻。那时将妇人访查出来，反为不美。有了，不如我给它来个溜之乎，等到他二人醒来，必说我拐了妇人远走高飞，也免得他等搜查。”杨芳主意已定，东西一概不动，只身上岸，一直奔白衣庵而来。
到了庵前，天已亮了，上前扣门，出来了个老尼，隔门问道：“施主是哪一位？”
杨芳认出是自己姑母，就悄声回答：“姑母请开门，是侄儿杨芳。”
老尼开了山门，带他来到客堂，没等双方坐下，杨芳就着急地问：“姑母，可有一个妇人投在庵中吗？”
老尼问：“你是什么意思？”
杨芳便将灌醉二贼，私放李氏的话，说了一遍。老尼合掌念一声“阿弥陀佛”，道：“救人一命，胜造七级浮屠！惜乎你为人不能为彻。说来你也没有什么过错，只是她有一点血脉失于路上，恐将来断绝了丈夫祖上的香火。”
杨芳追问情由，老尼便道：“那妇人已投在庵中，她言讲在树林内分娩一子，若被人捡去，尚有生路，倘若遭害，便断了丈夫香火，深为痛惜。是我劝慰再三，应许一会儿陪她找寻，她才停止了悲啼，现在后面小院内休息呢。”
杨芳听了，对姑母言讲：“既然如此，我就替他找去。”
老尼嘱咐道：“你要去寻找，她的孩子有个标记，胸前有枝白色玉莲花，有此物者就是她的儿子。”
杨芳谨慎地记在心里，离开了白衣庵，到了树林，看了一番，并无踪迹；暗暗访查了三天，才得到了实际音信。
离白衣庵五里之遥，有一个倪家庄。庄中有个倪太公，因五更起来去岭上赶集，骑着毛驴路过树林，不成想那毛驴就不走了。倪太公感到诧异，忽听小儿啼哭，连忙下驴一看，见有个小儿被用衣物裹好放在树木之下，衣服上别有一枝白色玉莲花。老汉思索明白，万物皆有灵性，新生婴儿未受人的教诲，其哭声可以与动物沟通，我那驴儿明白小儿哭声中有求救之意，就停下来让我救他。
倪太公家道殷实，有良田几十亩，鸡鸭牛羊满院，就是膝下无儿无女，盼星星盼月亮，半生已过，还是未得一子。今天看了这位小公子，好生欢喜，连忙打衣襟将小孩儿揣好，也顾不得了赶集，连忙乘驴转头回家中。妻子梁氏想尽千方百计不能怀上孩子，怀里空着心里麻烦，见同龄的女人扶养大的孩子都该上学读书了，觉得自己低人一等。
梁氏见了丈夫出门不大功夫又回来，迎上去问他何事。倪太公笑哈哈地把怀中的孩儿抱出来递给梁氏，并讲了拾到小娃娃经过。梁氏打开包儿一看还是个男孩，这回倪家有后继人了，夫妻二人欢喜非常，就起名叫倪继祖。他们哪里知道这小儿的本性也姓倪呢？这也是天缘凑巧，姓倪的根芽就被姓倪的捡去。
俗言语：“若要人不知，除非己莫为。”没有不透风的墙，那日倪太公得了儿子，家中天天传出“哇哇哇”的哭声，四邻八家早已有人知道，贺喜的不断。又有推荐乳母的，倪太公家道殷实，不愿让干儿子受委屈，就给他请了乳母。大家今日你来，明日我往。都要给倪太公庆贺。太公难以推辞，只得备了酒席请乡党父老。这些乡党父老也备了薄礼前来作贺。
正在应酬之际，只见又是两个乡亲领来一人，约有三旬年纪，倪太公却不认识，问道：“这位先生是谁？”
二乡老回答道：“此人是我们素来熟悉的，因他无处安身，闻得太公得了小相公，他情愿与太公作个仆人，就是小相公大了，他也好好照看，他为人最是朴实忠厚的。老乡亲看我二人份上将他留下吧。”
倪太公道：“收他一人所费无几，何况又有二位老乡美意，留下就是了。”
二乡老道：“还是老乡亲爽快。你还不过来致谢太公，太公呀您就给他起个名儿吧！”
倪大公说：“仆人总要诚于主人，就叫他倪忠吧！”
原来此人就是杨芳，因同她姑母商量，要照顾此子，故要投到倪宅；正好认识倪家庄上二位乡老，就托他们趁着贺喜，顺便推荐。杨芳听见倪公不但留下，而且起名倪忠，便向上面叩头：“小人倪忠与太公爷叩头道喜。”
倪太公甚是欢喜。倪忠便殷勤张罗家务，不用吩咐，这样倪太公就省了好些心。从此倪忠就在倪太公庄上，更加小心留神。倪太公见他忠心朴实，各种事都可托付于他。并且倪忠也没有不尽心费力去做的，这样倪太公得了个好帮手。
一天，倪忠对太公说：“现如今小官人已有七岁多了，天资聪明，何不教他读书呢？”
太公道：“我正有此意。这里的东村有个老学究，学问颇好，你就选定日期，亲自送他去入学吧！”于是定了先生，倪继祖入学读书，每日都是由倪忠护接护送。倪忠心里边也挂念李氏，时常到庵中看望，只是每次都瞒过倪继祖。
刚念了有二、三年光景，老学究便转荐了一个儒流秀士，是济南人士，姓程名建才。老学究对太公说：“令郎乃国家大器，非是老汉可以造就的。若是跟从我的朋友程建才读书，将来必有成就。”
倪太公听了有些迟疑，倒是多亏倪忠撺掇，“小官人颇能读书，既承老先生一番美意，荐了这位先生，何不叫小官人跟着学学呢？”太公听了，只得应允，便将程先生请来训诲继祖。继祖聪明绝顶，过目不忘，把个先生乐得了不得。
光阴茬再，日月如梭，转眼间继祖已经十六岁，程先生对太公说：“叫倪继祖去参加科考吧！”太公还是乡下人心理，不敢望子成龙，倒是