所谓西山，广义的范围大极了，北京的西北是望不尽的层层峰峦，乃是太行山的余脉。狭义的，人们常说的西山，则指北京西郊离城最近的这一小层小山，也有数不清的小山峰，各有一个美好的名称。香山不过是其中之一，还有万华山、寿安山一带，大约就是雪芹最后落居的一个幽僻的地点。
他这个住处，早不可确指，我们只知道：他的友人称之为山村，秋天则成为“黄叶村”。一条小“巷”——或者竟是指的一条小山径曲曲弯弯，很费力才找到他的小房子，四周围长满了蓬蒿野草，高得像要把房屋掩起来。门前是一片野水，出门一望，就是近在眉睫的碧水青山。环境是美的，可是那小房的破陋，让来访的友人为之叹息难过。雪芹自己也说是“茅椽蓬牖，瓦灶绳床”——屋子是用草木对对付付搭架的，起码的家具也没有，那种贫困的情境，城里的人难以想象。虽然环境清苦，有一段时间的生活倒是颇为平静适意的。
那时候，西郊的寺庙多极了，号称“七百寺”或者还多，雪芹自小与庙有缘，喜欢寺院中的艺术境界，也有高僧奇士，借了佛门而隐遁在寂寞的山林深处。他闲来常常到这种地方去寻找画境诗材与玄谈哲理的禅侣。
这一带有一个地方是他最喜欢的去处：樱桃沟。这只是距离香山不远的一条小峡谷，就是著名的唐代古刹卧佛寺的西侧，然而却是人踪罕到的一处奇境。这地方有一处泉眼，潺潺不绝，土人俗话叫它做“水紧头儿”，即泉水的最初发源处，后来文人则写作“水源头”了。谷的俗称就叫“山沟”，因谷内有数百株樱树，花开时灿若明霞一般美丽，所以就名为“樱桃沟”，谷中成片的竹林和各种古树，地上则布满了无数的奇岩怪石，以致那路径极为难走——竟有“跌死猫”这种有趣而诙谐的俗名。所以肯来玩赏的人极少。入谷以后，浓荫翠覆，百鸟交鸣，真是一种人间的仙境。
这个地方的美，可以引用明末刘侗所著《帝京景物略》卷六（西山，上）《水尽头》条说：观音石阁而西，皆溪，溪皆泉之委；皆石，石皆壁之馀。其南岸：皆竹，竹皆溪周而石倚之。燕（北京地区）故难竹；至此，林林亩亩；竹，丈始枝；笋，又犹箨；竹粉生于节，笋梢出于林，根鞭出于篱，孙大于母（按竹根横行，为鞭，鞭末端又派生小竹，名为孙竹）。
过隆教寺而又西，闻泉声；泉流长而声短焉：下流平也。花者，渠泉而役乎花；竹渠泉而役乎竹：不暇声也。花竹未役，泉矣；石隙乱流，众声澌澌，人踏石过，水珠渐衣，小鱼折折石缝，单间跫音则伏于苴，于沙。杂花水藻，山僧园叟不能名之……。
这一地方的风景，竹林和泉溪乃是两大特色。接着写春花之盛，秋叶（柿叶）之美，明朝诗人的题咏，如黄耳鼎：“鳞鳞柿辉光，实叶丹相属……每泉分一枝，为竹万竿绿。”如第学曾：“柿林影，竹圃声琅轩。”如李元弘：“得水竹光争日好，矜秋柿粉饱霜红。”皆可作为真实写照。
雪芹是喜欢这种山村的幽美之境的，但是贫苦之况，却也是不易忍受的，正如他自己所说“富贵不知乐业，贫穷难耐凄凉”。他对自己原是个“浑身矛盾”的人，非常清楚。他的好友敦家弟兄了解他，说他是“举家食粥酒常赊”，“日望西山餐暮霞”。这前一句用的是唐代大书法家颜真卿（709…785）的典故，他穷得没米，全家已经多日只喝稀粥了——中国南方一般是以米为主食，米够吃时是蒸干饭，只有穷极了才喝“稀的”。后一句是借用道爱炼气功的用语，比喻雪芹常常没有饭吃，只好眼望着西山“吸”那云霞之气——这说得极文雅有趣，实际却是苦得很的景况。
雪芹这时以何为生？开小酒店已经是成为过去的事了，此时他的收入有两个来源：一个卖画，一个是当村塾的老师，教一些村童们念书认字。做塾师通常叫做“教馆”。雪芹在城内做西宾，大约也与此有关，是做先生教书，而不是管案牍的相公。还有传说他在外县教过馆——那么他到山村里，仍然借教馆勉维生活，是极有可能的。村塾的先生待遇极低，民间常常流传着一些名人未“发迹”时做馆师的那种可怜的寒酸境况，人们常拿这题材当启发的材料。
雪芹之友说他是“司业青钱留客醉”，意思是借诗圣杜甫的诗句来比喻雪芹留客人吃饭时，只有借苏司业（苏涣）那样的可怜几个铜钱来待客。这“司业”原是国子监的官名，在此也许就是馆师的借抄了。雪芹画得一笔好画，因此画几张画卖些钱。友人又说他“卖画钱来会酒家”，就是指他没钱时向酒铺赊酒喝，等卖了画，再一起还一笔积下的酒债。
穷困窘迫，一直紧紧跟随着雪芹，困扰他的神思才智。
有一部模仿《红楼梦》的续书，写到了雪芹早先作书时的情景，竟然是他坐在炕上（炕是中国北方居室内砌成的一种土坯床，其下可通煤炭或烧柴的暖气），地下几个“小厮”（年轻的仆役或“助手”之类）围坐，耳听他口讲，手用笔录。
这种“作书”的方式，听起来很离奇，似不合理，但在雪芹说来，有了人请他南酒烧鸭等美食，他兴致来了，就用口讲，像市井“说书”的艺人那样，是完全可能的。所以要用几个人记录，然后整理统一“定稿”——因此现存的抄本《石头记》中时常出现音讹的字，即汉字发音相同而实为另一个字的误写。这种情况如非由于听音记字，就很难解释了。当然，我们并不是说《石头记》全体或大部分是这样写成的，而是有若干部分、片段，确曾是这么记录成文的结果，它与作者本人亲自书写撰作的文字，有些差异的痕迹。
这应该还算是他在“顺境”中的作品，至于他在逆境困境中，那种执笔为文的艰难与坎坷，那就更非今日所能想象。这会造成他书中的残缺、断落、文字风格微显不同、情节偶失平衡照应等细小遗憾。对这些，以往的评者不止一次“质疑”、“摘误”，那正是他们丝毫不了解雪芹的书，是在怎样的境况下写出的，不能体会雪芹写作时一身所承担的沉重的负荷与多层的矛盾，有些地方甚至是在贫病焦愁，饥寒交迫下写出的。
乾隆二十四年（1759）的秋冬之际，雪芹与脂砚的生活中发生了一次前所未有的变化：二人远离了。雪芹有事要往江南去。雪芹既走之后，脂砚独自经营家和书稿的事，倍感任重而力孤。但她以很大的毅力，开始了第四次整抄《石头记》的工作，并且从这次为始，在她的朱色的批语字迹中，出现了年月记录和署名的创例。在这次工作中，她连带也整理她历年写下的批语，有的删省了，有的文字上作了细小的润色，有些旧年的批语，她也在修改后附记了年月与署名。她借着批点书稿的形式，有时与读者讲话，有时与书中人物（她所熟悉的故人们）“叙旧”，有时与作者“交谈”；有时兴致很高，诙谐幽默；但更多的时候是悲感思念，她的许多批语与书稿一样，是“滴泪为墨，研血成字”的。寒闺冬夜孤独寂寞的脂砚，克服着重重的困难，辛苦不倦地为《石头记》尽她的一切心力。可还没有一个画家肯为她画一幅“冬夜批《石头记》真图”：一支红烛，一位中年的八旗装束的妇女，端坐窗前，执笔而沉思，而悲喜交织……窗外的朔风正摇撼着老树的高枝……。
乾隆十四年的冬天，横贯中国大地的扬子江，水从数千里外而来，日日夜夜不息地流向东海。江上帆樯无数，都是来往的舟船，载着流落远行的诗人游子和追名逐利的俗吏卑商。在江北岸的瓜洲古渡头，忽然有人发现了雪芹的身影。
雪芹从五岁上离开江宁，渡江北上，这是他三十年后重来了。面对着长江的逝水，不禁又想起大诗人苏东坡的名句——“大江东去，浪淘尽，千古风流人物！”不错，大江的碧涛，正在淘荡着古今的俊才奇士——包括雪芹自己，也包括着他书中的那些非凡的少女。
不巧，冬来得早，一场风雪，冻封了江，这是不多见的天气，渡船停摆了。雪芹正感无奈何，岸边一家李姓老人见他徘徊愁闷之色，便很热情地邀他到家暂息。老人一家的宽厚慷慨，使雪芹非常感动。叨扰了二三日，相处得越发亲密起来。不久，气暖江南，雪芹要走了，转觉依依不舍。他问老人，有纸笔吗？老人捧出文房四宝，雪芹挽袖提笔在手，只听唰唰微响，不一时，一幅《天官图》展现纸上。老人惊呆了，半响说：“我见先生风骨不凡，定非俗士——果然是位大才！”雪芹说：“没有可以报谢的，我画天官，给老人家赐福吧。”宾主作别，雪芹收拾过江去了。
这幅画，据镇江李氏后人说，保存到很近的年代，可惜目下怎么也找不见了。
此番雪芹渡江何事？因何而来的呢？原来他因友人之荐，为两江总督尹继善礼聘，到江宁做他的西宾幕客。“两江”是指“江南”、“江西”两大省区，是全国重要的财赋之地，总督乃是本区的最高长官，友位甚重。
尹继善初到南京，曹家正好刚已北返；不过他的总督衙院，就与曹家“老宅”相邻，自己又兼着两淮盐政，也是做着和楝亭一样的官。在南京一住，才日益体会到曹家祖孙数辈，历时六七十年之久，在江南一带的深得人心，远非一般俗常仕宦可比，而他家在文学事业方面的成就与影响深远，尤为大出原来的想象之外。尹继善对曹寅，本已入所心慕，至此，宦地相同，官职联属，自己也十分喜爱诗文书史，于是有意无意之间，都在学步楝亭，也作东南半壁的风雅主持。在这种心情之下，尹继善自然留意于访询曹家的现况，子孙的下落。
中进士以前，尹继善曾在怡亲王府做过记室；后来曹钍怯赫挥脞酢罢湛础钡摹Ｒ躺圃缒昃