没想到的是，巨人大厦的地基是在地质断层上，盖16层大楼没问题，盖70层大楼就要挖几十米的大坑做地基，仅地基就花光1亿元资金，共需投入资金12亿元。当时的巨人集团刚刚在中关村推出巨人电脑，因非法预装微软公司软件，被微软公司等三家外企告到北京市中级法院，被查封一百多台电脑，巨人集团损失惨重。史玉柱四面楚歌，面临资金压力。

1997年年初，因资金断裂，巨人大厦只建到地面三层就动不了工了。史玉柱被迫离开珠海。

现在，再回忆起当年败走珠海的事情，他说：“我是悄悄离开珠海的。当时坐仅剩的一辆奔驰离开，车到江苏，连买汽油的钱都没了。”

早在巨人大厦动工之前，泰山会的前辈们已经对史玉柱提醒过几次。大家觉得巨人发展得太迅猛，没有遵循市场规律。但当时的史玉柱三十多岁，年轻气盛，还很浮躁。

华贻芳还曾写了一首措辞严厉的诗送给当时意气风发的史玉柱：“不顾血本，渴求虚荣；恶性膨胀，人财两空；大事不精，小事不细；如此寨主，岂能成功。”史玉柱后来把这首诗挂到了办公室里。事发后，华贻芳“到处找关系，想办法”帮助史玉柱。

1996年8月28日，第五届泰山会在山东泰山召开，信远公司董事长林荣强做东。这次会上，史玉柱主动提出把巨人的案例拿出来讨论，大家帮助他分析巨人集团的经营方式、资本运作上的问题。指出巨人集团在经营方式上用毛主席的“大兵团作战”、“人海战术”等办法，在理论上可以，实际上是行不通的。

国家科委原副主任吴明瑜清晰地记得，“当年史玉柱要在珠海盖楼，协会成员是不赞成的。此后，真的半途而废，巨人集团受到很大的打击。大家都想着怎么样帮助他。”

长城企业战略发展研究所一位不愿透露姓名的资深人士表示，“巨人集团倒塌之时，段永基帮了史玉柱一把，后来还支持史玉柱从脑白金重振雄风，并且获得新生。”

2004年1月，四通控股更是花12亿元买下脑白金，并给了史玉柱20%的四通控股的股权。段永基和史玉柱是在1993年认识的，当年泰山会刚刚成立，两人同为会员。史玉柱曾说：“在困难的时候，他（段永基）给我打气，在稍微好转的时候，他叫我要清醒，一年多以前，我们情况开始有所好转，我到他办公室去，他说：你注意，你又要犯错误了。现在，一旦有一个好的突破，有一个好的业绩的时候，就会想起这句话来。所以现在我每次取得成绩的时候，情绪并不高涨。”

柳传志也跟史玉柱单独谈过。1994年11月12日，第三届泰山会在杭州举行，联想的柳传志首次参加泰山会。这也是史玉柱和柳传志首次见面。

柳传志曾说：“史玉柱在他很强盛的时候，就是盖巨人大厦的时候，募集了很多钱，没盖到他的预定顶数，也没垮的时候，他很得意的时候，那个时候我们就认识，而且在一个俱乐部里是朋友，那时候我对他是不满意的。当时他说话的口气非常之大，而在当时我就看出这里边有很大的问题。那时候我基本上不怎么理他，也不太跟他说话，因为我们有一个叫做泰山研究院的这么一个组织，大概有十几个人，大家都认识，很多人关系都不错，我当时主要是觉得呢，史玉柱真的要是向自己的这个目标去做的话，他有很多方面的问题都没有考虑清楚。”

柳传志批评史玉柱，“‘我们要做东方巨人’这样的口号太虚。”并传授他联想的经验。史玉柱后来回忆说：“他总结了几点，后来我全部采纳了，一个是说到做到，一个企业要有这样一种氛围，从一把手到下面，承诺了一件事就一定要去做，哪怕不合理，错了，都要去做。我们现在很多文化都受联想的影响。”

1995年、1996年和1997年，是史玉柱最困难的时候，即便如此，史玉柱年年参与泰山会例会。泰山会有一个规定：正式会议会员如有困难不能参加,需交纳请假费1万元。2007年，史玉柱因筹办公司在美国纳斯达克上市的事，无法参加泰山会会议，他派人送来1万元请假费。

对史玉柱而言，在和泰山会会员的交谈中，最直接的收益是明确了东山再起的方向。史玉柱曾经利用宣传攻势，通过 “让几亿儿童聪明起来”的电视广告词展开地毯式广告轰炸，“巨人脑黄金”在全国走红，成为当时同类产品的佼佼者。回忆脑黄金销售情况时，史玉柱曾说：“脑黄金在巨人集团手中，销售额十分惊人。巨人集团下属的分公司，曾有一个月向集团上交800万元的销售额还属于业绩最差的，让我狠狠地批评了一回。”可见巨人集团的脑黄金销量是多么巨大。大家让史玉柱在“巨人脑黄金”上想想办法。