多元化的快速发展使得巨人集团自身的弊端开始显露出来。公司1日的管理体制缺陷，导致监管不足，财务状况遥步恶化。公司内各种问题层出不穷，员工不断违规，违纪，甚至时有挪用贪污公款的事件发生。正如它旗下的子公司康元公司，尽管康元的财务管理不兽，但是集团公司并没有派出财务总监对其进行监督，造成公司内部人员侵吞公司财产，公司资产流失严重，从而造成公司债台高筑。到1996年年底，康元，债务累计高达1亿元。
1996年巨人大厦出现，资金问题，史玉拉用保健品方面的全部资金支持巨人大厦建设。由于保健品业务资金大量流失，再加上管理不兽，巨人集团'快速走向衰弱，出现严重的债务危房L，尽管表面看来脑黄金的销售额高达5.6亿元，但盘兰账却有3亿多。
原来拟建的巨人大厦设计楼层从最初的设计18层一直变是到70层，楼层增高，同样带来投资额的迅速上升，这座大厦所需的资金也从2亿元涨到12亿元。而当时的巨人集团资产规模仅仅为1亿元人民币，根本无法承受这项浩大的工程。对此，史玉拉是这样作战略规划的:巨人大厦所需的资金，1/3靠卖楼花(即在建物业)，1/3靠银行贷款，113靠巨人集团貌，有的资金。但让人诧异的是，从1994年2月大厦破土动工到1996年7月，巨人集团未申请过一分钱的银行贷款，全凭自有资金和卖楼花的钱支撑。
1997年初巨人大厦因资金链断裂，只是至地面三层的巨人大厦被迫停工。史玉柱决定抽调保健品方面的全部资金注入巨人大厦，但是保健品业务因资金"抽血"过量而迅速衰败。
就这样，"巨人"最终随着财务危机的爆发而倒下。
1995年史玉拉就《福布斯》列为大陆富豪第八位，时隔两年之后，却戎剧性地变成了负债2.5亿的"负豪"而黯然离开了珠海。
