在红旗渠修建过程中，林县的领导班子经受了许多政治风波和艰难曲折，上级领导大多给予了支持，但也有的不断从中作梗。让他们记忆深刻的是，有个副总理在知道自己批评错了后，向他们真诚道歉，这是何等的高风亮节！遇上这样的领导，是杨贵之幸，是红旗渠之幸！
为了改变林县严重缺水，人民生活十分艰难的状况，在县委书记杨贵的带领下，林县人民从1960年至1969年的十年间，开山凿石，在太行山上修建了一条干支渠长达1500公里的人工天河，从根本上解决了林县人民的用水问题。
1960年2月11日，红旗渠正式动工，此时正值国家经受自然灾害和苏联逼债严重困难时期。而后不久，中央三令五申，要求全国范围内基础设施工程全部停工下马，实行百日休整，以减轻农民负担。
在这种情况下，红旗渠是建还是停？就摆在林县县委特别是书记杨贵的面前。杨贵反复思考后，在县委扩大会上讲：全国经济困难、粮食紧张，上级的指示必须执行，大部分民工返回生产队百日休整。但群众修渠积极性高，眼看水到了家门口却用不上既可惜又浪费，从实际出发，咱林县还有几千万斤储备粮，只留300人凿洞，发动青年党团员自愿报名。
这样，红旗渠继续向前推进。300多名青年“蚂蚁啃骨头”，一锤一钎奋战500天，硬是在悬崖峭壁上打通了总长616米的咽喉工程“青年洞”，为红旗渠建设赢得了关键性的历史机遇。
就在红旗渠取得第一个阶段性胜利的时候，1961年下半年，国务院副总理谭震林到河南新乡七里营公社蹲点。9月初参加了新乡地委在豫北宾馆召开的农村纠“左”会议。会上有人趁机夸大林县当时存在的暂时困难，不顾事实向谭震林反映：“林县群众没有饭吃，把树皮都剥光了，县委为了高举红旗，不顾群众死活，还在大搞红旗渠建设。”“群众生活这么苦，还让劈山修渠，比秦始皇修长城、隋炀帝挖运河还苛刻。”
爱民心切的谭震林一听，以为林县情况很严重，人民都快活不下去了，县委居然还在修建红旗渠，于是当场批评杨贵是个死官僚，要撤销他的职务。
与会的林县县委组织部长路加林仗义执言：“领导同志批评林县，所谈的情况不符合实际。”结果被立即撤职。9月7日， 杨贵被通知到地委开会。他到地委后，感到气氛十分紧张，有些同志不敢和他说话握手。
当地委书记向他谈了会议情况后，他提出三条意见：一、路加林的意见是正确的，如果因为实事求是讲真话而被撤职，这才真是违犯“三不主义”；二、他不同意撤销路加林的职务，如果修建红旗渠是错误的，责任在他，由他承担；三、请地委将他的意见报告省委和党中央。
曾经和他在战争年代摸爬滚打出来的战友，时任辉县的县委副书记站在门外，匆匆说了几句话：“老杨，有人在谭副总理面前告你的状，副总理今天一听就特别恼火，要撤你职，明天的会就是给你开的，好好地做个准备，明天争取主动，看看能不能宽大处理。”说完扭头就走了。
杨贵说那天一晚上他都没有睡着：“太平官好当啊，我杨贵不修这条渠，没有人会指责我，班子里的同志们不修这条渠，也丝毫不影响他们的升迁，我们修这条渠图什么？不就是图一个百姓能够安居乐业，为林县的人民谋福利吗！”
他想了整整一夜，最后认定，修这条渠没有错，为的是老百姓，为的是人民，要实话实说。
第二天会上，杨贵说：修建红旗渠是林县人民的迫切要求，如果说修建红旗渠有错误，撤他的职可以，撤组织部长路加林的职务，他不同意。接着杨贵谈了林县的实际情况：当年干旱缺水，16万人翻山越岭到一个十几里地以外的河边去挑水吃；林县每年远道取水的人，跌伤者的不计其数，甚至有跌死的；没有水，地里长不出庄稼，没有水，他们只能背井离乡。
我们党不就是要为人民做主吗？作为一个党员、作为一个党的干部，党性原则不允许我眼睁睁看着林县地里长不出庄稼，看着我的父老乡亲受苦受累，背井离乡啊！
而且，当时大部分建渠民工已经撤出，只留少部分人在凿青年洞；林县县、社、队三级还有一定数量的储备粮，绝不是像有些人所说的那样；尽快建渠引水，是为干渴的林县群众着想。我说的都是实情，请组织上认真调查。
那一天，谭震林副总理一句话没说，他用手示意杨贵坐下说，然后休会。随后，他马上派身边工作人员到林县调查，一个星期之后，调查组的同志回来，汇报说杨贵说的都是实情！
在会议上，谭震林说的第一句话是：我要向林县的同志、要向杨贵同志道歉，我错了。他非常严肃地请所有参加会议的省市领导和各级干部明确表态，林县的父老乡亲们，已经靠着双手取得了红旗渠建设的第一个阶段性的胜利，如果你们再不有所表示，等到将来有一天渠修成了，水流过来，我看你们有什么脸面去见林县的父老乡亲。
不久就恢复了路加林的职务。而且，两个星期之后，上级第一批支持资金打到了红旗渠建设的账户上，这真是雪中送炭啊。1963年12月25日，谭震林和李先念同志一起协调水电部、国家计委，把红旗渠工程列入国家计划，这是很重要的一个步骤，为红旗渠的后续工程提供了保障。
后来谭震林对杨贵保护有加，谭震林的坦荡胸襟令杨贵感动不已。