如前所述，明代后期至清代前期，“三帮”木商在湖南常德、洪江、托口等沅江一带人的引领下，溯江深入清水江林区采办木材。后来，这些引路人也逐渐从事木材贸易，到康熙时期已结成了“五勷”，成为继“三帮”之后在清水江流域经营木业的又一商帮。
最初，清水江两岸民众还不知道撬扎和放运木排的技术，“三帮”木商上来采购木材，都要从江淮等地带来专业的扎排和放排工人。“三帮”中的徽州和江西帮木商信奉海神妈祖。他们来到清水江，也就把被东南沿海一带的海神妈祖请了过来，在很多险滩边上建神庙，供奉妈祖菩萨，以保佑其下运木材安全。
后来，“五勷”地区民众逐渐从江淮工人那里学会了木材水上放运技术，并加入到木材水运队伍中来。“五勷”放排工人熟悉清水江水道的滩险礁石情况，较江淮等客籍工人更具优势。到乾隆以后，“五勷”地区的放排队伍逐渐取代江淮地区队伍成为清水江木材运输的骨干。“五勷”地区人都信奉清水江水神杨五，对“三帮”人先前建的庙里供奉的“妈祖女菩萨”不熟悉，祭拜时感到别扭，于是就把女菩萨换成了这一带广为人知的杨公菩萨。他们认为，在凶险的清水江上，只有杨公老爷才是最有威力的神灵，最能保佑人们的安全。
于是，千里清水江以及各条支流的岸边上，陆续建起了一座座杨公庙。
乾隆年间以后，随着木材贸易的发展，被赋予有保佑船排下江安全功能的杨公庙不断向上游推进。乾隆五十三年，位于中游的锦屏文斗河边也建有一座杨公庙。传说建庙的原因是文斗有一人因独子驾排丧命于文斗滩，于是挺身作化首募资修建。
嘉庆以后，杨公庙逐渐成为清水江流域除了土地庙以外数量最多的神祇祭祀场所。据粗略统计，目前尚存有杨公庙的，湖南省洪江市境内有托口、黔城、原神、江市、双溪、沙湾、太平、秀州、安江、岩里、黄狮洞等15处，会同县境内有县城、洞头塘、朗江、止奔、酿口、黄坪、高涵、马安、鸬鹚等10余处，靖县境内有8处，贵州天柱县境内有坌处、清浪、瓮洞等8处，锦屏县境内有茅坪、亮江、王寨（锦屏县城）、卦治、平略、岩湾、文斗、河口、八受、江口、敦寨、新化、九南、苗埂、九勺等16处，黎平有6处，剑河县有南加、南寨、柳川等6处。
此外，清水江上游的台江县施洞、黄平县重安江、麻江县下司以及都柳江流域的古州、下江、丙妹等码头也都建有杨公庙。
在茅坪以下至湖南托口的沿江两岸，杨公庙里祀的主神大多都只是杨五。但是到了茅坪以上至剑河等清水江中上游地区，杨公庙便与佛道等杂合起来了，祭祀的神祇除了杨五之外，还有观音、关公等。在锦屏县城东北部蛇尾滩脚有座庙，当地称为飞山庙（或飞山宫）。飞山庙是祭祀湖南靖州一带土著神祇杨再思的专门场所，但锦屏县城的飞山庙里祭祀的主神却是水神杨五。而锦屏县文斗四里塘的杨公庙祭祀的主神是杨五，但旁边还配有观音菩萨、关公等神像。
为什么要建杨公庙？如前所述，清水江上滩险繁多，礁石遍布，排船下行十分危险。建杨公庙的目的，主要是借杨五将军的神力，镇住滩险恶煞，从而保护在清水江上往来木排和船只的安全。
光绪《黎平府志·地理志》记载杨公庙时称：“今新化江及清水江一带滩甚险，皆借神力，易危为安。”
所以，在清水江及其支流的险滩边上，大多建有杨公庙。如会同的洞头塘，黔阳的黄狮洞，天柱的坌处滩、清浪滩，锦屏的王寨蛇尾滩、卦治滩、平略滩、文斗滩、敦寨筲箕滩等等。
光绪《黎平府志·地理志》载：“敦寨筲箕滩上有杨五庙。船过此甚险，往来者竭诚祷祀，以保无虞。”
如上游文斗江边的杨公庙，传说文斗滩非常凶险，木排经过时，常有孽龙作怪，往往造成触岩散排，排夫死伤。自滩头建了杨公庙后，孽龙被镇住，这滩就变得温顺了，伤亡事故也就少了很多。
不但江河沿岸建有杨公庙，且在远离江河的城镇和边远山村也建有杨公庙。旱城黎平即建有杨公庙。
《黎平府志·地理志》载：
在很多地方，不但江河边上，就连深山里也建有杨公庙，如锦屏县的九南、九勺、苗埂等村寨，地处离江河几十里的大山深处。这大概是木材贸易向林区深处推进，林农们为了木材采伐运输安全，将杨公老爷请进山区，杨公的身份于是发生变化，由水神摇身变成了山神。
但是，锦屏、天柱、黎平等地，往往把祭祀水神杨五的杨公庙与祭祀五代时期“侗王”杨再思的飞山庙混淆起来，这也许是飞山公受朝廷封过官赐过爵，比出自草莽的杨五有名份的缘故。
也有人说，杨五将军与飞山公杨再思其实是一个人，是山神飞山公演化成的水神。
在清水江边上的杨公庙大都具有一定的规模，由热心者捐献田或山来作为庙产，派有住持。住持分为专职和兼职两种，专职者基本上是由无儿无女或儿女不孝的老年男子充当。如，清同治年间黔阳县城杨公庙有祭祀田28担。文斗四里塘杨公庙，民国三十七年有祭祀田40多担，有专职住持。
杨公庙的祭祀时间基本上都在农历五月初五端午。届时，由附近村寨里的寨老持祭物到庙里祭祀。祭物也较特别，如用猪头，则连毛都不剃，就血淋淋地供在案桌上；如用鸡，须是活公鸡，要在殿内当场宰杀。在杨五神位前敬祭时，由住持念祭语，烧香化纸。敬祀过后，将猪头或公鸡烹煮，然后一起吃光。
凡木排和船只下行经过杨公庙时，排、船夫们无一例外地到庙里烧香纸，并献上刀头肉和米。黔阳黄狮洞庙、会同鸬鹚滩庙、锦屏平略庙都建在险滩边上，不便排、船停泊，所以排、船经过时，庙里人便将捆有口袋的木杆伸到排、船上，排、船上的人便往口袋中投刀头肉和米以及香纸，由住持代他们敬祀杨公。
旧时，会同县洞头塘的杨公庙外还常有这样情景：来往的排、船工遇见空中有乌鸦盘旋，就会向空中抛洒饭团，任乌鸦在空中啄食，而后停泊船排，到杨公庙内宰杀雄鸡，酬神许愿。排夫、船夫们把乌鸦看作杨公的化身。
清水江及下游沅江地区自古崇尚巫傩。木材贸易发展兴起后，东南沿海的妈祖文化随“三帮”等木商传入。于是，这两种文化很快糅合在一起，形成了特殊的杨公文化现象。杨公文化是清水江流域地区传统巫傩文化与沿海一带的妈祖文化的结合，是木材贸易发展的产物。然而在内容上，杨公文化又杂糅进了不少的佛道等文化元素。
此外，杨公庙分布范围较广，不但清水江“苗木”经过的江河边上有，就连徽州木商的老家徽州一带也有。不过，德山等下游一带的杨公庙与清水江上游的稍有不同，一是名称或叫水府庙，或叫杨泗庙。所祭祀的神祇也不是杨五将军，而是杨四将军（也称杨泗将军）。祭祀的时间也不是五月初五，而是六月初六。
