张作霖有手艺在身，生意也做得不错，很快就进入了当地官府的视线，张老板成了官府的肥羊，敲诈勒索是常有的事情。一来二去之下，本小利薄、生意艰难的牲口店倒闭了，张作霖再次沦为无业游民。就在这种绝境下，中日甲午战争爆发了。屡战屡败的清政府为了拱卫东北这个“龙兴之地”，开始在关外大量招兵，走投无路的张作霖只得加入清军混口饭吃。他投入老将宋庆的毅军之中，当了一名普通的骑兵。由于张作霖作战勇敢，很快被提升为班长，之后又升为排长。然而随着清军在旅顺的全线崩溃，招募来的新兵们一哄而散，张作霖也带着几个月的军饷逃回了老家。回到老家后，张作霖娶了赵家庙地主赵占元的二女儿赵春桂，过上了自己的小日子。然而没等他这个新郎官过完蜜月，和张家有旧仇的王家就以抓逃兵为由报告了官府，张作霖再次遭到通缉。无奈之下，张作霖只好携家带口再次逃亡，这次他逃到了岳父赵占元家所在的赵家庙。当时东北地区刚刚经过战火荼毒，散兵游勇、土匪胡子四处横行，老百姓为了自保纷纷成立了民团，赵家庙也成立了一支二十多人的民团。由于缺乏军事人员，所以这个民团一直缺少一个头领，张作霖的到来让这个小民团找到了主心骨，在正规军当过排长的张作霖很快成了民团的头目。
张作霖虽然性格暴烈，却颇有军事才能，在他的精心训导下，这个小小的民团多次打败了前来骚扰的小股土匪，很快成为当地声名赫赫的队伍。周边的村庄看到赵家庙的民团如此厉害，纷纷派人加入，张作霖的部下很快扩充到了一百多人。这时，张作霖又惹下了大麻烦，他率领部下清剿土匪时，和当地有名的金寿山匪帮发生了激战，打死 了对方数名骨干。这个金寿山是当地一个悍匪的老部下，这股悍匪为了帮其出头，出动几百土匪偷袭了张作霖的民团。
由于众寡悬殊，赵家庙民团遭到了惨败，张作霖携带妻儿率众突围。在逃亡途中，身怀六甲的夫人赵氏在马车上生下了一个男孩，就是后来的少帅张学良，当时1901年6月3日。突出包围后，张作霖决定前往台安县，想投靠当地的土匪首领冯德麟，然后再带兵回赵家庙报仇。可没想到路过集镇八角台时，当地的土匪头子张景惠仰慕张作霖的为人，把自己的全部人马都交给张作霖统领，这样张作霖意外地在八角台站住脚，也开始了自己的土匪生涯。
