它的前身是红三军团红4师，再早是彭德怀平江起义的老底子，也有一部分是朱毛井冈山红军的老底子（这一部分可追溯到叶挺独立团）。从红军时期到抗日战争，朱德、彭德怀、罗荣桓、黄克诚、罗瑞卿以及包括杨勇在内的三四百位将帅都曾在686团战斗过。

　　1938年春日军占领午城，686团奉命赶去打击西进之敌。部队急行军80里，当天下午赶到井沟。随即，在大宁附近与国民党第二战区副司令长官卫立煌的一个旅相遇。日军紧追卫立煌不放，结果全旅溃散。卫立煌和参谋长郭寄峤无奈之中只好找到八路军115师求援。代师长陈光下令杨勇率部阻击日军，掩护卫立煌东进。

　　此时，日军已经打疯了。但是，特务连占领半山，利用悬崖构筑工事，硬是挡住了用飞机大炮掩护的800多名日军的疯狂进攻。

　　在战斗中，卫立煌惊魂未定，手持望远镜看了半天，只见烟尘滚滚，双方在厮杀，于是说：“前面有多少团的兵力?”

　　谁知傍晚时分，特务连扛着缴获的战利品，凯旋而归，正好又经过卫立煌跟前。卫立煌一见，他们军容整齐，大为惊讶，对八路军心服口服，赞叹地说：“你们八路军真能干！”

　　卫立煌叹息说：“我要是有几个这样的连，就一定天下无敌了。”后来专门派人送了十万发子弹给115师。

　　一次在王家池一战， 杨勇指挥686团一次歼灭日军1000余人，将一直梦想过黄河的日军山口少将打成了战死鬼。

　　1938年冬，686团奉命，前去冀鲁豫平原。在山东郓城一战，活捉为军团长刘玉胜。 当时老乡中流传这样一段歌谣：

　　从此，日军和伪军一听到686团的名字就头痛，心惊胆战，不敢外出“扫荡”和抓夫，郓城获得少见的“太平”。

　　但是，按照上级的安排，686团还要继续东进，去泰安西部一带开辟根据地。当地群众怕八路军走了，日军和伪军卷土重来，极力进行挽留。115师政委罗荣桓和代师长陈光见状，只好决定把686团3营和团教导队留下来，改编成独1团，由杨勇负责。

　　686团分家后，去泰西的这一部分后来发展为梁兴初等人率领的115师教2旅，后在解放战争发展为东野一纵，于1949年前后改编为38军。而杨勇率领的独一团，后来归于八路军129师，后发展为中野一纵，后于1949年前后改编为16军。