尚书，兼金吾大将军，邑2000，实授300。拜李明达为河西节度衙兼监察御史，拜李明振为凉州司检校国祭酒，御史中丞，授吴安正为武卫有差。而作为人质留在长安的张义兄长张义潭则被授为金吾卫大将军。

随着瓜、沙、肃、甘诸州的收复及沙州归义军的建立，吐蕃军队节节败退，最后集中于姑臧(凉州)。凉州是北朝、隋唐以来的河西重镇，唐朝前期一直是横断吐蕃和突厥的河西节度使所在地。吐蕃统治时期，又是统辖河西东的大军镇驻地。如果凉州仍在吐蕃手里，那么张义所提的收复河西东及陇右数郡就是一句空话。因此,为了有效地控制河陇地区，张义便从大中十二年（农历858年）八月率军开始了他东征凉州吐蕃的伟大壮举。当然此时的凉州已经聚集了大批的吐蕃军队，另外还有河西陇右地区败退至凉州的吐蕃军，军力十分雄厚，这导致了凉州战役变得极其艰难。

前面已经说到吐蕃在河西倒行逆施，不但导致了唐人的愤怒，就是吐蕃人也对统治者极为不满。而归义军建立之后秉承大唐传统，对各族人民一视同仁，有力地团结了在河西走廊的各族人民。而这支东征军由汉、吐蕃两族士兵组成，共计7000名士兵。这是一次空前激烈的战斗，两军对阵之时，归义军人人置生死于度外。在血腥的死斗中，大唐神重新焕发了光彩，吐蕃军终于支撑不住，汉军得势，押背便追。不过五十里之间，杀得横尸遍野。吐蕃军虽然遭到很大的打击，但是毕竟是悍的敌人，归义军人数少，也没办法一时全消灭吐蕃军队，于是这场残酷的战争足足拉锯了三年。

经过三年的血战，咸通二年（农历861年），张义终于一举攻克了凉州。张义收复凉州后，即表奏朝廷。咸通四年(农历863年)唐王朝复置凉州节度使，统领凉、洮、西、鄯、河、临六州，治所在凉州，由张义兼领凉州节度使。

咸通七年(农历866年)，北、台等地相继被归义军攻克，断绝多时的丝绸之路再度畅通无阻，在张义的经营下，当地人风化，很快一如内地。当时的河西，南有吐蕃扰，北有回鹘窥视，归义军一刻也不能放松警惕，与虏抗衡。

咸通七年(农历866年)，拓跋怀光率领五百骑兵廓州，生擒吐蕃权臣论恐，将之斩首示众，首级传送长安，论恐的下在逃命途中，遇上归附大唐的豪酋尚延心，遭到重拳击，实力大损，从此吐蕃走向衰亡，不能再和大唐争雄。在基本没有唐朝廷支援的情况下，归义军光复了整个河西，大唐帝国的边疆再度重现盛唐的光芒，商旅络绎于途，使节不绝于。

张义经营河西地区多年，得人心，吐蕃留下的烂摊，张义将之理得井井有条。他在归义军控制的地区全面恢复唐朝制度，废除吐蕃的落制，重建州－县－乡－里，重新登记人和土地，因地制宜地制定了新的赋税制度。

咸通八年（农历867年），张义的兄长张义潭在长安去世，此前，他一直作为归义军政权留在中央政府的人质。为了表达对大唐帝国的忠诚，张义将河西的事务给了自己已经成年的侄张淮，不顾自己已是69岁龄，前往长安充当人质。朝以后，皇帝给予了他很的礼遇，册封为司徒，拥有丰厚的田产宅第。