杨义臣，父亲尉迟崇，仕北周，为仪同大将军，率兵镇守恒山。当时，杨坚任定州总管，尉迟崇知道杨坚相貌非常，常常与他交结，杨坚对他很亲近。杨坚为北周丞相后，尉迟迥起兵，尉迟崇因与反贼是同族的缘故，把自己关在牢里，派人赴京请罪。杨坚下书慰问他，让他乘驿车回朝，把他老是安排在身边，杨坚代周建隋后，封尉迟崇为秦兴县公。
当时，尉迟义臣还年幼，养育在宫中，不满二十岁，就已奉诏像千牛卫那样当侍卫几年了，杨坚给他的赏赐很多。杨坚闲谈时曾说到过去的一些朋友，看着尉迟义臣，嗟叹很久，因此下诏书说：“我刚受命登基时，群凶尚未平定，有识之士，有足可怀。尉迟义臣与尉迟迥，本同骨肉。尉迟迥既已作乱于邺城，其父尉迟崇当时在常山，统帅部队，既与尉迟迥相邻，又与尉迟迥是至亲。他知道逆顺的大理，认识天人的意思，就陈述丹心，担心被反贼牵连，于是自己把自己抓起来，请求到丞相府来。到北狄入侵时，他又横戈杀敌，轻生重义，马革裹尸。他的节操表现于生死之上，他的事迹贯穿于人间地下。即使是给他高官大赏，并让官爵延及于他的子孙，也不足以表彰他松柏一样的壮志，也不足以表彰他的节义门庭。义臣，可赐姓杨氏，赐钱三万贯，酒三十斛，米麦各百斛，把他编入杨门家谱，作朕的堂孙。”不久，授杨义臣为陕州刺史。
杨义臣，谨慎忠厚，长于骑马射箭，有将领之才，因此杨坚很器重他。突厥达头可汗进犯边塞，杨义臣以行军总管身份，率领步兵、骑兵三万人马，出白道，与突厥军相遇，交战，大破突厥。突厥进犯边塞，雁门、马邑二地多受其害，杨义臣出兵击破突厥，突厥败逃塞外，杨义臣率兵追击，追到大斤山，与突厥相遇。当时，太平公史万岁率领军队也赶到了，杨义臣与史万岁合力出击，大败突厥兵，史万岁被杨素陷害致死，杨义臣的功劳竟不被着录。
杨坚离奇驾崩后，杨广即位，汉王杨谅在并州起兵反叛，代州总管李景被汉王的部将乔钟葵包围，杨广下诏让杨义臣去救援他。杨义臣率领骑兵、步兵二万，夜出井陉，快天亮时，已赶了几十里路。乔钟葵侦悉杨义臣人马少，于是全部上阵来抵抗杨义臣，乔钟葵的副将王拔，骁勇无敌，特善用矛肖，射他又射不中，他常带几个骑兵冲锋陷阵。杨义臣特担心他，于是招募能够抵挡王拔的人，车骑将军杨思恩请求与王拔交战。杨义臣见杨思恩气貌雄勇，对他说：“真是壮士！”赐给他一卮酒。
杨思恩远远望见王拔站在阵后，就把酒斛往地上一丢，策马而赴敌，杨思恩冲了两次，都没有克敌制胜，杨义臣就又选十几个骑兵随他前去。杨思恩于是向前猛冲，杀了几个叛军，一直冲到王拔的军旗下，两人短兵交战，杨思恩从骑兵退后，被王拔所杀。王拔乘胜进军，杨义臣军退了十几里，杨义臣赎回杨思恩的尸体，放声痛哭，三军无不流泪，杨思恩的随从骑兵都被腰斩。
杨义臣因自己兵少，于是把军中的牛和驴子全部清出来，清了几千头，又令兵卒几百人，每人拿一个鼓，偷偷地把牛和驴子赶到山谷里，出其不意。吃了晚饭，杨义臣又与钟葵交战，两军刚交手，杨义臣就命令驱赶牛和驴子的疾速前进。一时间，战鼓震天，尘埃弥天，乔钟葵军不知究竟，还以为是伏兵大发，因此大大地溃败，杨义臣纵兵反击，大破乔钟葵。杨义臣因战功升任上大将军，赐缣采二千段，杂采五百段，女妓十人，良马二十匹，继而授他为相州刺史。
杨义臣随杨广征讨吐谷浑，杨广令义臣驻军于琵琶峡，军营相连达八十里，南接元寿，北连段文振，把吐谷浑国主包围在覆袁州。又随杨广征讨辽东，杨义臣率军直指肃慎道，到了鸭绿江，与乙支文德交战，义臣每次都当先锋，一天打了七次胜仗，后与各路军马都打了败仗，竟坐罪免职，不久复职。
杨广以杨义臣为副将，与大将军宇文述去进攻平壤，到了鸭绿江，碰上杨玄感作乱，班师回朝，代理赵郡太守。妖贼向海公聚众作乱，寇掠于扶风、安定两地之间，杨义臣奉圣旨扫平了他们，随杨广再征讨辽东，杨义臣迁为左光禄大夫。
当时渤海人高士达、清河人张金称，都相聚为盗，已有几万之众，攻陷郡县。杨广派将军段达进讨，不能取胜，有诏让杨义臣率领从辽东回来的兵马去进剿，杨义臣大破高士达，斩了张金称，又收拾降兵，进入豆子赹，讨伐格谦，活捉了他。
此后，杨义臣游弋河北一带，随把战况和河北群贼蜂起的情况上书朝廷，朝中内史侍郎虞世基负责把各地上奏的表文呈送杨广，他知道杨广不愿听到各地盗乱情况的奏报，每当有这样的奏报，他总是掩饰真情，不实事求是地报告，只是对杨广说：“盗贼成不了气候，地方的官吏正在全力追剿，很快就会彻底剿除的。”并劝说皇帝不必忧心介意。
当杨广接到杨义臣在河北收降数十万叛军的捷报后，不禁叹息说：“我原来没有听到盗贼发展到如此地步？贼势发展得这样快，杨义臣降贼这么多？”虞世基却仍然对杨广说：“盗贼都是小股势力，虽多但终不能成气候，不必担忧。杨义臣几尽剿除盗贼，长期在京城之外拥有重兵，很不合适，不得不防。”杨广竟以为然，随即下令追回杨义臣，并遣散他的士兵，杨义臣为此报憾忧愤，不得不回朝听命。
不久后，张金称、高士达的余部，全都归附窦建德，河北叛军复盛，回朝后，杨义臣因军功升任光禄大夫，不久拜授礼部尚书。不久，在官任上去世。