左右中又有人道：“陆都督是因为过度参与了陛下的“家事”才招致子侄皆被流放的祸事的，而马援将军则是因为在朝中过于耿直而得罪了太多的人啊！”
马援关心国事，遇到该说的话，从不隐饰回避，得罪了朝中的不少权贵，
他在陇西时，发现币制混乱，使用不便，就上书给朝廷，提出应该像过去一样铸造五铢钱。
朝廷把他的建议提交三府审议，三府奏明刘秀，认为马援的建议不可行，这事就搁置起来了，显然是动了朝中有些人的利益。
后来，马援回朝，马上就去找回了自己的奏章，见奏章上批有十几条非难意见，便依据情理加以驳正解释，重新写成表章上奏。刘秀见他言之有理，采纳了他的意见，天下从此得益很多，可多朝中的权贵却是少了些利益。
聂有望着这有些破败的伏波将军庙道：“就算马援在任陇西太守之时，还亲冒留矢，将腿肚子都射穿了，可即便是如此，到了该动他的时候，刘秀也会像陛下对付陆都督一般不会有丝毫手软，念及往日情分的。”
从新朝末年开始，塞外羌族不断侵扰边境，不少羌族更趁中原混乱之际入居塞内。金城一带属县多为羌人所占据。来歙就此事上书，说陇西屡有侵扰祸害，除马援外，无人能平。
建武十一年（35年），刘秀任命马援为陇西太守。
马援派步骑三千在临洮击败先零羌，斩首数百人，获马牛羊一万多头。
守塞羌人八千多，望风归降。当时，羌族各个部落还有几万人在浩亹占据要隘进行抵抗，马援和扬武将军马成率兵进击，羌人将其家小和粮草辎重聚集起来在允吾谷阻挡汉军。
马援率部暗中抄小路袭击羌人营地，羌人见汉军突如其来，大惊，远远地逃入唐翼谷中。马援挥师追击，羌人率精兵聚集北山坚守。
马援对山摆开阵势佯攻，吸引敌人，另派几百名骑兵绕到羌人背后，乘夜放火，并击鼓呐喊。
羌人不知有多少汉军袭来，纷纷溃逃。马援大获全胜，斩首千余级。
但因为兵少，没有穷追敌人，只把羌人的粮谷和牲畜等财物收为汉军所有。
此战，马援身先士卒，飞箭将其腿肚子都射穿了。刘秀得知后，派人前往慰问，并赐牛羊数千头。马援像往常一样，又把这些都分给了部下。
当时，金城破羌以西，离汉廷道途遥远，又经常发生变乱，不好治理。
朝廷大臣商议，要把该地区舍弃，马援持不同意见，他提出了三条理由：第一，破羌以西的城堡都还完整牢固，适于固守；第二，那地方土地肥沃，灌溉便利；第三，假如舍弃不管，任羌人占据湟中，那么，以后将有无穷的祸患。
刘秀听从了他的意见，命武威太守把从金城迁来的三千多客民全都放回原籍。马援又奏明朝廷，为他们安排官吏，修治城郭．建造工事，开导水利。鼓励人们发展农牧业生产，郡中百姓从此安居乐业。
马援还派羌族豪强杨封说服塞外羌人，让他们与塞内羌族结好，共同开发边疆。
另外，对武都地方背叛公孙述前来归附的氐人，马援以礼相待，奏明朝廷，恢复他们的侯王君长之位，赐给他们印缓，并撤回马成的军队，在建武十三年平定了一场边民叛乱之后，彻底使得陇右安定下来，可是这在马援死后似乎也没什么用，刘秀依然还是听信谗言处罚了他。