También llevó algunos sacerdotes. Para cubrir los gastos de ese viaje, Hurtado de Mendoza ordenó al tesoro real entregarle 3200 pesos de oro. Pero en el juicio de residencia que se le efectuara posteriormente al gobernador, este argumentó que Zurita había sacado indebidamente esa suma de dinero de las cajas reales.

El nuevo gobernador estaba enemistado con Francisco de Aguirre y tenía como sus aliados a Diego de Heredia y Juan de Berzocana, quienes habían tomado el Cabildo tras la detención de Aguirre. Cuando los partidarios de Aguirre retomaron el poder con Gregorio de Castañeda, en 1561 apresaron a Pérez de Zurita y lo enviaron a Chile. Castañeda lo privó de las encomiendas de indígenas que poseía y se les otorgó a Francisco Godoy, el yerno de Aguirre.

Sin embrago, el tiempo reivindicó a este bravo capitán y buen administrador. En 1564 prestó en Chile importantes servicios en la guerra contra los araucanos y Pedro de Villagra lo ascendió a maestre de campo general. En 1565 el gobernador Rodrigo de Quiroga le encargó que explorara hasta el Estrecho de Magallanes.

Posteriormente el virrey Francisco de Toledo lo designó corregidor de La Paz y en 1572 es nombrado gobernador de Santa Cruz de la Sierra con la misión de refundar dos ciudades destruidas por los chiriguanos y castigar a estos últimos. Esta política lo enemistó con los cruceños, que le destituyeron en 1580.Luego fue gobernador de Tarija y se le asignó una buena encomienda de aborígenes.