,
Sendo "residente permanente" por definição quer dizer que você "reside" nos EUA. Você não pode passar mais de um pouco tempo fora dos EUA, você deve pagar seus impostos em dia etc...Se você sair dos EUA e passar 4 anos no Brasil, tecnicamente, você esta negando o fato que você é "residente permanente" dos EUA. Tenha muito cuidado! Converse com um advogado pois existem circunstâncias aonde pode-se conseguir uma autorização para ficar fora dos EUA por um tempo maior.