Es normal que se asuste. Los gatos son muy territoriales y ahora él se encuentra en un sitio que no conoce y con gente que no conoce pero tranquil@, has hecho bien en cogerlo, la calle está llena de peligros y no viven muchos años.
Te diría que lo dejes a su aire, que no lo fuerces pero tampoco lo dejes como si no existiera. Ponle en una habitación tranquila todas sus cosas: arenero, comida, agua, un rascador y algún juguetillo para que se entretenga.
Yo lo que haría es meterme con él en la habitación, sentarme en el suelo para ponerte a su nivel y por ejemplo, ponerte a leer, sin hacerle mucho caso a él, ya verás como poco a poco se va acercando, alárgale la mano y deja que te huela, no intentes tocarlo el primer día, puede asustarse. Otro día puedes probar a ofrecerle un trocito de pavo, ya verás como poco a poco se acerca y come de tu mano. Todo esto quizás necesites un día o unas semanas, eso ya depende del gato.
¿Cuánto tiempo lleva el gato en tu casa?