robots.txt 싹다 막아버리기

도메인/robots.txt에 아래 내용 써넣기

 

#####아래내용#####

User-agent: *

Disallow: /

#################

 

정보) 도메인마다 설정해줘야함

정보) 하위도메인과 루트도메인을 따로 취급함