Ваш сайт появится в выдаче поисковых систем только после того, как роботы поисковых систем увидят и внесут его в свою базу, т.е. проиндексируют. Файлы Robots.txt и Sitemap.xml позволяют управлять индексацией сайта. Правильная настройка файлов позволит существенно ускорить процесс индексации, укажет роботу на те страницы, которые должны быть проиндексированы. При неверной настройке возможно дублирование страниц сайта, что нежелательно.