Давайте немного проясним ситуацию. Если действовать по старинке, то есть дать роботу загрузить только тексты и картинки с сайта, что он собственно говоря и проиндексирует, то дефолтного robots.txt вполне достаточно.
Но засада заключается в том, что поисковики теперь не только читают тексты и загружают картинки... Определяя рейтинг и качество страниц сайта, им важно иметь представление об оформлении, стилях и размере шрифтов, размерах фото, механизмах отображения информации на сайте и т.п., на вскидку более 200 параметров, включая параметры отображения для мобильных устройств. Многие наверное сталкивались с приветом от Гугла, о том что:
ваш сайт не адаптирован для мобильных устройств;
размеры шрифтов, кнопок и прочих элементов слишком малы...
и т.д., и т.п.
Не стоит забывать, что только Гугл сейчас в первую очередь ориентирован на мобильную аудиторию, которой в настящее время насчитывается 45-50% от общей массы пользователей Интернета, и их количество постоянно растет.
Отсюда вывод - Гуглу стоит открыть доступ к скриптам и стилям оформления, о чем собственно он и говороит в справочных материалах Search console (рекомендации по составлению robots.txt). После переиндексации страниц вашего сайта Гугл уже увидит оформление страниц сайте не встиле 90-х годов, а в современном и соответствующем его требованиям варианте оформления.
Исходя из анализа ситуации, по крайней мере для сайтов на шаблоне Realia, можно сделать вот такой robots.txt:
User-Agent: *
Disallow: /*?
Disallow: /account/
Disallow: /add/
Disallow: /admin/
Disallow: /apps/
Allow: /apps/client/js/
Allow: /apps/system/js/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /ckeditor/
Disallow: /ckfinder/
Disallow: /contactus/
Disallow: /getrent/
Disallow: /inc/
Disallow: /ipotekaorder/
Disallow: /mailbox/
Disallow: /mysearch/
Disallow: /realty*
Disallow: /realtylogs/
Disallow: /remind/
Disallow: /template/
Allow: /template/frontend/realia/css/
Allow: /template/frontend/realia/img/
Allow: /template/frontend/realia/js/
Allow: /template/frontend/realia/libraries/
Disallow: /third/
Disallow: /webstat/
Host: https://ваш-сайт.com
Sitemap: https://ваш-сайт.com/sitemap.xml
В таком варианте, роботы Гугла увидят ваш сайт таким, каким видите его вы. За чем наверняка последует улучшение рейтинга сайта в глазах поисковика - вы повернулись лицом к людям
Относительно строк
Allow: /template/frontend/realia/img/
Allow: /template/frontend/realia/libraries/
Еще есть некоторые сомнения в надобности, поскольку и без них Гугл видит как надо, но тем не менее Search console говорит, что это важно для него.
Если не прав, поправьте...