Справочники улиц и районов & etc

[Андрей 0]

К сожалению не нашел ни чего внятного по справочникам.

Пока прикрутил КЛАДР в Access. http://yadi.sk/d/fDWnbJvv6fNVJ

Чтобы работало нужно скачать .dbf-файлы КЛАДРА, распаковать в папку с базой.

В форме есть кнопка "обновить базу"

 

http://goo.gl/HMLtF - источник.

[Дмитрий Кондин 690]

Андрей, спасибо, что добавили еще один вариант.

У нас также есть модули для загрузки из КЛАДР http://wiki.sitebill.ru/index.php?title=%D0%9F%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3_%D0%9A%D0%9B%D0%90%D0%94%D0%A0

[Chernetskiy 469]

Я например делаю так:

Скачиваю КЛАДР, открываю нужные файлы (районы, улицы и т.п.) в Excell, по имеющимся в файлах кодам территорий (ОКАТО) или  кодам районных ИФНС (например Раменский район - 5040, Московская область - 50ХХ, Москва - 77ХХ) выбираю нужные мне улицы и населенные пункты, которые копирую в отдельный список.

После этого, выгружаю в админке сайта файл Excell со своими объектами недвижимости (лучше если их там еще нет и файл пустой или с демонстрационными объектами) и вношу в этот файл в нужные позиции районы, населенные пункты и улицы. После этого загружаю файл обратно на сайт. Преимущества - быстро, недостаток - под каждую запись создается в базе новый объект недвижимости (а их может быть не одна тысяча, и их потребуется удалять), к тому-же внесенные данные - страна, регион, нас.пункт, район, метро, улица загружаются без увязки друг с другом и приходится впоследствии открывать справочники и привязывать регионы к стране, города к регионам и т.п., улицы как правило одни и те-же в населенных пунктах, поэтому сразу закачал все улицы по Московской области, которые подойдут практически к любому населенному пункту. Улицы лучше загружать стандартным загрузчиком улиц, чтобы не удалять тысячи пустых объектов недвижимости. 

[Дмитрий Кондин 690]

Очень интересно вы про КЛАДР сказали, т.е. просто взять и в excel открыть можно? )

Сделаем расширение в будущем для приложения excel - с возможностью загрузки справочников локаций.

[Chernetskiy 469]

Возможно будет интересен и такой вариант:

Здесь - http://sourceforge.net/projects/kladr-viewer/?source=dlp можно скачать КЛАДР-браузер, установить у себя на компе, скачать например в папку КЛАДР собственно сам КЛАДР отсюда - http://sourceforge.net/projects/kladr-viewer или с официального сайта ГНИВЦ - http://www.gnivc.ru/inf_provision/classifiers_reference/kladr/ (обновляется пару раз в месяц), распаковать его и работать с КЛАДРом (смотреть адреса, подбирать по индексу, ОКАТО и т.п.). Первоначальный запуск займет наверное полчаса, затем все работает шустро.

Прелесть заключается в том, что файлы DBF КЛАДРа возможно быстро конвертировать в формат CSV, а его уже можно открывать и просматривать в Excell, к тому-же этот тип файла можно использовать при импорте/экспорте в MySQL через PHPMyAdmin и т.п.

Кроме того, программка работает не только с КЛАДР но и с любыми другими DBF файлами.

Есть еще один момент, в этой программе открываются и скрытые позиции - улицы, населенные пункты и т.п., то, что например переименовали но пока не удаляли

[Chernetskiy 469]

Можно еще брать информацию напрямую отсюда - http://kladr-rf.ru (КЛАДР онлайн), просто копируя данные с сайта

[Chernetskiy 469]

Вот здесь аналогично, но таблицей - http://kontragent.info/clfs/kladr

к тому-же есть и другие справочники, можно проверить ИНН, СНИЛС, ОГРН, банковский счет и т.п.

[Chernetskiy 469]

Пока баловался с КЛАДР-браузером, преобразовал весь КЛАДР в формат CSV (открывается в Экселе и можно загрузить прямиком в базу MySQL, так что если кому надо, он здесь - http://yadi.sk/d/vbs4sjGk6jRjd , весит около 30,8 Мб в RAR-архиве.

Качайте, пользуйтесь, не обляпайтесь...!

[Дмитрий Кондин 690]

Отличная работа! Спасибо!

Вот чего я подумал. Основное зачем нужен сайт риэлтору - это внести свои лоты в базу и чтобы клиенты их увидели и пришли за этими лотами к ним.

А чтобы внести лот нужно указать город, район, улицу. Но по-умолчанию сайт не позволяет этого сделать, просто потому что нет в базе этих самых городов и улиц.

Я сделаю чтобы по-умолчанию загружался весь справочник из КЛАДР (с возможностью обновления).

И оптимизирую запросы и генераторы форм, чтобы все это шустро искалось в базе при поиске и при внесении нового объявления.

Все таки база в 30 мб это не так страшно, главное построить оптимальный алгоритм.

Гугл справляется с гораздо большими объемами )

Только вот я посмотрел в КЛАДРЕ, нужны некоторые разъяснения.

Каким образом там привязываются улицы к городу, какой ключ?

Также и районы к городу, области, регионы.

Наверняка там вся эта информация связана, ведь так?

[Chernetskiy 469]

Да, информация индексируется, справочники между собой увязаны индексами. В принципе нет необходимости грузить в базу весь КЛАДР, например в бухгалтерских программах (1С: Бухгалтерия и прочих государственных и муниципальных - Налогоплательщик, для ПФР, для Росреестра) можно выбрать конкретный регион и загрузить только его.

Вот 1С:Битрикс решает эту проблему отдельным модулем - http://marketplace.1c-bitrix.ru/solutions/altasib.kladr/

Небольшой мануал я закинул на http://yadi.sk/d/vbs4sjGk6jRjd (файл docum.arj)

Смысл заключается в том, что в индексе присутствует набор цифр, обозначающих регион, район, населенный пункт, его принадлежность как региональный или районный центр, код улицы. Возможно в нем есть коды ОКАТО, ИФНС, почтовый индекс, поскольку за последний год были изменения.

Что-то экспериментировали здесь, описан процесс - http://basicsprog.ucoz.ru/blog/2011-11-14-11, может пригодится...

Как выглядит последовательность индекса я тоже выложил на http://yadi.sk/d/vbs4sjGk6jRjd, там прослеживаются изменения индекса от области до улицы

На крайний случай можно связаться с поддержкой крупных порталов недвижимости и прояснить ситуацию у них.

(cian.ru, kvadrum.ru, afy.ru, nedr.ru и прочими, практически у всех эти базы встроены)

Как вариант, наверное можно пообщаться с разработчиком КЛАДР-браузера, вот его страница - http://sourceforge.net/users/badhitman, он похоже на нем собаку съел.

К стати, у него здесь - http://sourceforge.net/projects/mydbf2mysql/?source=recommended есть еще какая-то утилита - загрузчик данных из файлов DBF/XBase прямо в MySQL

[Дмитрий Кондин 690]

Значит в будущей версии в инсталляторе будет такая формочка, где пользователь сможет выбрать себе интересующие регионы и только их вгрузить, чтобы не загружать всю базу по РФ.

Будет компактно и удобно. А если нужно еще, то зайдет в настройки модуля и там догрузит из центра обновлений нужные регионы.

[Chernetskiy 469]

Наверное и районы в регионах появятся...? Иначе как без них КЛАДР грузить?

[Дмитрий Кондин 690]

Наверное и районы в регионах появятся...? Иначе как без них КЛАДР грузить?

Добавим и районы.

[domprim.ru 16]

Привет всем, интересует такой вопрос, если я сделаю экспорт улиц, а потом в документе поменяю все улицы и загружу документ обратно у меня все обьявления останутся без улиц? Тоесть их заново прописывать надо?

[domprim.ru 16]

И как мне наконец-то сделать привязку улиц к району?

[abushyk 694]

Привет всем, интересует такой вопрос, если я сделаю экспорт улиц, а потом в документе поменяю все улицы и загружу документ обратно у меня все обьявления останутся без улиц? Тоесть их заново прописывать надо?

 

Если после экспорта вы не удалите из базы улицы, то вгруженные просто дополнят список улиц, а старые останутся.

Если вы сделаете выгрузку, но очистите таблицу улиц, то возможно два варината:

1. чистили из админки - тогда новые улицы добавятся, но идентификаторы их не совпадут с теми, которые были удалены и объявления останутся без улиц.

2. очистили, но из phpMAdmon с помощью Очистить таблицу. Тогда новіе вгрузятся, но на те же идентификаторы, что были у удаленных улиц - 99% что получится бардак.

[abushyk 694]

И как мне наконец-то сделать привязку улиц к району?

 

На рабочей базе или на новой?

На новой проще всего сделать загрузку из csv но при загрузке указать район, для которого загружается файл.

На рабочей базе - в данный момент - через административную часть, поштучно указывать район.

[Chernetskiy 469]

Привет всем, интересует такой вопрос, если я сделаю экспорт улиц, а потом в документе поменяю все улицы и загружу документ обратно у меня все обьявления останутся без улиц? Тоесть их заново прописывать надо?

Если под словом "Документ" подразумевается выгрузить базу в формате xls, и загрузить обратно то ничего не произойдет, все улицы останутся на месте, если вы конечно самостоятельно не поменяете улицы или удалите их умышленно из файла xls перед загрузкой. Оба способа - загрузка улиц в справочник и загрузка своих объектов (базы) форматом xls пополняют базу улиц и информацию из базы не удаляют. Таким-же образом (загрузкой файла xls) можно пополнить и другие справочники - населенные пункты (города), районы, регионы и страны - справочники автоматом заполнятся при загрузке файла данными из него, надо только будет их связать в справочниках принадлежностью улиц к районам или населенным пунктам (городам), их в свою очередь с регионами а регионы со странами, если последние используются.

 

И как мне наконец-то сделать привязку улиц к району?

Наверное отключить соответствующую галочку в настройках, позиция "Включить привязку улиц к городу".

Вообще этот вопрос задается при заполнении справочника "Улицы" вручную, или при редактировании улиц или при заполнении справочника файлом улиц. Если выбираете конкретный район города, туда улицы и загрузятся. Если оставляете "Любой район", то район города для улиц учитываться не будет.

[domprim.ru 16]

Если под словом "Документ" подразумевается выгрузить базу в формате xls, и загрузить обратно то ничего не произойдет, все улицы останутся на месте, если вы конечно самостоятельно не поменяете улицы или удалите их умышленно из файла xls перед загрузкой. Оба способа - загрузка улиц в справочник и загрузка своих объектов (базы) форматом xls пополняют базу улиц и информацию из базы не удаляют. Таким-же образом (загрузкой файла xls) можно пополнить и другие справочники - населенные пункты (города), районы, регионы и страны - справочники автоматом заполнятся при загрузке файла данными из него, надо только будет их связать в справочниках принадлежностью улиц к районам или населенным пунктам (городам), их в свою очередь с регионами а регионы со странами, если последние используются.

 

Наверное отключить соответствующую галочку в настройках, позиция "Включить привязку улиц к городу".

Вообще этот вопрос задается при заполнении справочника "Улицы" вручную, или при редактировании улиц или при заполнении справочника файлом улиц. Если выбираете конкретный район города, туда улицы и загрузятся. Если оставляете "Любой район", то район города для улиц учитываться не будет.

Так что понял, тоесть мне нужно сейчас выгрузить всю базу квартир, на сайте через админку удалить все улицы и районы, загрузить все улицы и районы через кладр, загрузить обратно базу и все будет классно?

[Chernetskiy 469]

В принципе да, но не обязательно, если у вас справочник состоит из улиц, которые в объявлении и объявлений по пальцам пересчитать, вы просто подгружайте в справочник улицы файлом. Просто улицы продублируются в справочнике, первыми будут улицы из объявлений, далее улицы из файла, поэтому удобнее загрузить улицы списком в алфавитном порядке. К стати, в списке улиц из КЛАДРа есть много повторений, поэтому советую открыть их в Excell, удалить дубли (там есть функция), потом из списка выкинуть упоминание "ул." (улицы) - функция "заменить" ул. на пробел или ничего, чтобы у вас на сайте например не получилось "улица Центральная ул." да и выгрузке на сторонние сайты будет такая-же хрень, после этого уже отредактированный файл загружать в справочник. Размер справочника при этом неплохо сократится. У меня справочник улиц в Московской области с таким подходом сократился на 15-20%

[Chernetskiy 469]

В теме про переход на UTF-8 уже написал, но повторюсь сюда, как ближе к теме.

В свежей версии скрипта, при загрузке файла улиц в справочник "Улицы", загрузчик обрезает наименования улиц на свое усмотрение, в результате в справочнике остается от Заглавной буквы до нескольких, редко полное наименование.

На скриншоте уже со второй строки видно.

[domprim.ru 16]

В принципе да, но не обязательно, если у вас справочник состоит из улиц, которые в объявлении и объявлений по пальцам пересчитать, вы просто подгружайте в справочник улицы файлом. Просто улицы продублируются в справочнике, первыми будут улицы из объявлений, далее улицы из файла, поэтому удобнее загрузить улицы списком в алфавитном порядке. К стати, в списке улиц из КЛАДРа есть много повторений, поэтому советую открыть их в Excell, удалить дубли (там есть функция), потом из списка выкинуть упоминание "ул." (улицы) - функция "заменить" ул. на пробел или ничего, чтобы у вас на сайте например не получилось "улица Центральная ул." да и выгрузке на сторонние сайты будет такая-же хрень, после этого уже отредактированный файл загружать в справочник. Размер справочника при этом неплохо сократится. У меня справочник улиц в Московской области с таким подходом сократился на 15-20%

Спасибо буду пробовать

[1111 0]

К сожалению не нашел ни чего внятного по справочникам.

Пока прикрутил КЛАДР в Access. http://yadi.sk/d/fDWnbJvv6fNVJ

Чтобы работало нужно скачать .dbf-файлы КЛАДРА, распаковать в папку с базой.

В форме есть кнопка "обновить базу"

 

http://goo.gl/HMLtF - источник.

Возможно, не совсем по ветке вопрос, однако. на всякий случай спрошу - а нет ли у кого готовых баз по Москве, Подмосковью, СПб и Ленобласти для нулёвого сайта, на котором ещё ни одной объявы? Или хотя бы какого-то простого решения по заносу районов-метро-улиц в соответствующих связках?

[Chernetskiy 469]

Кое-что скинул на Яндекс.Диск, небольшие справочники можно загрузить вручную или автоматически следующим образом:

выгружаем свою базу, можно начальную с 2-мя объектами, приложением Excell (лучше платным, чтобы можно было загрузить обратно), и полученный XLS файл редактируем - копируем в него список стран, регионов, населенных пунктов, метро и т.п., улицы лучше не трогать и загрузить отдельно, после этого загружаем тем-же модулем Excell отредактированный файл обратно в базу и удаляем получившиеся пустые объекты. Справочники заполнены и останется только их увязать друг с другом - страны с регионами, регионы с нас.пунктами и т.п.

 

Что касается загрузки улиц текстовым файлом, сначала не грузите всю базу а только несколько улиц и проверьте результат загрузки, т.к. загрузиться могут ошибочно и потом придется удалять несколько тысяч позиций...

 

Справочники здесь: http://yadi.sk/d/vbs4sjGk6jRjd

[1111 0]

Кое-что скинул на Яндекс.Диск, небольшие справочники можно загрузить вручную или автоматически следующим образом:

выгружаем свою базу, можно начальную с 2-мя объектами, приложением Excell (лучше платным, чтобы можно было загрузить обратно), и полученный XLS файл редактируем - копируем в него список стран, регионов, населенных пунктов, метро и т.п., улицы лучше не трогать и загрузить отдельно, после этого загружаем тем-же модулем Excell отредактированный файл обратно в базу и удаляем получившиеся пустые объекты. Справочники заполнены и останется только их увязать друг с другом - страны с регионами, регионы с нас.пунктами и т.п.

 

Что касается загрузки улиц текстовым файлом, сначала не грузите всю базу а только несколько улиц и проверьте результат загрузки, т.к. загрузиться могут ошибочно и потом придется удалять несколько тысяч позиций...

 

Справочники здесь: http://yadi.sk/d/vbs4sjGk6jRjd

Огромное спасибо! Надо в это всё, конечно въехать, постараюсь максимально пройти по вашей инструкции. Жаль, конечно, что скриптом до сих пор не предусмотрена загрузка автоматом хотя бы миллионников... Ещё раз спасибо, сейчас буду разбираться...