Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиКалендарьОблакоЗаметкиВсе проекты

Обработка большой информации парсер.

Назира Абдырасулова Ученик (222), закрыт 4 года назад
Нужно распарсить адреса с опенстрит и собрать адреса. Отобразить в браузере и сохранить в БД. Но из за большого времени выполнения скрипта выходит ошибка "Internal Server Error". Если я буду записывать только в БД и не буду отображать в браузере, то сократит ли это выполнение скрипта???
Лучший ответ
ewe 2e¶ CoЛнЫшКоcBeTиТоЧеНЬяРкО* Высший разум (307013) 5 лет назад
Вам же не надо брать адреса и парсить на каждом запросе, верно? Только тогда, когда адреса сильно меняются или при создании.
Пишете скрипт для командной строки (у него нет ограничения по времени, у меня скрипты сутками так работают). Запускаете его на своем домашнем компе. В скрипте берете файл с сервиса, парсите его, записываете в БД. Готовую БД переносите со своего компа на сервер, где крутится ваш сервис. И только после этого оно и будет показываться в браузере.
Остальные ответы
Speed (Demon On Wheels) Racer Просветленный (30561) 5 лет назад
сделаем мы а зар. плату тебе?
Назира АбдырасуловаУченик (222) 5 лет назад
Вам никто не говорит делать это! ) Для этого и созданы форумы и этот проект, что бы помогать и отвечать на вопросы по доброте душе. Если знаешь почему бы не помочь. Я никого не принуждаю просто надеюсь что некоторые не обойдут стороной.
Раджа Ученик (101) Он тоже не знает. Возьмёт твои деньги, отстегнёт программисту, и навар в карман
Раджа Ученик (101) 5 лет назад
Через CRON реализуй, послушай первого ответчика. Убрав echo в браузер выигрыш мизерный.
Назира АбдырасуловаУченик (222) 5 лет назад
Вот честно не знаю как работать с кроном
ewe 2e¶ CoЛнЫшКоcBeTиТоЧеНЬяРкО* Высший разум (307013) А почему надо дописывать ваш имеющийся код (имхо прямо неоптимальный), вместо того, чтобы сделать по-нормальному?
Quatrix Мыслитель (5427) 5 лет назад
Парсь с локалхоста, там можно все ограничения обойти... По опыту знаю ;))
Похожие вопросы