Главная > PHP > Правильный старт для парсера

Правильный старт для парсера

14.02.2012 1 коммент. » Просмотры: 1 319
 

Для того чтобы тратить наименьшее время на разработку, я всегда начинаю писать парсер с конфигурации его работы в системе.

Итак, вперед!

Включаем вывод всех ошибок и предупреждений, сэкономим себе время на отладке

Пробуем выделить себе побольше памяти, если это необходимо

Устанавливаем время жизни скрипта (ниже описано почему так делать не надо)

Разрешаем выполнение скрипта, после отключения пользователя

Разрешаем вывод данных в броузер без кеширования

Тут можно остановиться, но есть еще несколько советов:

1. Не создавайте бесконечных циклов, без возможности выхода из них. Применяйте хотя бы такой код:

Так вы сможете обезопасить себя от создания зомби-процессов

2. Не используйте set_time_limit для остановки скрипта, используйте лучше такой код:

Помните, что set_time_limit убивает процесс, ему все равно что-там происходит (например запись в файл)

3. Не создавайте несколько запущенных копий парсеров, если это не предусмотрено. Это грозит Вам,
как минимум второй копией данных, используйте, что-то вроде такого кода:

4. Не забывайте выставлять локаль для русского регистронезависимого поиска с использованием pcre

5. Используйте кешировнаие при отладке, так Вы снизите риск получить бан, и скорость отладки возрастет

 

Автор: | Теги:

Важно

У нас заработал ФОРУМ. Все вопросы, которые не касаются статьи, а так же вопросы по конкретно вашему случаю нужно задавать и обсуждать именно там, в разделе "Помощь пользователям".

Есть 1 комментарий.

Написать свой
  1. Denis Ответить
    11.10.2013 в 10:17 дп
    Спасибо. Очень полезно!

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Разрешены HTML-теги: <a>, <code>, <i>, <em>, <strong>, <b>, <u>, <strike>