Не хватает оперативной памяти при сканировании Screaming Frog?
Никогда не уделял особого внимания не хватке оперативной памяти при сканировании сайтов для их анализа, т. к. на основном рабочем компе 32Гб оперативки стоит, а на ноутбуке сейчас у меня всего 8. Если страниц на сайте много и данные для отчета начинают занимать около 2Гб — программа выдает ошибку о нехватке оперативной памяти для дальнейшей работы. Но у меня английский только с «переводчиком» и особо ранее никогда не читал что же там написано в сообщении… Оказывается прогой можно проходить и сайты не только со 100к страницами на сайте, но и более 1 млн. Для этого нужно только переключить режим хранения базы данных. Перевод:
Обзор
Screaming Frog SEO Spider использует настраиваемый гибридный механизм хранения, который может позволить ему сканировать миллионы URL-адресов. Однако для этого требуется конфигурация памяти и хранилища, а также рекомендуемое оборудование.
По умолчанию SEO Spider будет сканировать с использованием оперативной памяти, а не сохранять на диск. У этого есть преимущества, но он не может ползать в масштабе, без выделения большого количества оперативной памяти.
SEO Spider может быть настроен для хранения на диск с использованием режима хранения базы данных, что позволяет ему сканировать в масштабе, открывать сохраненные обходы намного быстрее и постоянно сохранять данные обхода, чтобы избежать «потерянных обходов», таких как случайный перезапуск машины или ‘очистка’ обхода.
Режим хранения памяти
В стандартном режиме хранения памяти нет установленного количества страниц, которые он может сканировать, это зависит от сложности сайта и спецификаций пользователей. SEO Spider устанавливает максимальную память 1 ГБ для 32-битных и 2 ГБ для 64-битных машин, что позволяет ему сканировать обычно между 10k-100k URL-адресами сайта.
Вы можете увеличить выделение памяти SEO Spider и проникнуть в сотни тысяч URL-адресов исключительно с использованием оперативной памяти. 64-битная машина с 8 ГБ оперативной памяти, как правило, позволит вам сканировать пару сотен тысяч URL-адресов, если выделение памяти будет увеличено.
Режим хранения базы данных
SEO Spider может быть настроен для сохранения данных обхода на диск, что позволяет ему сканировать миллионы URL-адресов. Обходы также автоматически сохраняются в режиме хранения базы данных, и они открываются значительно быстрее через меню ‘Файл> Обходы’.
Мы рекомендуем режим хранения базы данных в качестве конфигурации хранения по умолчанию для всех пользователей с твердотельными накопителями (SSD), так как жесткие диски значительно медленнее при записи и чтении данных. Это можно настроить, выбрав режим хранения базы данных (в разделе ‘Конфигурация> Система> Хранилище’).
В качестве приблизительного руководства SSD и 4 ГБ оперативной памяти, выделенные в режиме хранения базы данных, должны позволить SEO Spider сканировать ок. 2 миллиона URL-адресов. Мы рекомендуем эту конфигурацию в качестве настройки по умолчанию для большинства пользователей изо дня в день.
Screaming Frog SEO Spider использует настраиваемый гибридный механизм хранения, который может позволить ему сканировать миллионы URL-адресов. Однако для этого требуется конфигурация памяти и хранилища, а также рекомендуемое оборудование.
По умолчанию SEO Spider будет сканировать с использованием оперативной памяти, а не сохранять на диск. У этого есть преимущества, но он не может ползать в масштабе, без выделения большого количества оперативной памяти.
SEO Spider может быть настроен для хранения на диск с использованием режима хранения базы данных, что позволяет ему сканировать в масштабе, открывать сохраненные обходы намного быстрее и постоянно сохранять данные обхода, чтобы избежать «потерянных обходов», таких как случайный перезапуск машины или ‘очистка’ обхода.
Режим хранения памяти
В стандартном режиме хранения памяти нет установленного количества страниц, которые он может сканировать, это зависит от сложности сайта и спецификаций пользователей. SEO Spider устанавливает максимальную память 1 ГБ для 32-битных и 2 ГБ для 64-битных машин, что позволяет ему сканировать обычно между 10k-100k URL-адресами сайта.
Вы можете увеличить выделение памяти SEO Spider и проникнуть в сотни тысяч URL-адресов исключительно с использованием оперативной памяти. 64-битная машина с 8 ГБ оперативной памяти, как правило, позволит вам сканировать пару сотен тысяч URL-адресов, если выделение памяти будет увеличено.
Режим хранения базы данных
SEO Spider может быть настроен для сохранения данных обхода на диск, что позволяет ему сканировать миллионы URL-адресов. Обходы также автоматически сохраняются в режиме хранения базы данных, и они открываются значительно быстрее через меню ‘Файл> Обходы’.
Мы рекомендуем режим хранения базы данных в качестве конфигурации хранения по умолчанию для всех пользователей с твердотельными накопителями (SSD), так как жесткие диски значительно медленнее при записи и чтении данных. Это можно настроить, выбрав режим хранения базы данных (в разделе ‘Конфигурация> Система> Хранилище’).
В качестве приблизительного руководства SSD и 4 ГБ оперативной памяти, выделенные в режиме хранения базы данных, должны позволить SEO Spider сканировать ок. 2 миллиона URL-адресов. Мы рекомендуем эту конфигурацию в качестве настройки по умолчанию для большинства пользователей изо дня в день.
Для активации этой настройки нужно открыть «Configuration > System > Storage» и сменить Mode с Memory на Database.
В результате почти 0.5 млн. страниц сайта просканировано. По времени конечно это довольно долго занимает, но порой оно стоит того.
Похожие статьи:
Комментарии: