Парсинг сайтов для Битрикс
Благодаря парсингу можно получить различные данные с сайтов конкурентов, причём в автоматическом режиме. Скрипты-парсеры обходят нужные страницы и получают с них нужную информацию.
Результат работы заносится в базу данных (например, MySQL) или в электронную таблицу (Excel и т.д.).
В дальнейшем данные можно анализировать или сразу загрузить на свой сайт.
Что можно парсить?
Например, ассортимент и цены конкурентов, что позволит заполнить каталоги своего интернета-магазина.- картинки
Можно в автоматическом режиме обойти список URL и скачать из них картинки или же сразу грузить на нужный ftp-сервер.- технические характеристики товара
Обычно товары интернет-магазина имеют большое количество свойств (параметров) - цвет, габаритные размеры, вес и т.д. Вся эта информация может быть спарсена и в дальнейшем загружена
на нужный сайт. Также её можно использовать для создания фильтра по этим параметрам.- разновидности товара
Скрипт может получить с нуных URL информацию о товарах с одним названием, но в разных модификациях. Это может быть одежда различных цветов и размеров, автомобили в разных комплектациях.
Получив эту информацию, можно заполнить каталог своего интернет-магазина Битрикс.- структура сайта
Структура сайта очень пригодится, если возникает необходимость создания интернет-магазина, для которого нет списка разделов каталога.- описание товара
Возможно получить описание всех товаров сайтов-конкурентов. Причём возможно написать парсер, заменяющий определённые ключевые слова словами из своего списка.- стоимость товаров и остатки на складе
Цены конкурентов нужны для того, чтобы держать стоимость товаров в нашем интернет-магазине примерно на уровне конкурентов. Причём важно получить и остатки товаров, и учитывать единицы измерения.Парсеры имитируют действия пользователей и повышают нагрузку на сайт. Поэтому далеко не все их владельцы будут спокойно смотреть, как по их сайту "рыскают" подобные скрипты.
Чем защищаются от парсинга сайтов?
- запрещают доступ с каких-то IP-адресов;- ограничивают скорость получения данных;
- блокируют подозрительные источники, которые можно понять по таким признакам, как размер и разрешение экрана, HTML-заголовкам и т.д.
Парсинг могут признать незаконным, если:
- в процессе работы были получены личные данные пользователей, чего не должно быть;- сбор информации для получения преимущества на рынке;
- слишком большая нагрузка на сайт может быть расценена как вмешательство в работу компьютерных сетей, а это уже может быть квалифицироваться как уголовное преступление;
- была получена информация, защищённая авторским правом (статья 7.12 КоАП) или коммерческая тайна.
Когда парсинг наиболее оправдан?
- если нужно в сжатые сроки получить информацию и начать её использовать;- когда товарный каталог очень объёмный, с большим количеством позиций, и человек будет обрабатывать его очень долго;
- когда у каждого товара имеется много свойств, что значительно увеличит наполнение каталога вручную;
- если нужно настроить автоматический парсинг сайта - например, раз в день или раз в неделю;
- также стоит помнить про человеческий фактор - например, контент-менеджер может пропустить какие-то позиции, неправильно заполнить названия или забыть про часть свойств. Грамотно настроенный скрипт таких проблем не имеет.
Вопросы и ответы
Что будет, если изменится структура сайта-источника?
- мы стараемся сделать скрипт максимально универсальным. Изменение структуры сайта может сделать парсинг сайта невозможным и потребуется повторная работа программиста, что является новой задачей и
должна быть оплачена отдельно. Можно заключить договор технической поддержки с нашей компанией и делать изменения в рамках соглашения.
Можно ли полностью скопировать сайт подобным инструментом?
- парсер может получить по нужным ссылкам весь контент сайта вместе с картинками, но такая информация не будет уникальной, из-за чего не получится добиться хороших позиций в поисковых системах.