Бесплатные парсеры для вк: почему бы и нет?

Сервисы

Так как в сети есть множество сервисов, способных парсить группы в ВК, выбор наиболее эффективного и подходящего для вашего проекта – это важный этап, которому стоит уделить достаточно внимания.


Дабы сэкономить ваше время, я сузил список достойных вариантов до минимума. Ниже представлены наиболее эффективных парсеры.

Название Тарифы Бесплатная версия
VkCommunityParser бесплатно да
Lizard VK Bot 690 рублей нет
790 рублей нет
от 990 рублей

да, ограничен функционал

от 30 руб 90 дней бесплатно
БроБот от 599 руб

бесплатно для 1-го аккаунта

VkCommunityParser

Это один из самых популярных сервисов, специализирующихся именно на парсинге сообществ во ВКонтакте. Сервис абсолютно бесплатный, поэтому воспользоваться им сможет абсолютно каждый.

С его помощью можно найти группы по следующим критериям:

  • по ключевым словам (есть также возможность добавить минус-слова);
  • наличие открытой стены;
  • наличие сообщений;
  • наличие открытых видеозаписей;
  • география;
  • количество участников;
  • тип сообщества (открытые, закрытые).

У данного парсера есть только один минус – сервис не обладает какими-либо дополнительными инструментами. Если вы хотите использовать полученный список ID, допустим, для парсинга целевой аудитории, то необходимо использовать сторонний софт.

Lizard VK Bot

Это многофункциональный бот, предназначенный для раскрутки во ВКонтакте, имеющий в своем арсенале парсер групп и не только.

С его помощью вы сможете осуществить парсинг сообществ по следующим параметрам:

  • содержание ключевых слов;
  • количество участников;
  • открытость сообщества;
  • открытость стены;
  • открытость комментариев;
  • география.

Сервис платный и ежемесячная оплата составляет 690 рублей.

Бот содержит все необходимые для раскрутки в ВК инструменты (парсинг, рассылка, инвайтинг, масслайкер и многое другое), поэтому он отлично подойдет тем людям, которые хотят получить полный функционал в одной программе.

LParser VK

Парсер от компании Lizard Program – той самой компании, которая разработала вышеописанный бот.  Если вам не нужны все те функции, которые есть у бота, а нужен исключительно парсер групп ВК, тогда нет смысла переплачивать. Можно просто приобрести его отдельно.

Функционал парсера идентичный, а стоимость сервиса составляет 790 рублей навсегда.

Другие сервисы, достойные внимания

Дабы не обделять вниманием другие достойные сервисы, упомянем и их:

  • БроБот – для 1 анкеты бесплатно, для 10 анкет от 599 руб./мес.

Все три упомянутые программы являются полными аналогами Lizard VK Bot, поэтому расписывать их функционал отдельно – нет смысла. При выборе того или иного бота вам стоит опираться лишь на личные предпочтения и финансовые возможности.

FDE Grabber

Еще один платный парсер с большим числом функций. Это уже из разряда дорогих грабберов, так как обойдется он примерно в 90 долларов. Но использовать его можно будет сразу на 10 серверах, то есть в теории разные вебмастера могут скинуться по 9 долларов, удешевив таким образом покупку.

FDE Grabber – это не совсем плагин для WordPress. Разработчики называют свое творение автономной системой, которая работает независимо от типа CMS, установленной на сайте. Основные возможности этой системы парсинга:

  • выкачка полномасштабных новостей или отдельных фрагметов;
  • автоматическая загрузка в дубли материала фотографий;
  • можно планировать публикации;
  • если хотите уникализировать дублируемый материал, есть встроенная функция синонимайза;
  • можно работать через прокси-серверы;
  • парсинг способен обходить редиректы, которые для других плагинов могут стать проблемой;
  • можно автоматически скачать все содержимое с сайта и переместить на вашу площадку (если дело касается не новостных порталов);

Вы сможете настроить парсинг полностью по собственному усмотрению, так как у программы есть возможность внедрения микропрограмм для коррекции работы. К примеру, так можно настроить особенности выравнивания и оформления копируемого материала. Также вы сможете добавить параметры noindex и nofollow для всех ссылок, которые будут в тексте страницы. Парсер даже позволяет копировать и автоматически переводить статьи с иностранных ресурсов. Это отличный способ создать постоянный поток контента на ваши страницы, который со временем начнет привлекать посетителей!

6. Groups updates

6.1. Long Poll

Enable Long Poll for your group and specify which events should be tracked by calling the following API method:

$vk = new VK\Client\VKApiClient();
$vk->groups()->setLongPollSettings($access_token, array(
  'group_id'      => 159895463,
  'enabled'       => 1,
  'message_new'   => 1,
  'wall_post_new' => 1,
));

Override methods from VK\CallbackApi\VKCallbackApiHandler class for handling events:

class CallbackApiMyHandler extends VK\CallbackApi\VKCallbackApiHandler {
    public function messageNew($object) {
        echo 'New message: ' . $object;
    }
    
    public function wallPostNew($object) {
        echo 'New wall post: ' . $object;
    }
}

To start listening to LongPoll events, create an instance of your CallbackApiMyHandler class, instance of VK\CallbackApi\LongPoll\VKCallbackApiLongPollExecutor class and call method listen():

$vk = new VK\Client\VKApiClient();
$access_token = 'asdj4iht2i4ntokqngoiqn3ripogqr';
$group_id = 159895463;
$wait = 25;

$handler = new CallbackApiMyHandler();
$executor = new VK\CallbackApi\LongPoll\VKCallbackApiLongPollExecutor($vk, $access_token, $group_id, $handler, $wait);
$executor->listen();

Parameter wait is the waiting period.

While calling function listen() you can also specify the number of the event from which you want to receive data. The default value is the number of the last event.

Example:

$vk = new VK\Client\VKApiClient();
$access_token = 'asdj4iht2i4ntokqngoiqn3ripogqr';
$group_id = 159895463;
$timestamp = 12;
$wait = 25;

$executor = new VK\CallbackApi\LongPoll\VKCallbackApiLongPollExecutor($vk, $access_token, $group_id, $handler, $wait);
$executor->listen($timestamp);

6.2. Callback API

To start using Callback API you need to configure it under the «Manage community» tab of your community page.

The first step is confirming your domain. VK sends a request to your server with the event type confirmation and you need to send back a confirmation string. For other types of events you need to send back string.

Take a look at this example:

class ServerHandler extends VK\CallbackApi\Server\VKCallbackApiServerHandler {
    const SECRET = 'ab12aba';
    const GROUP_ID = 123999;
    const CONFIRMATION_TOKEN = 'e67anm1';

    function confirmation(int $group_id, ?string $secret) {
        if ($secret === static::SECRET && $group_id === static::GROUP_ID) {
            echo static::CONFIRMATION_TOKEN;
        }
    }
    
    public function messageNew(int $group_id, ?string $secret, array $object) {
        echo 'ok';
    }
}

$handler = new ServerHandler();
$data = json_decode(file_get_contents('php://input'));
$handler->parse($data);

To handle events you need to override methods from VK\CallbackApi\Server\VKCallbackApiServerHandler class as shown above.

event handler has 2 arguments: group id, and secret key. You need to override this method.

Установка и настройка скрипта парсинга вКонтакте

Данный скрипт распространяется по электронной почте и является платным. Стоимость комплекса 130wmz, давайте рассмотрим что сюда входит и как это все работает. Архив состоит из 3-х частей:

  • Исходник системы LiveStreet CMS, подготовленный к работе
  • Скрипт парсинга обсуждений закрытых групп
  • Скрипт парсинга фотогалерей

Первым делом мы, конечно, устанавливаем LiveStreet, причем нужно брать исходник именно из скрипта, так как в нем представлена более молодая версия системы (ls 3.1), отличающаяся от последней. В качестве требования для функционирования системы указано PHP не ниже версии 5.2.1 с поддержкой расширения mbstring, база данных MySQL 5. По словам разработчиков LiveStreet работает как  на вебсервере Apache 2 с включенным модулем mod_rewrite, так и на связке nginx + FastCGI. В процессе установки я также столкнулся с тем, что для парсинга понадобиться установка библиотеки lib_curl, а так в принципе требования вполне стандартные подходящие для всех нормальных хостингов.

На официальном сайте системы вы можете почитать про автоматическую и ручную установку LiveStreet последних версих, я расскажу что нужно делать по скрппту:

Дальше непосредственно нужно установить скрипты парсинга. Для каждого из них вы найдете инструкцию по установке в фалах readme.txt. Вкратце вам придется записать эти файлы в ту же директорию, где установлен LiveStreet, плюс в одном из них указать логин и пароль для доступа в систему.

После этого можете запускать скрипт парсера http://site.ru/vkparser/ и копировать информацию. Вам нужно будет указать из какой группы брать тексты, сколько должно быть записей и куда их размещать. Более подробно почитаете в инструкции по установке, выглядит это все приблизительно следующим образом:


Вот в принципе и все. Понятное дело, что одним кликом вы не создадите сотню сайтов и не заработаете миллион. Скрипт парсинга вКонтакте — это всего-лишь инструмент, который поможет вам значительно ускорить процесс создания сайтов, не более того.

К преимуществам скрипта можно отнести:

  • Быструю работу.
  • Простоту установки и использования.
  • Парсинг не только контента, комментариев, но и галереи изображений, что добавит сайту «человечности».
  • Много уникального контента из социальной сети вКонтакте, поскольку 95% групп являются закрытыми.
  • Использование хорошей системы LiveStreet с большими возможностями, который идеально подходит для отображения контента из социальной сети.

Если вы все будете делать правильно, осторожно и грамотно, то сможете получить хорошие СДЛ сайты с большим числом страниц для заработка на биржах ссылок

  • Стоимость скрипта: 130вмз.
  • Для покупки обращайтесь: icq 7084901.

По словам разработчика он весьма успешно использует данный скрипт для парсинга еще с лета. За это время ни один сайт не попал под АГС, потому как контент получается уникальный, отображается с помощью LiveStreet очень естественно.

Удачной всем работы:)

P.S. Постовой. Если вы хотите купить одежду, то можете с легкостью сделать это зайдя в интернет магазин женской одежды — подробный каталог товаров, брендовая одежда. Грамотная оптимизация и раскрутка сайта от SeoProfy в персональном блоге опытного сеошника. Для печати листовок обращайтесь в художественно-издательский центр, где услугу цифровая цветная печать москва выполняется максимально быстро и недорого.

О приложении

Это поможет примерно прикинуть и целевую аудиторию, и ее вкусы. А значит, сможете разобраться, что вы можете сделать лучше, от каких вариаций лучше отказаться, а где хватит и банального копирования контента (если он не уникален сам по себе, это вполне допустимо).

На помощь придет программа VKCommunityParser. Она создана для того, чтобы помочь вам собрать собственную базу сообществ по большому количеству параметров. Конечно, использовать полученную базу предстоит с умом — программа обеспечит вас данными, но делать выводы, как ни крути, придется самостоятельно.

Использовать данные можно и для скачивания интересных записей, и для дальнейших рассылок, и для банального «переманивания» участников из похожих сообществ. Ну а что? В конкурентной борьбе все средства хороши, а вы имеете все шансы добиться действительно хороших результатов при выборе правильной стратегии. Скачайте VKCommunityParser бесплатно прямо сейчас.

Отличия от платного софта

Так в чем же отличия бесплатных программ от платных? – Спросите вы. Зачем тогда платные сервисы просят денег, если они ничем не лучше бесплатных?

Во-первых, некоторые бесплатные программы имеют ограничения: на количество информации, которую они могут найти (например, до 60 тыс. участников сообществ), на скорость парсинга и т.д. У платных, как правило, такие ограничения отсутствуют. Но опять же, смотря с какими сервисами сравнивать. Есть и такой бесплатный софт, где нет никаких ограничений.

Во-вторых, многопоточность. То есть, платные программы умеют работать не с одним аккаунтом, а сразу с несколькими. Этот плюс больше относится к большим компаниям, которые парсят сразу много информации, у которых сжатые сроки и все такое. Обычным же людям и предпринимателям вполне хватает работать с одним аккаунтом. В крайнем случае, можно использовать несколько аккаунтов или парсить несколькими парсерами одновременно.

Ну и наконец самое интересное и самое главное отличие. Разработчики платных парсеров «выехали» за счет внедрения в свой софт дополнительного набора инструментов. Тех самых рассылки, инвайтинга, масслайкинга и других полезностей для ВКонтакте.

Зачастую людям одной лишь услуги парсинга недостаточно. Им хочется сделать рассылку личных сообщений полученной парсерами аудитории или пригласить всех в друзья/сообщество и т.д. И дабы не использовать несколько программ, люди покупают многофункциональных ботов, умеющих делать все это.

Рекомендуем к прочтению статью “Парсеры номеров телефонов: все, что нужно знать о них“.

Парсинг. Как это работает?

Итак, прежде чем начать анализ, вам придется прикинуть примерный портрет вашей целевой аудитории, а затем понять, где эти самые люди могут обитать в больших количествах.

После этого в дело включается парсер. Именно он соберет для вас базу данных людей, которых ваше предложение может заинтересовать. Параметры поиска вы отбираете сами, и у большинства программ количество задаваемых критериев уже перевалило за сотню.

Обычно для поиска идеально подходят группы ВК, где, что логично, сидят люди, интересующиеся местной тематикой. Итак, парсинг может происходить по следующим параметрам:

  • Сбор информации по подписчикам тематических групп (поиск групп происходит по ключевым словам).
  • Сбор данных пользователей, которые подписались на группы-конкуренты.
  • Анализ активной части аудитории (комментирование, лайки).
  • Сбор данных об администрации сообществ.
  • Информация о тех, кто только что вступил в группу интересующей вас тематики.

Выдача подборки людей с нужным вам полом, возрастом, именем. Некоторые программы найдут пользователей, у которых скоро день рождения, которые состоят в отношениях или, напротив, одиноки. Можно задать даже нужное количество детей.

Также осуществляется фильтрация удаленных и заброшенных аккаунтов, а также ботов. Так что на выходе вы получите результаты с максимально «живой» аудиторией.


Результатами работ станет файл с подробной базов целевой аудитории. Можно использовать эти данные,запустив специальный сервис по накрутке или же самостоятельно, организовывая рассылки, приглашения в группу и т.д. Если вам реально есть что предложить — есть реальный шанс, что вас заметят.

Функционал

Программа VKCommunityParser обладает довольно широким функционалом, который позволяет составить довольно точное впечатление о тех или иных сообществах в социальной сети.

  • Сбор базы осуществляется по определенному типу сообществ. Вы можете получить информацию о группах, публичных страницах или встречах, но никак не обо всех одновременно.
  • Поиск проходит с помощью заданных пользователе ключевых слов. Причем каждое анализируется по очереди, а не в связке с остальными. Результат выдается также. Количество результатов по каждому слову поиска можно отрегулировать, задав его конкретным числом в специальном поле (и очень советуем это делать, а то до ночи не «раскопаетесь»).
  • Возможно анализировать сообщества по региону, выбрав страну и город. Правда, стран представлено на выбор всего 4: Россия, Украина, Беларусь и Казахстан. Но это гораздо лучше, чем ничего.
  • Большое количество задаваемых критериев позволит вам создавать максимально полезные и информативные базы.
  • Возможность сортировать или ограничивать базу по количеству участников сообщества. Так вы сможете сразу анализировать самые топовые сообщества.
  • Программа может собирать как ссылки на сообщества, так и их ID.
  • Возможно задавать не только ключевые, но и стоп-слова. Это отгородит вас от нежелательного контента.
  • Простая авторизация с помощью логина и пароля Вконтакте.
  • Сохранение полученных баз отдельными текстовыми файлами.

WP-O-Matic

Весьма популярный модуль для WordPress, который позволит вам настроить функциональный парсер новостей с других площадок. Устанавливается инструмент самым простым способом: либо через загрузку напрямую в папку на хостинге, либо через вкладку “Плагины”.

Далее вам предстоит настроить работу плагину, если хотите обеспечить парсинг контента. Для этого достаточно четыре раза нажать “Next” и в конце “Submit”. Таким образом, вы подтвердите согласие с правилами пользования данным модулем WordPress. В частности, согласитесь с тем, что только вы несете ответственность за кражу чужих материалов, содержания других сайтов и т. д.

Если кроме текстовой составляющей вас еще интересуют картинки, тогда необходимо создать в папке с плагином директорию под названием Cache. Установите особые права доступа к этой папке. Далее вам предстоит вернуться в админку WordPress. Зайдите в настройки плагина и внимательно посмотрите, нет ли галочки около пункта Unix cron. Вам необходимо утвердительно отметить пункт Cache Image, чтобы парсер новостей также копировал и картинки к вам на ресурс.

Модуль WP-O-Matic хорош тем, что работает на любой странице сайта. Вы сможете добавить отдельную рубрику, если хотите, чтобы список новостей и контента, который предоставил парсер, отображался именно там. Для этого предварительно создайте необходимую рубрику. Затем в адмике WordPress в настройках инструмента WP-O-Matic нажмите Add Campaign. В строке Categories отметьте галочкой созданную вами специальную рубрику. А в форме Feeds пропишите RSS ленты, которую вы собрались парсить. Вы сможете прописать сразу несколько URL для лент, чтобы парсер текста собирал информацию сразу с трех или даже четырех ресурсов.

И еще один огромный плюс в сторону плагина WP-O-Matic – это автоматическая публикация материала. Вам не придется ежечасно заходить в админку WordPress, чтобы менять статус постов на “Опубликованный”. Модуль сделает это самостоятельно. И если пожелаете, он может уникализировать текст через специальный механизм синонимизации. В этом ключевое отличие данного инструмент от его конкурента – плагина FeedWordPress.

Возможности плагина:

  • Ручной и автоматический парсинг записей с групп / сообщества / страницы пользователя ВКонтакте на ваш сайте;
  • Регулируемая глубина парсинга (сколько последних записей сохранять);
  • Выбор конкретного типа записей, для сохранения: все записи, только от владельца группы, все кроме записей владельца, только репосты, пропуск репостов;
  • Выбор статуса записи после сохранения: опубликовано/черновик;
  • Проверка на ранее сохраненные записи, возможность выбрать: сохранять старые записи/пропускать;
  • Выбор категории на сайте, в которую будут сохраняться записи из группы;
  • Выбор пользователя, от имени которого будут сохраняться записи из группы;
  • Задание правил формирования заголовков записей (Seo);
  • Задание правил формирования содержания записей, в которых нет текста (Seo);
  • Возможность (автоматически) указать ссылку на исходную запись в группе ВКонтакте;
  • Лог (история) действий, выполняемых плагином, в том числе обращений к API ВКонтакте;
  • В случае выхода новой версии плагина, он будет автоматически обновлен через админ панель сайта.
  • Возможность сохранять все полученные изображения в медиафайлы (на ваш сервер)
  • Сохранение gif файлов
  • Формирование стандартной wordpress галереи на основе сохраняемых изображений
  • Сохранение комментариев к записи, с настройками их количества, сохранением изображений найденных внутри комментария, поиска и удаления ссылок а также сохранение иерархии (древовидности) для комментариев.
  • Формирование и сохранение тегов (меток) на основе заголовка записи, с настройками стоп-слов и прочих фильтров для более точной выборки нужных тегов.
  • Сохранение записей не только в стандартные wordpress категории, а и в любые другие кастомные таксономии, а также в кастомные типы записей (post_type)
  • Сохранение ссылки на первоисточник. Возможность включить или отключить её отображение в конце записи.
  • Сохранение количества отметок «мне нравиться», комментариев, репостов к записи VK. Возможность включить или отключить их отображение в конце записи, а также возможность их стилизации средствами css.
  • Автоматическое создание пользователей на основе автора записи ВК и автора комментария. Возможность сохранять и выводить на сайте фотографию автора. (Требуется установка дополнительного плагина: WP User Avatar)
  • Сохранение записей с закрытых групп, при условии что вы вступили в неё и ввели access_token в плагин, инструкция по получению которого есть внутри плагина.
  • Синхронизация дат публикации записей и комментариев с оригинальными записями в VK
  • Сохранение прикрепленных к записи ссылок на сторонние сайты
  • Формирование галереи как ВКонтакте (кирпичиками)
  • Лайтбокс для сохраненных изображений
  • Возможность сохранять или пропускать прикреплённые на стене, репосты, рекламные и еще много других видов записей
  • Возможность парсить со стены не только групп и сообществ, а и со стены пользователя
  • Гибкая настройка логирования, сроков хранения отчетов, а также их автоматическое удаление по истечению срока давности
  • Возможность вставить произвольный текст в сохраняемую запись, а также выбрать её расположение (до или после основного текста)
  • Реализован механизм поиска и сохранения записей по маске (словам/словосочетаниям)

Инструция по установке:

Процедура установки плагина, предполагает то что у вас есть файл (архив) и ключ активации плагина, полученные после покупки данного плагина. Если все ок — действуем по инструкции ниже:

  1. Переходим в раздел «Плагины», в админке вашего сайта
  2. Вверху страницы, жмём на «Добавить новый» -> «Загрузить плагин», и в форме выбираем полученный после покупки файл (архив), после чего жмём на кнопку «Установить»
  3. После того как плагин будет установлен, жмём на кнопку «Активировать», дожидаемся активации плагина, и по её завершению переходим в раздел «VK Group Parser» -> «Настройки»
  4. Перейдя в настройки плагина, остаёмся в разделе «Основные настройки», и в открытой вкладке «Плагин», в поле «Лицензионный ключ» вводим ключ активации который вы получили после покупки плагина, и жмём на кнопку «Сохранить настройки», дождавшись сохранения настроек, вы должны увидеть статус активации — «Активирован»
  5. Следующим этапом в завершении установки, будет получение «VK Access token», эта процедура очень лёгкая и займет у вас не более 5 минут, вся инструкция по его получению есть в настройках плагина, вкладка — «Справка (F.A.Q)»

5. API Requests

5.1. Request sample

Example of calling method users.get:

$vk = new VK\Client\VKApiClient();
$response = $vk->users()->get($access_token, array(
    'user_ids'  => array(1, 210700286),
    'fields'    => array('city', 'photo'),
));

5.2. Uploading Photos into a Private Message

Call photos.getMessagesUploadServer to receive an upload address:

$vk = new VK\Client\VKApiClient();
$address = $vk->photos()->getMessagesUploadServer('{access_token}');

Then use upload() method to send files to the upload_url address received in the previous step:

$vk = new VK\Client\VKApiClient();
$photo = $vk->getRequest()->upload($address, 'photo', 'photo.jpg');

You will get a JSON object with server, photo, hash fields. To save a photo call photos.saveMessagesPhoto with these three parameters:

$vk = new VK\Client\VKApiClient();
$response_save_photo = $vk->photos()->saveMessagesPhoto($access_token, array(
    'server' => $photo,
    'photo'  => $photo,
    'hash'   => $photo,
));

Then you can use owner_id and id parameters from the last response to create an attachment of the uploaded photo.

5.3. Uploading Video Files

Call video.save to get a video upload server address:

$vk = new VK\Client\VKApiClient();
$address = $vk->video()->save($access_token, array(
    'name' => 'My video',
));

Send a file to upload_url received previously calling upload() method:

$vk = new VK\Client\VKApiClient();
$video = $vk->getRequest()->upload($address, 'video_file', 'video.mp4');

Videos are processed for some time after uploading.


С этим читают