Agdor дорген - Документация

Документация

Запущенна группа в Телеграм, заходим

Внимание! Если нужно быстро найти какое то описание, нажмите на клавиатуре CTRL+F и введите слово для поиска.

Требования

Для Админки
PHP 5.5-5.6 (PHP7 только с открытым кодом)
Apache 2.2+
MySql 5.5
sqlite 3.7+
curl
GD
IONCUBE (Для лицензии с закрытым кодом)
shell_exec() - включен и разрешен (Для Windows с OpenServer)

Для Дорвея (Динамика)
php 5.3+
mod_rewrite
sqlite 3.7+
curl
GD

Минимальные настройки
В конфиге php.ini:
минимум 1 гигабайт оперативной памяти для скрипта memory_limit = 1024M
для загрузки баз ключевых слов
upload_max_filesize = 200M
post_max_size = 200M

В конфиге mysql минимум wait_timeout = 6000

Установка

Создайте базу данных, например agdor в кодировке utf8_general_ci.
Разархивировать архив в корень, запустить install.php и выполнять все согласно требований.

Обновления версий читайте в файле update.txt или перейдите по ссылке История изменений

Обновления

Обновления выполняйте последовательно, от версии к версии. Не обновляйте, переступая версии.

Активация

Будьте внимательны, активация происходит лишь однажды, при первом заходе в менеджер активируется лицензия на те данные, с которых запущен скрипт. Сбросить лицензию можно через вашу панель управления лицензиями. Лицензию разрешено сбрасывать раз в 7 дней.

Планировщик (CRON)

Добавьте в планировщик Windows или cron Linux:
cron_index.php - с периодичностью 1 раз в сутки
cron_stat.php - с периодичностью 1 раз в (например) 1 час
cron_status.php - с периодичностью 1 раз в (например) 1 час

В админке в настройках индексации, статистики и проверки сайтов укажите нужные вам настройки по обновлению.

Начальные настройки

Обязательно после установки, нужно зайти в раздел Настройки и установить все нужные вам данные для полноценной работы. Также зайдите в раздел Парсеры и внесите свои настройки.

Указать место хранения паршеной текстовки, если требуется.
Выбрать способ хранения текстовки в файлах или sqlite.
Указать прокси, первое поле проксей используется для парсинга статистики и индексации, второе поле для парсинга текстовки.
Указать данные для TDS Keitaro если собераетесь использовать ее в качестве клоаки и сливщика трафа.
Также во вкладке статистика указать почту для регистрации счетчиков.
Ну и просмотрите другие вкладки и произведите свои настройки.

Начало работы

После установки и начальных настроек можно приступать к дальнейшим действиям.

Для начала, переходим в раздел ключевые слова. Нажимаем вкладку Добавить ключевые слова, ниже щелкаем на Создать новую группу, в повивщемся окне пишем название группы ключевых слов и выбираем язык ключевых слов. После создания группы мы сможем выбрать группу в которую загрузим файл с ключевыми словами.

После загрузки ключевых слов во вкладке группы появится группа с данными и возможностями парсинга текста. Мы можем приступить к парсингу текстовки или пока оставить и потом напарсить (парсить требуется для случаев, если мы используем настройку в группе дорвеев Локальная генерация: Да и Текстовка: текущий сниппет, или текущий + рандом, или текущий + статья), можем вовсе не парсить, а создавать дорвеи без локальной генерации, в таком случае текстовка будет парсится самим дором на хостинге. Или можем давать свою подготовленную текстовку группе дорвеев.

Если мы будем размещать доры на своем сервере(VDS), тогда перейдем в раздел Сервера/Хостинг и добавим его.

Дальше идем в раздел Список дорвеев на вкладку Добавить домены щелкаем создать новую группу. В появившемся окне заполняем данные или можем скопировать настройки с другой группы если уже создавали. Потом в поле вставляем список доменов и выбираем нашу созданную группу, щелкаем добавить.

После создания группы дорвеев обязательно идем во вкладку группы и жмем шестеренку, что бы задать наши настройки группы дорвеев.

После внесения настроек и подготовки всех данных можно приступать непосредственно к самой генерации. Переходим в раздел Список дорвеев. На против каждого домена справа в конце строки имеются кнопки плей для генерации, вверху таблицы есть кнопки для запусках всех не сгенерированых. Красная кнопка генерирует дорвеи видимые на текущей странице, синяя кнопка генерирует все не сгенерированные дорвеи в отдельном окне. Потоки для синей кнопки плей настраиваются в разделе Настройки. Красная кнопка ограничивается только ограничениями самого браузера, у Mozilla ограничение в 8 потоков, в Chrome ограничение в 6 потоков. Синяя кнопка генерирует целую группу дорвеев или все доры всех групп, если нужно сгенерировать только определенную группу, нужно перейти в соответсвующую группы нажав сверху слева на серую кнопку группы, перейти в нужную группу и затем нажать синюю кнопку плей.

Динамический дорвей на хостинге

Права на запись
- images - поставить права на запись 777
- AgDcli.db - права на запись 666
- fulltext.db - права на запись 666 (файл создается только при настройке Локальная генерация: Да)
- images.db - права на запись 666 (файл создается только при настройке Свои изображения: Да)

При заливке дорвея через админку на свой хостинг все права выставляются автоматически.

Макросы шаблона

Кешируемые макросы

[CONTENT:5-10:1.2:0-1:1-5:0-2:0-1:3:1-3:0:2.2-3.1:0-1] - Выводит текстовку и обрабатывает согласно указанным настройкам. Не зависим от настроек менеджера, кроме размеров изображений, типа изображений и видео их указывайте в настройках группы во вкладке текстовка.
Параметры:
1 = Количество предложений: целое или от и до разделенное знаком -
2 = Вставка ключевых слов: дробное, целое или от и до разделенное знаком - или ноль, что значит не использовать
3 = Обрамлять тегами ключевых слов: 1 или от 0 и до 1 разделенное знаком - или ноль, что значит не использовать
4 = Разбивка на параграфы: целое или от и до разделенное знаком - или ноль, что значит не использовать
5 = Вставка изображений: целое или от и до разделенное знаком - или ноль, что значит не использовать
6 = Вставка видео: целое или от и до разделенное знаком - или ноль, что значит не использовать
7 = Вставка случайных ключевых слов: целое или от и до разделенное знаком - или ноль, что значит не использовать
8 = Вставка перелинковки: целое или от и до разделенное знаком - или ноль, что значит не использовать
9 = Символы для расстановки: список символов или ноль, что значит не использовать
10 = Расстановка слов ключевого слова по тексту: дробное, целое или от и до разделенное знаком - или ноль, что значит не использовать
11 = Обрамлять тегами слов ключевого слова по тексту: 1 или от 0 и до 1 разделенное знаком - или ноль, что значит не использовать
12 = Обработка текста по маркову: 1 или от 0 и до 1 разделенное знаком - или ноль, что значит не использовать

[MAINKEY]
- выводит ключ главной страницы
[TITLE]
- title страницы
[DESCRIPTION] - description описание страницы/сниппет
[FULLTEXT] - основной текст, может быть использован один раз в шаблоне
[SHORTTEXT] - короткий текст, может быть использован сколько угодно
[SHORTTEXT200] - короткий текст с указанием сколько обрезать текста , может быть использован сколько угодно
[SMAPLINK] - случайная ссылка на html карту
[APREV] - ссылка на предыдущий ключ/страницу
[ANEXT] - ссылка на следующий ключ/страницу
[APREVURL] - урл на предыдущий ключ/страницу
[ANEXTURL] - урл на следующий ключ/страницу
[THISPAGELINK] - ссылка на текущую страницу
[THISPAGEURL] - урл на текущую страницу
[RANDKEYWORD] - случайный ключ
[RANDWORDRANDKEY:num] - случайное слово случайного ключа, num - количество слов
[RANDWORDTHISKEY:num] - случайное слово текущего ключа, num - количество слов
[RANDWORDTHISLINK:num] - случайное слово в случайной ссылке, num - количество слов
[RANDDATE:num:date] - случайная дата, num - количество месяцев назад от текущей, целое или от и до разделенная знаком -. date - формат вывода http://php.net/manual/ru/function.date.php
[MTRAND:min_num:max_num] - случайное число от до
[GETUSER] - генерирует логин юзверя
[RANDOMLINK] - случайный ключ в ссилке
[RANDOMURL] - случайный урл
[ABSIMG] - генерирует уникальное астрактное изображение с параметрами: ширина от 200 до 300, высота от 200 до 300, качество изображения 70%
[ABSIMG:w200-300:h200-300:q30] - генерирует уникальное астрактное изображение с указанными параметрами: w - ширина от 200 до 300, h - от 200 до 300, q - качество изображения 30%. Последовательность параметров не имет значения. Можно указывать как один параметр так и несколько, например можно указать только ширину и качество или высоту и ширину, или только высоту, или только качество, можно указывать точный размер изображения без рандома. Выводит URL изображения.
[TEXTIMG:witdh:substr] - создает свое изображение из текста. witdh - максимальная ширина; substr - количество символов текста
[RANDIMAGE] - картинка в теге, парсинг
[RANDIMAGE:100-200:100-200:40] - картинка в теге, парсинг, с задаными размерами и качеством на выходе:
первый параметр - ширина от и до или целое
второй параметр - высота от и до или целое
третий параметр - качество изображения
[RANDIMAGEURL] - URL картинки, парсинг
[RANDIMAGEURL:200-300:200-300:50] - URL картинки, парсинг, с задаными размерами и качеством на выходе:
первый параметр - ширина от и до или целое
второй параметр - высота от и до или целое
третий параметр - качество изображения
[RANDIMAGELINK] - картинка в случайной ссилке, парсинг
[RANDIMAGEURL:200-300:200-300:50] - картинка в случайной ссилке, парсинг, с задаными размерами и качеством на выходе:
первый параметр - ширина от и до или целое
второй параметр - высота от и до или целое
третий параметр - качество изображения
[VIDEOTUBE] - выводит ролик из ютуб, парсинг, ролик размером 320 на 240
[VIDEOTUBE:320-500:240-480] - выводит ролик из ютуб, парсинг, с задаными размерами и качеством на выходе:
первый параметр - ширина от и до или целое
второй параметр - высота от и до или целое
[SHUFTXT]{HTML|HTML2|HTML3}[/SHUFTXT] - меняем местами чего то, будь то текст или html
[SPIN]{привет|как дела|норм|ок {ага|нет}}[/SPIN] - макрос спинтакс
[CLON:0-5]код или макрос[/CLON] - клонирует данные заключенные в этот макрос, может быть любой текст, html или любые другие макросы. В указателе числа, можно указывать целое число [CLON:2] или от до [CLON:0-5].
[DUBL]TITLE[/DUBL] - дублирует значение указанного макроса, макрос указывается без []. Если хотите получить дубль макроса определенного номера на странице, нужно указывать так [DUBL:2]RANDOMURL[/DUBL] - будет выведен второе значение макроса [RANDOMURL]

 

Некешируемые макросы

[POSTSHORT:10:30][/POSTSHORT] - Макрос выводит список последних добавленых постов, первый параметр количество постов, второй параметр время кеширования в минутах. Можно использовать как на главной странице для имитации главной, также можно выводить блок последних записей. Использовать только один раз в шабе.
Внутрение макросы:
[POSTKEY] - ключевое слово записи
[POSTTITLE] - Тайтл записи, если в кеше тайтла еще нет, берет ключевое слово
[POSTIMG] - Выводит изображение этой записи если есть в кеше, если в кеше нет выведет пустоту.
[POSTLINK] - ссылка на эту запись
[POSTURL] - URL на эту запись
[POSTTXT:200] - Выводит текстовку этой записи или пустоту если нет в кеше. Параметр указывает сколько символов выводить/обрезать.
[POSTDATE] - дата публикации записи

[LIRU]
- вставляет счетчик посещаемости, если не указывать, счетчик автоматом врезается перед тегом </body>
[REDIRECT] - вставляет ваш код скрипта редиректа, фрейма или кнопки, если не указывать скрипт автоматом врезается перед тегом </head>
[DATE] - дата публикации страницы
[UPKEY] - текущий ключ с большой буквы
[DOWNKEY] - текущий ключ с маленькой буквы
[KEYTRANSLIT] - текущий ключ в транслите
[DOMEN] - домен domen.com
[SITE] - сайт http://domen.com
[PHP]код[/PHP] позволяет выполнить php скрипт внутри шаблона, код не должен содержать обозначения в начале <?php и в конце ?>
[INC FILE=mycode.php?param=123&param=123&param=123] позволяет подключить ваш php скрипт с передачей внешних параметров. PHP скрипт ложить в папку images шаблона
[UPPER][/UPPER] - Все что между тегами макрос или текст будет с больших букв
[LOWER][/LOWER] - Все что между тегами макрос или текст будет с маленьких букв
[UPFIRST][/UPFIRST] - Строка между тегами макрос или текст будет Начинатся с большой буквы
[FRTDATE=Y-m-d H:i:s]now[/FRTDATE] - макрос форматирует в нужный вам вид согласно форматам PHP http://php.net/manual/ru/function.date.php внутри тегов указывать либо дату, либо макрос даты, либо now - текущая дата
[ISBOT]не для ботов[/ISBOT] - макрос проверяет бот это или нет, показывает то что внутри если не бот, проверка происходит по юзер агенту. Если указаны данные для кейтары, проверит и в ней на ботов.

Шаблоны

Каталоги Шаблонов находятся здесь data\templates

Первый уровень папок это каталог шаблонов. После установки будет всего один каталог default, в нем лежит один шаблон default внутри которого лежат все файлы шаблона. Вы можете создавать свои каталоги в которые будете ложить свои шаблоны. Например: создаете каталог(папку) download и в нее ложите папки шаблонов 1temp, 2temp и т.д.
Название каталога шаблонов обязательно латиницей без пробелов. Шаблоны в папках ложить в этот каталог, тоже без пробелов и латиницей.
В каталоге может быть сколько угодно папок с шаблонами. Каталогов шаблонов тоже может быть сколько угодно.
Шаблоны все стандартной верстки. Обязательно должны быть файлы и папки:
-css
---style.css
-images
---все img
-index.html
-main.html - шаблон главной страницы, не обязательно, можно не использовать, в него вставляйте макрос кратких новостей.
Также могут быть любые папки которые потянутся в дор, например папка js и все что вней или font и все шрифты в ней и т.д., файлы с корня шаблона берется только index.html.
Если в каталоге много папок шаблонов, они берутся рандомно для каждого дора. Каталоги выбираете в настройках админки.
Шаблоны уникализируются при генерации, уникализацию можно настроить или отключить вовсе.

Список дорвеев

Список доменов

Справа вверху блок посещаемости за сегодня и за вчера. И выводятся данные по обновлению статистических данных.
Слева вверху кнопка группы в которой выводится список групп дорвеев, для того, что бы вывести только список доменов определенной группы.
Посередине показывается форма для изменения количества строк на страницу.
Строка поиска доменов, вводить можно как полный домен, зону или регулярное выражение для поиска.
Список доменов выводится по алфавиту, по каждому столбцу можно сортировать, кликая на любую иконку или текст столбца.
Есть чекбоксы по которым можно выбирать домены и внизу таблицы выбрать действие которое хотите над ними совершить.
В каждой строке есть панель управления которая выполняет определенные действия:
красная кнопка play - запускает генерацию дорвея, генерация произойдет согласно его груповой настройке. Тоесть в списке могут быть любые домены любой группы, каждый сгенерится согласно своей груповой настройке. Кнопка доступна как в строке так и запускает все видимые на странице, строки которые не видны не будут сгенерированы. Для сгенерированых дорвеев это действие не доступно.
синяя кнопка play - доступна только для общего запуска, генерирует все не сгенерированые дорвеи. Если запускаете с главной страницы, запустит генерацию всех из всех групп, если перейти в какую либо группу и нажать на нее, будут сгенерены только доры этой группы.
кнопка инфо - перейдет на страницу статистики текущего дора, покажет его индексацию за время указанное в общих настройках, а также статистику. Здесь можно узнать пароль от счетчика для доступа к LI или изменить пароль.
кнопка скачать - если сгенерированый дор нужно скачать, тогда жмите на эту кнопку. Дор заархивируется и предложит сохранить его.
краный кружок - просто очищает папку с сгенерированым дорвеем, все сотальные данные сохраняются. Нужно для очистки места, сгенеренные доры нет смысла хранить. Доступно как строчное действие так и массовое для всех видимых на странице.
синий кружок - очищает все данные о дорвее, нужно например если дорвей нужно перегенерировать.
корзина - удаляет дорвей и все его данные, если в настройках группы разрешено удалять и на сервере, он будет удален там же.

Группы

Выводится список групп дорвеев:
кнопка сортировки групп
id - номер группы в базе, этот номер нужен вам например для случая использования своих текстов. Папку вы должны будете создавать с номером этой группы.
Название группы
кнопка шестеренки - здесь происходит полная настройка группы для генерации дорвеев подробнее здесь Группа дорвеев.
корзина - удаляет группу, дорвеи группы.

Добавить домены

Каждый домен с новой строки - в это поле добавляйте список доменов или доменов с папками. Поодерживается мультидобавление в формате domen.com;dir1;dir2;dir3;dir4 в панель добавится domen.com если его нет, затем domen.com/dir1 после domen.com/dir2 и так до конца. Мултидобавление должно быть также построчное, тоесть каждый шаблон доменас новой строки.
Выбор или создание группы - выбираете существующую группу или создаете новую, создавая новую вы можете копировать настройки другой группы, после создания группы обязательно переходите в ее настройки и делайте нужные вам установки, так как группа создается по дефолту или согласно копированию.

Удаленное управление

Выбирете домены на которые отправить команды - выбираете домены с которыми будете работать, домены выводятся согласно вашему положению, если вы в группе сейчас, то домены будут этой группы или если на главной, то все видные на текущей странице. Удобно использовать только при малом количестве отправляемых комманд.
Или список доменов - например на вкладке список доменов вывели все строки, скопировали домены и вставили в это поле.
Выберите команды - это список кооманд которые можно выполнить удаленно для каждого дорвея. Команды подробности здесь.

Внимание: для каждого дорвея генерируется уникальный токен для доступа, если вы удалили дорвей, вы не сможете им больше управлять, только если в ручную не найдете токен на доре и вставите в таблицу дорвея.

Группы дорвеев

Настройки

Папка с шаблонами - выбираете ваш каталог с шаблонами который вы создали в папке data\templates
Группы ключевых слов - выбираете ваши группы/группу ключевых слов, которые вы должны создать в разделе Ключевые слова
Тип кеширования - всего 4 типа:
Файловый - массив кеша будет записан в файл.
SQlite - массивы кеша будут записаны в файл базы данных sqlite.
Статический - на сервере при первом заходе на страницу, генерируется реальный статический файл, в настройках Тип url обазательно выбирать вариант тип урла с расширением в конце. Также способ слива используйте как если бы генерировали статику локально. При всех повторных заходах на страницу отдается только статический файл, динамика уже не используется. Все раширения которые вы укажите, такие будут и на сервере. Возможны страницы с отсутствием текста.
Sqlite по файлам - массивы кеша будут распределятся по нескольким файлам баз sqlite. Несколько закешированых страниц в одном файле.
Количество страниц на доре - указываете количество страниц на доре, тоесть, 1 страница = 1 ключевое слово, можно указывать как точное количество страниц, так и рандомно указывать от и до через двоеточие :, что бы использовать все ключи имеющиеся в группе/группах нужно указывать ноль 0 (не рекомендуется при большом количестве ключевых слов, более 100к).
Значение параметра GET - каким будет отображатся URL как id или как ключ, можно выбрать случайный параметр. Пример: 123.html или my-key.html
Тип url - какие типы страниц ипользовать на дорах.
Случайно - будет для каждого дора группы случайным образом выбиратся тип URL
[SITE]/[KEY].[EXT] - тип урла с расширением в конце, использует модуль mod_rewrite
[SITE]/[KEY]/- тип урла без расширения в конце, использует модуль mod_rewrite
[SITE]/?[PARAM]=[KEY] - стандартный тип PHP url, не использует mod_rewrite, [PARAM] - для каждого дора группы генерируется автоматически
Траснлитерация url - переводит url строку в web формат
Случайно - для каждого дора группы будет использоватся рандомный вид
Транслит - url адреса переводятся в транслит, автоматом используется для бурждорвеев
Кириллица - url адреса остаются кириллическими для рудорвеев
Расширения url - этот параметр будет использоватся для типа URL [SITE]/[KEY].[EXT] по умолчанию есть стандартные расширения html и htm. Для добавления дополнительных расширений, дополняйте через запятую без точки впереди.
Генерация линков для проспама - генерирует случайные ссылки дорвеев текущей группы, указывайте сколько ссылок генерировать с каждого дорвея, рандомно от и до через двоеточие или ноль 0 если не нужно. Готовые линки ложатся в папку data/links/номергруппы-типurl.txt, всего 4 типа url: bb-коды, html-коды, twitеer-тип и url без тегов и без ключей.
Путь куда ложить сгенерированые дорвеи - по умолчанию дорвей генерируется в папку data/dors, вы можете указать свой путь для генерации. Например: F:/MY_DORS/, слеш в конце обязательно.
Архивировать в ZIP - многопоточная быстрая архивация дорвея после генерации, полезна при генерации доров на фрихи. Если используется загрузка на свой хост, то дор на сервер загрузится как есть, не в архиве, а в папку генерации сохранится архив.

Генерация

Процент отложеной публикации - при генерации дорвея это процентное количество страниц/ключей будет отложено на будущую публикацию на равное количество месяцев указаное в На сколько месяцев отложеная публикация.
На сколько месяцев отложеная публикация - указвайте количество месяцев на которое будет запланировано для публикации.
Генерировать дорвей локально - способ создания дорвея, имеется три способа.
Нет - означает, что дорвей не будет брать текст локально, параметры указаные в Текстовка будут игнорироватся. Админка создаст все нужные настройки, загрузит ключевые слова в дор. Дор будет парсить текст самостоятельно из поисковых систем на сервере.
Да - в дорвей будет загружена текстовка, котрая указана в параметре Текстовка. Генерироватся в кеш дорвей будет на сервере, текстовка возмется из подготовленой базы.
Статика HTML - дорвей полностью сгенерируется локально, текст будет братся согласно настройкам параметра Текстовка, никаких кешей и php файлов, только статические HTML файлы, в этом случае url адреса сайтов будут только html и htm.
Парсинг текстовки на доре - дор будет сам все парсить на вашем сервере при первом заходе на страницу. Есть три типа парсинга:
Парсинг сниппетов - на сервере в качестве текстов будет происходить парсинг сниппетов по вашим активным парсерам которые вы указывали в разделе Парсеры.
Парсинг статей - на сервере в качестве текстов будет происходить парсинг ссылок из выдачи по вашим активным парсерам, которые вы указывали в разделе Парсеры, затем выбор случайной ссылки и парсинг на ней статьи.
Случайно - парсинг будет происходить случайно, где то снипеты где то статьи.
Текстовка - данный параметр работает во всех случаях кроме тех, когда Генерировать дорвей локально: Нет.
Текущий сниппет - берется текстовка по текущему ключу из зараннее спаршеных сниппетов в разделе Ключевые слова -> Группы.
Текущий сниппет + рандом сниппеты - берется текстовка по текущему ключу + случайного похожего из зараннее спаршеных сниппетов в разделе Ключевые слова -> Группы.
Текущий сниппет + текущая статья - берется текстовка по текущему ключу из зараннее спаршеных сниппетов и статей в разделе Ключевые слова -> Группы.
Брать свой текст из группы - берется текстовка из ваших текстов, подготовленую текстовку ложить в паку data/texts/groups/номергруппыдорвеев , вашу текстовку разделяйте на небольшие файлы не более 1-2 мегабайтов каждый файл, разделить на файлы можно например программой KeyWordKeeper.
Брать свой текст из группы по ключу - берется текстовка из ваших текстов по ключу, название файла должно быть ключом с маленькой буквы и с пробелами, подготовленую текстовку ложить в паку data/texts/groups/номергруппыдорвеев.
Свои изображения - использовать свои изображения или стандартно парсинг. Если включено, макросы изображений которые парсят заменяются на ваши изображения из папки. Ваши папки с изображениями ложить в папку data/images, внутри вашей папки должны быть только файлы изображений. При включенном параметре ниже можно будет выбрать ваши папки. Рядом с каждой папкой создается файл бд, который хранит имена файлов изображений из папки, если в папку добавляете новые изображения или удаляете, тогда нужно файл бд с названием вашей папки удалить.
Папки с изображениями - здесь выбераете ваши папки изображений, которые вы положили в data/images. Выбирать можно как одну так и несколько папок.
Генерировать sitemap.xml - при первом входе на дорвей будет сгенерирована валидная xml-карта сайта, при слабом хосте лучше не использовать, так как при первой генерации сьедает много ресурсов.
Обновлять sitemap.xml 1 раз в n часов - работает при включенной генерации карты xml. Дополняет карту записями которые были в отложке и уже опубликованы.
Количество страниц на карте сайта HTML - сколько страниц показывать на странице карты сайты(пагинация), не стоит указывать большое количество, карта не кешируемая. Указывать от и до через двоеточие или точное количество.
Макс обрашений к ПС - в случае выбора Генерировать дорвей локально: Нет и в других случаях когда текста не оказалось в текстовых макросах, если при первом обращении не спарсился текст, то будет при каждом заходе на страницу пытаться спарсить текст и положить в кеш, но не более указанное количество раз разрешенное здесь.
Удалять использованый текст на доре - при генерации из своего текста, создается бд в которой хранится текстовка, я называю ее кеш текстовки. Она занимает место на сервере. Когда страница сгенерирована, текст больше не нужен. Включая этот параметр, кеш текстовки будет очищатся после генерации, тем самым освобождая занятое место на диске. На фрихах лучше не использовать, так как на них обычно очень ограничены ресурсы.

Текстовка

Количество предложений в тексте - указывается количество предложений сколько брать для макроса, от до через двоеточие или точное количество. Береться весь текст ключа делится на массив предложений, рандомно выдергивается из массива указанное количество предложений, перемешивается и заменяет макрос готовым текстом. Выбраные предложения удаляются из массива, что бы для других текстовых макросов не использовать повторения. В случае не хватки текста для следующих макросов, текст парсится или берется повторно.
Плотность текущего ключевого слова в тексте % - указиваете дробное или целове число плотности расстановки ключевых слов. Сначало подсчитывается ключ с точным вхождением в тексте и если в тексте не хватает плотности ключ вставляется, если плотность удовлетворяет или превышает ключи не вставляются.
Плотность случайных ключевых слов % - вставляются рандомные ключи.
Количество предложений на параграф - формируется параграф/абзац, в html этот тег обозначается как <p></p>, указываете от и до через двоеточие или точное количество. Будет автоматом текст сформирован в абзацах. Расставлен тег абзацев через указанное количество предложений. При указания ноля 0 текст будет вставлятся без формирования абзацев.
Перелинковка в тексте - будет расставлятся рандомное количество ссылок на другие страницы, указывать от и до или точное количество, при указании ноль 0 ссылки не будут вставлятся, можно например ипользовать 0:3 будет означать что где то вставляем 1-2-3, а где то нет.
Расставлять знаки препинания - в текст будут вставлятся указанные в Знаки препинания для расстановки в предложениях знаки препинания. Знаки указывать поочередно.
Разделители текста по предложениям - предложения из текста будут формироватся из ваших указателей, например если указать запятую, то текст разделится на предложения по запятым и т.д.. По умолчанию текст делится на предложения знаками .!?. Знаки указывать поочередно.
Обрамлять ключи тегами - ключевые слова как текущие так и рандомные будут обрамлятся следующими тегами <i>, <b>, <em>, <strong>.
Количество изображений в тексте - в макрос полного текста будут в рандомные места вставлятся указанные типы изображений и указаное количество с указанным качеством. Указывать от и до или целое число через двоеточие, можно например указывать 0:3, будет означать где то вставлять нужное количество, а где то нет.
Ширина изображений в тексте - будут генерироватся изображения указаных размеров в пикселях рандомно или точно, указывать от и до через символ дефис - или точный размер или 0 будет програмно рандомизировть размер.
Высота изображений в тексте - все то же самое что и для ширины
Качество изображений в тексте - указываете качество изображений, чем ниже процент, тем меньше размер изображения.
Тип изображений в тексте - выбираете нужный тип изображени вставляемых в текст, для текста их два.
Случайно - будет братся рандомный способ генерации картинки.
Абстракционное - будет генерироватся изображение типа абстракции, овалы, круги, квадраты и т.д.
Из текста - изображение будет генерироватся из части текста с рандомным цветом, размером шрифта, наклоном и т.д.
Количество видео в тексте - в макрос полного текста будут в рандомные места вставлятся видео ролики ютуб и указаное количество. Указывать от и до или целое число через двоеточие, можно например указывать 0:3, будет означать где то вставлять нужное количество, а где то нет.
Ширина видео в тексте - вставляется видео указаных размеров в пикселях, рандомно или точно, указывать от и до через символ дефис - или точный размер или 0 = стандартного размера 320.
Высота видео в тексте - вставляется видео указаных размеров в пикселях, рандомно или точно, указывать от и до через символ дефис - или точный размер или 0 = стандартного размера 240.
Знаки препинания для расстановки в предложениях - которые будут использоватся при уканом параметре Расставлять знаки препинания: Да.

Метатеги

Генерация TITLE - сгенерируется текстовая строка из составленого шаблона генерации вида {слово |[DOWNKEY] |слово }, в поле разрешен макрос [DOWNKEY], да и другие не запрещены. Поле не может быть пустым, если шаблон не нужен можете вставить например [DOWNKEY] и какой то еще макрос или текст.
Генерация DESCRIPTION - тоже самое что и с тайтл с разницей только, что поле может быть пустым.

Клоакинг/Счетчик

Слив трафика - означает, что скрипт редиректа, кнопки или фрейма будет показыватся посетителям. Работает только если ваш скрипт используется через поле Скрипт редиректа или фрейма или указан номер компании кейтаро и в настройках заполнены поля доступа к кейтаро.
Номер кампании в Keitaro - если хотите использовать вместо своего скрипта, кампанию и скрипты из кейтары, указывайте здесь номер кампании. Если кейтаро не нужна, не заполняйте это поле. Проверка на боты будет работать только через кейтару если это поле заполнено в иных случаях используйте свои скрипты. Не забудьте в кейтаро в настроках включить проверку на ботов, что бы работала клоака.
Скрипт редиректа или фрейма - в это поле вставляйте свои скрипты, если не используете кейтаро, значение этого поля будет использовано в макросе [REDIRECT] в случае его указания, если в шаблоне не указан этот макрос этот скрипт врежится перед тегом </head>. В этом поле можно использовать все некешируемые макросы. Например ваши php скрипты через макросы [INC FILE= или [PHP].
Счетчик посещаемости - в это поле вставляйте ваш JS скрипт счетчика или что угодно. В этом поле можно использовать все некешируемые макросы. Значение этого поля выводится в макросе [LIRU] в случае его использования в шаблоне иначе он врезается в тег </body>.

Сервер

Разрешить удалять домены на сервере при удалении дорвея - при разрешении, удаляя дорвей из панели, с ним удаляются все его данные а так же в случае заполненых данных о серверах в этой группе или в общих настроках будет удалятся и из сервера все данные.
Разрешить добавлять домен на сервер при генерации - при разрешении, во время генерации, админка проверит существует ли домен на сервере и если его нет, добавит в панель.
Разрешить добавлять домен в CloudFlare - в таком случае вам нужно для всех доменов группы прописывать NS - сервера сервиса CloudFlare, домен автоматически будет добавлен в вашу панель а также в даный сервис, будут прописаны A - записи на ip закрепленный в панели. Что бы функция работала, вам нужно прописать в общих настройках данные аккаунта: email и api key
Загружать дорвей на сервер - при указаных параметрах доступа к серверу дорвей будет загружен автоматически на сервер после генерации. Работает только с панелями ISP и Vesta. Если нужно загрузить на шареды или фрихи, воспользуйтесь вкладкой FTP настройки/аккаунты и вставьте туда данные для загрузки

Уникализация шаблона

Уникализировать шаблон - отключает или включает автоматическую уникализацию шаблона.
Переименовывать имена классов - отключает или включает автоматическую переименовывание имен class и id в файле style.css и index.html.
Уникализировать цвета - меняет цвета в стилях в процентном соотношении, а также меняет тип цветов, rgb или hex.
Максимальный процент уникализации цвета - количество процентов изменения цвета +-, указывать без знака процента, целое число.
Уникализировать размеры - изменяет все найденые размеры во всех стилях в процентном соотношении.
Максимальный процент уникализации размеров - количество процентов изменения цвета +-, указывать без знака процента, целое число.

FTP настройки/аккаунты

Использовать прокси для загрузки - загрузка файлов на сервер будет происходить через прокси указанные в общих настройках Прокси. Прокси использовать сокс5 или http которые могут работать с ftp протоколом. 100% работа не гарантируется, прокси могут отваливатся, также могут быть забанены файерволом хостинга, что не гарантируется 100% загрузки.
Укажите данные ftp аккаунтов, каждый с новой строки - данные вставлять в формате domen:ftphost:ftplogin:ftppass:dirftphost. Использовать нужно только если вы работаете с хостинг аккаунтами или фрихами, в случае использования своего сервера. Добавляйте его в Сервера/Хостинг и в группе дорвеев выбирайте.
Описание формата:
domen - домен для которого эти данные, который добавлен в эту группу дорвеев.
ftphost - ftp.domen.com или IP куда загружаем
ftplogin - логин ftp аккаунта
ftppass - пароль ftp аккаунта
irftphost - корневая папка куда будет загружатся дорвей. Если корневой папки нет, тогда указывать знак / . Пример папок:/www или /web/domen.com/public_html и т.д.

Мультирежим

Разный кеш страниц для каждого домена - для каждого домена будет генерироватся разный кеш страниц.
Разная главная страница для каждого домена - для каждого домена будет выбрана своя случайная страница.
Разный кеш кратких новостей для каждого домена - для каждого домена будут генерироватся свои краткие новости по времени кеширования.
Разный sitemap.xml для каждого домена - для каждого домена будут генерироватся свои карты xml, в ином случае будет генерится только для одного, всем остальным в мультирежиме будет одна и та же карта с одним доменом, который первый сгенерил карту.

Ключевые слова

Группы

Выводится список групп ключевых слов с строками:
id - номер идентификатор
Название - название группы ключевых слов
keys - количество ключевых слов в базе
snip - количество успешно спрашеных текстов для ключевых слов из сниппетов
art - количество успешно спрашеных текстов для ключевых слов из статей
кнопки управления:
шестеренка - редактирование названия группы и языка
**play 1 - запускает парсинг сниппетов для этой группы
**play 2 - запускает парсинг статей для этой группы
синий кружок - очищат все ключевые слова а за ними и все тексты этой группы
красный кружок 1 - очищает всю напаршеную текстовку из сниппетов этой группы
красный кружок 2 - очищает всю напаршеную текстовку из статей этой группы
корзина - удаляет группу, удаляются ключи и все тексты.

**Парсинг происходит согласно настройкам в разделе Парсеры, фильтры, ограничения и активные парсеры.

Добавить ключевые слова

Каждый ключ с новой строки - выбираете файл со списком ключевых слов, если файл очень большой разбейте его на части либо программами либо ручкамии и добавляйте по очереди в ту же группу. Дубли ключей в текущей группе не добавляются, очищаются от прочих символов отличных от букв. Старается перекодировать ключ в UTF-8.
Выбор группы или создание - можете создать группу перед добавлением или выбрать существующую.

Добавление сервера/хостинга

Название - указываем как мы будем называть наш сервер
Установленная панель - выбираем какая панель используется на нашем сервере, работаем пока только с ISP и Vesta
Http адрес панели - здесь указывается веб доступ к панели, например для ISP выглядит так https://127.0.0.1/ispmgr а в Vesta так https://127.0.0.1:8083
Сервер IP/домен FTP - указываем ip адрес сервера или домен по которому мы можем подключиться по FTP
Логин с root - для панели isp указываем ваш логин с доступом как root, а для vesta указываем пользователя admin
Пароль с root - для isp пароль указанного пользователя с доступом root, а для vesta пароль пользователя admin
Владелец сайта - указываем пользователя которому будем добавлять домены и загружать дорвеи
Пароль владельца - указываем пароль владельца
Список IP адресов, по которым распределять домены - сюда вставляйте список ваших IP адресов прикрепленных к вашему серверу. При добавлении доменов на сервер, они будут рандомно распределятся по этим IP адресам. Если у вас один IP на сервере, его все равно здесь нужно указать.

Настройки

Общие

Количетсво потоков для массовой генерации доров - эта настройка указывается для генерации дорвеев через запуск синей кнопки play, красная кнопка регулируется самим браузером, эта настройка на красную не влияет.
Ключ Antigate (https://anti-captcha.com) - указываем ключ антикаптчи, разгадывание используется при чеке индексации. Поле игнорируется если указаны данные для Rucaptcha
Ключ Rucaptcha (https://rucaptcha.com) - указываем ключ рукаптчи, разгадывание используется при чеке индексации. Поле приоритетное, если указано, то будет использован этот сервис, антикаптча игнорируется.
Отключить авторизацию - отключает авторизацию в панели, авторизация не нужна если вы используете дорген локально на openserver. Если используете на хостинге, то обязательно ставьте галочку запомнить вход, что бы не получить сбой при массовой генерации дорвеев.
Папка для хранения текстовки - так как паршеная текстовка занимает очень много места, вы можете например распределить нагрузку на диски или просто для удобства хранения. Эта настройка используется для парсинга текстовки в разделе Ключевые слова.
Способ хранения текстовки - как хранить текстовку паршеную в разделе Ключевые слова, в текстовых файлах или в sqlite. В текстовых файлах работает быстрее, но очень пагубно например для SSD - дисков, да и для linux систем, ибо инодов будет занято очень много. Трудности при переносе. Милионы файлов очень долго копируются/переносятся. На sqlite не на очень долго, но и проблем всех выше нет. Переносится легко. Так что рекомендую использовать sqlite хранение.

Прокси

Приватные HTTP прокси - используются для парсинга статистики посещаемости и чека индексации. Рекомендую использовать штук 5, их должно хватить с головой.
Формат:host:port@login:password
Прокси - используется для парсинга текстовки в разделе Ключевые слова, а также при загрузке файлов на FTP если указано в настройках группы дорвеев. Можно использовать HTTP, SOCKS5, TOR. Рекомендую использовать все же http прокси, многопоточный curl имеет баг из за которого многопоток очень плохо работает через SOCKS5 . Можно например сделать связку TOR + PRIVOXY и указать в поле прокси privoxy.

Клоака Keitaro

Ключ api TDS Keytaro - Если хотите использовать клоаку и сразу слив TDS Keytaro тогда указвайте эти данные, они будут загружатся на дорвеи. Их можно будет поменять через удаленное управление. Работать вся связка будет если указан номер кампании в настройках группы дорвеев.
Домен где TDS Keytaro - указываете домен где установлена тдс, описание тоже, что и выше. Можете указывать алиас, если прикрплен.

Статистика

Обновлять статистику - включает или отключает парсинг статистики.
Пауза между запросами - задержка парсинга, что бы бан не получить. Если прокси несколько, можно уменьшать до 1 секунды.
Хранить статистику n дней - сколько дней хранить статистику в базе данных.
Обновлять через планировщик раз в n часов - парсит статистику только через указанное количество времени, при запуске крона проверяется последний запуск.
Почта для регистрации в сервисах статистики - почта на которую будем регистрировать статистику LI. Регситрация производится в разделе Список дорвеев, в самом низу списка, есть поле выбора действия, отмечаете домены которые зарегать и вибираете действие.

Индексация

Обновлять индексацию - включает или отключает весь чек индексации.
Индексация в Яндекс - включает или отключает чек индексации в яндекс, в списке при отключенном отображатся также не будет.
Индексация в Google - тоже самое что и для Яндекс
Индексация в Bing - тоже самое что и для Яндекс
Индексация в Go.Mail.ru - тоже самое что и для Яндекс
Пауза между запросами - при парсинге делает паузу, если несколько проксей, можно уменьшать до 1 секунды, также если парсите все ПС. Так как парсинг идет по очереди, тоесть задержка уже имеется между обращениями.
Повторять в случае ошибки - сколько раз повторять, если пс не отдала никаких результатов.
Хранить индексацию n дней - сколько дней хранить в базе статистику индексации.
Обновлять через планировщик раз в n дней - парсит индекс только через указанное количество времени, при запуске крона проверяется последний запуск.

Состояние

Обновлять состояние сайтов - включает или отключает проверку работы дорвеев.
Обновлять через планировщик раз в n часов - проверяет работу только через указанное количество времени, при запуске крона проверяется последний запуск.
Работа через прокси - проверку делать через прокси, например некоторые хостинги при частом обращении к сайтам могут блокировать IP, считая что это нагрузка.

Удаленное управление

Количество потоков - во сколько потоков отправлять комманды дорам. Очень удобно при большом количестве дорвеев.
Работа через прокси - команды отправлять через прокси. Некоторые хостинги при частом обращении к сайтам могут блокировать IP, считая что это нагрузка.

CloudFlare API

Данные используются при использовании NS-серверов CloudFlare

E-mail аккаунта
- указывайте e-mail аккаунта на CloudFlare.
API KEY - ключ для доступа к управлению через api, получить его можно в разделе Мой профиль, получайте глобальный ключ.

Парсеры

Статьи

Количество потоков для парсинга статей - одновременное количество соединений при парсинге.
Количество повторов в случае ошибки при обращении к поисковику - успешно спаршеная текстовка считается согласно минимальным настройкам количества символов, если поисковик отдал ошибку а другой дал текст то мы посичтаем успехом, а эта настройка отправит на повтор парсинг этой ПС, что бы дозабрать текст.
Сколько парсить URL из выдачи - получим весь список сайтов по всем активным парсерам и потом выпарсим по ним полные статьи, мы можем ограничить количество отобраных сайтов для парсинга тем самым ускорив скорость парсинга, получим меньше текста. Можем оставить 0 что бы парсило все, дольше но текста много.
Минимум символов считать успешной статьей - при парсинге одного сайта сколько символов считать, что это успешная статья.
Минимум символов текста для ключа считать успешным - сколько всего символов всего выпаршеного текста по ключу считать успешным. Меньше этого количества ключ будет считатся пустым, что бы при повторном парсинге попробовать выпарсить.

Сниппеты

Количество потоков для парсинга сниппетов - одновременное количество соединений при парсинге.
Количество повторов в случае ошибки при обращении к поисковику - успешно спаршеная текстовка считается согласно минимальным настройкам количества символов, если поисковик отдал ошибку а другой дал текст то мы посичтаем успехом, а эта настройка отправит на повтор парсинг этой ПС, что бы дозабрать текст.
Минимум символов текста для ключа считать успешным - сколько всего символов всего выпаршеного текста по ключу считать успешным. Меньше этого количества ключ будет считатся пустым, что бы при повторном парсинге попробовать выпарсить.

Фильтры

Обрезать ключевое слово до количества слов - при парсинге обрезает ключевое слово до нужного количества слов, словом считается то, которое состоит как минимум из 3 и более символов. Эта настройка нужна для обрезания длинных ключей или если по ключам текстовки нет. Можно уменьшить количество слов и получить текстовку. У меня по умолчанию стоит ограничение в 7 слов. Работает как для статейного парсинга так и для парсинга сниппетов.
Не парсить статьи с втречающимися значениями в URL - слова или части ссылки которые будут встречатся в сайтах будут удалятся из парсинга, с них текст парсится не будет. Фильтр действует только для парсинга статей и проверяет значения в http адресе. Будьте внимательны: не вставляйте пустые строки. Каждое значение с новой строки
Не парсить тексты с втречающимися значениями в тексте - выпаршеные тексты перед внесением в базу разбиваются на предложения. После каждое предложение обрабатывается и проходит через этот фильтр слов и если в предложении встречается любое из значений, удаляется. Тоесть тексты удаляются не целиком а только предложениями. Будьте внимательны: вставляйте только слова или несколько слов, не используйте различные знаки препинаний или пустые строки. Каждое значение с новой строки

Парсеры текстовки

Выводится список парсеров: можно сортировать, включать, отключать, редактировать, удалять.

Парсеры изображений

Выводится список парсеров: можно сортировать, включать, отключать, редактировать, удалять.

Добавить парсер

Выбираете тип парсера, который хотите добавить и согласно регулярным выражениям regexp вносите данные для парсинга. Для тестирования можете воспользоватся онлайн сервисом https://ru.functions-online.com/preg_match_all.html

Удаленное управление

Слив трафика - включает или отключает слив трафика с дорвея, в поле вставлять значение 1 или 0, значение 1 = Да, значение 0 = Нет
JS скрипт фрейма/редиректа - это значения поля из настроек группы дорвеев, если вдруг не верно вставился ваш скрипт или вы решили изменить код. Принимает значения: ваш код или 0 если поле нужно очистить.
JS код счетчика - тоже самое, можете изменить или убрать. Принимает значения: ваш код или 0 если поле нужно очистить.
Обновлять сайтмап(часов) - изменияет время, через которое будет обновлятся карта xml.
Домен ТДС - меняет домен где TDS Keitaro. Этот домен вы указывали в разделе Настройки. Изменение может потребоватся например когда домен заблочен антивирусом. Принимает значения: ваш домен example.com или 0 если поле нужно очистить.
Ключ ТДС - меняет ключ api TDS Keitaro. Этот ключ вы указывали в разделе Настройки. Принимает значения: ваш api ключ или 0 если поле нужно очистить.
Кампания ТДС - меняет номер кампании TDS Keitaro. Этот номер вы указывали в настройках группы дорвеев во вкладке Клоакинг/Счетчик. Принимает значения: ваш номер или 0 если поле нужно очистить.
Параметр URL - меняет на доре get параметр но тот который вы укажите. Принимает значения: ваш get параметр.
Транслит URL - меняет тип транслита URL. Принимает значения: 1 = транслит, 2 = кириллица.
Вид локальной ссылки - меняет вид урлов. Принимает значения: вид URL.Существует три типа url: [SITE]/[KEY].[EXT], или [SITE]/[KEY]/, или [SITE]/?[PARAM]=[KEY] . Макросы: [SITE] = домен, [KEY] текущий ключ в url, макросы [PARAM] и [EXT] показанны для примера, вместо них вы должны указать свои нужные значения. [PARAM] это значение из Параметр URL
Очистить кэш - очищает все закешированные данные, очищает кеш и все картинки. Принимает значения: 1 = очистить кеш.
Язык - меняет язык. Принимает значения: ru, en и dr.
Выполнить SQL запрос - выполняет SQL запрос формата Sqlite. Например можно добавлять новые ключи на дор или удалять не нужные. Выполнять другие настройки. Принимает значения: ваш sql запрос. Названия таблиц и полей можете глянуть на сгенерированном доре через программы работы с sql базами, например sqlitestudio

История изменений доргена

Демонстрационное видео

Смотреть плейлист на youtube
https://www.youtube.com/playlist?list=PLzLFT9jx_ENewaJSb9iu5QMgihgvO7F08

Первый запуск, генерация дорвея с парсингом сниппетов на сервере

Генерация дорвея с кешем текстовки из заранее спаршеного

Генерация статического дорвея