Парсер вордпресс: Sсrареs – универсальный автоматический парсер на WordPress

Код синтаксического анализа:

 import {parse} from '@wordpress/block-serialization-default-parser';
разбор (пост) ===
[
{
blockName: 'ядро/столбцы',
атрибуты: {
столбцы: 3,
},
внутренние блоки: [
{
blockName: 'ядро/столбец',
атрибуты: ноль,
внутренние блоки: [
{
blockName: 'ядро/абзац',
атрибуты: ноль,
внутренние блоки: [],
innerHTML: '\n
Слева
\n',
},
],
innerHTML: '\n
\n',
},
{
blockName: 'ядро/столбец',
атрибуты: ноль,
внутренние блоки: [
{
blockName: 'ядро/абзац',
атрибуты: ноль,
внутренние блоки: [],
innerHTML: '\n
Средний
\n',
},
],
innerHTML: '\n
\n',
},
{
blockName: 'ядро/столбец',
атрибуты: ноль,
внутренние блоки: [],
innerHTML: '\n
\n',
},
],
внутреннийHTML:
'\n
\n\n\n\n
\n',
},
]; 

Параметры

• doc string : HTML-документ для анализа.

Возврат

• ParsedBlock[] : блочное представление входного HTML.

Теория

Чем он отличается от анализатора спецификаций?

Это анализатор с рекурсивным спуском, который линейно сканирует входной документ один раз. Вместо прямой рекурсии используется механизм батута для предотвращения переполнения стека. Это сводит к минимуму копирование и передачу данных за счет использования глобальных переменных для отслеживания состояния при синтаксическом анализе. Между каждым токеном (разделителем комментариев блока) мы можем настроить анализатор и вмешаться, если захотим; например, мы можем установить жесткое ограничение на то, как долго мы можем анализировать документ, или предоставить дополнительную отладочную диагностику для документа.

Синтаксический анализатор спецификации определяется с помощью Грамматика выражения синтаксического анализа (PEG), которая отвечает на многие вопросы, на которые мы должны явно ответить в этом анализаторе. Целью этой реализации является согласование характеристик PEG, чтобы его можно было напрямую заменить и чтобы единственными изменениями были лучшая производительность во время выполнения и использование памяти.

Как это работает?

Каждый сериализованный документ Gutenberg номинально является HTML-документом, который, помимо обычного HTML, может также содержать специально разработанные HTML-комментарии — разделители блочных комментариев, — которые разделяют и изолируют сериализованные в документе блоки.

Этот синтаксический анализатор пытается создать конечный автомат вокруг переходов, запускаемых этими разделителями — «токенами» грамматики. Каждый раз, когда мы находим один, мы должны делать только одно из:

• ввести новый блок;
• выход из блока.

Эти действия имеют разные эффекты в зависимости от контекста; например, когда мы выходим из блока, нам нужно либо добавить его в список выходных блоков

Самой большой проблемой в этом синтаксическом анализаторе является правильный учет индексов, необходимых для построения значений innerHTML для каждого блока на каждом уровне глубины вложенности. Мы используем простой подход:

• Начинайте каждый вновь открытый блок с пустого innerHTML .
• Всякий раз, когда мы помещаем первый блок в innerBlocks , добавьте содержимое, с которого начинается содержимое родительского блока, туда, где начинается этот внутренний блок.
• Всякий раз, когда мы помещаем другой блок в список innerBlocks , добавляем содержимое с того места, где заканчивается предыдущий внутренний блок, туда, где начинается этот внутренний блок.
• Когда мы закрываем открытый блок, добавляем содержимое от того места, где заканчивался последний внутренний блок, до того места, где начинается разделитель закрывающего блока.
• Если внутренних блоков нет, то мы берем все содержимое между разделителями комментария открывающего и закрывающего блоков как внутреннийHTML .

Я имел в виду, как это работает?

Этот синтаксический анализатор работает намного быстрее, чем созданный синтаксический анализатор из спецификации. Поскольку мы знаем о синтаксическом анализе больше, чем PEG, мы можем воспользоваться несколькими приемами, чтобы повысить скорость и использование памяти:

• легко сопоставляется с помощью регулярного выражения. Вместо посимвольного синтаксического анализа мы можем позволить движку PCRE RegExp пропускать для нас большие участки документа, чтобы найти эти токены.
• Так как preg_match() принимает параметр смещения , мы можем сканировать входные данные, не передавая копии входного текста на каждом шаге. Мы можем отслеживать нашу позицию в строке и вместо этого передавать только число.
• Отсутствие копирования всех этих строк означает, что мы также пропустим много выделений памяти.

Кроме того, токенизация с помощью RegExp дает дополнительное преимущество. Синтаксический анализатор, сгенерированный PEG, обеспечивает предсказуемые характеристики производительности в обмен на контроль над правилами токенизации — он не позволяет нам определять шаблоны RegExp в правилах, чтобы защититься от напр. катастрофический возврат, который нарушил бы гарантии PEG.

Однако, поскольку наш «токен-язык» разделителей блочных комментариев — это обычный , а можно тривиально сопоставить с шаблонами RegExp, мы можем сделать это здесь, а затем произойдет что-то волшебное: мы выскочим из PHP или JavaScript в высокооптимизированный движок RegExp, написанный на C или C++ в хост-системе. Тем самым мы оставляем виртуальную машину и ее накладные расходы.

Участие в этом пакете

Это отдельный пакет, являющийся частью проекта Gutenberg. Проект организован как монорепозиторий. Он состоит из нескольких автономных программных пакетов, каждый из которых предназначен для определенной цели. Пакеты в этом монорепозитории публикуются в npm и используются WordPress, а также другими программными проектами.

Чтобы узнать больше о вкладе в этот пакет или Gutenberg в целом, ознакомьтесь с основным руководством для участников проекта.

Новости-Парсер для WordPress

News-parser WordPress Plugin

News-parser — это плагин для WordPress, позволяющий легко получать полный текст статьи, а также изображения с сайта с помощью RSS-канала. Обработанная информация с сайта сохраняется в виде черновика, который вы можете просто опубликовать или отредактировать по своему усмотрению. Это упрощает создание контента для вашего сайта.

Особенности

• Поддержка редактора Gutenberg.
• Средство извлечения визуального содержимого.
• Гибкая система создания шаблонов для ускорения парсинга.
• Возможность парсить не только из источника RSS XML, но и из URL.

Планы на будущее

• Добавить функцию автопилота.
• Парсинг видео из других (кроме YouTube) источников.
• Сохранение изображений в медиатеку.
• Есть идея? — Пожалуйста, не стесняйтесь, дайте мне знать. Сделаем News-Parser еще лучше!

Установка

1. Вы можете клонировать репозиторий GitHub: https://github.com/zalevsk1y/news-parser.git
2. Или загрузите его напрямую в виде ZIP-файла: https://github.com/zalevsk1y/news-parser/archive/master.zip

Это загрузит последнюю версию News-parser для разработчиков.

Как использовать NewsParserPlugin\этот плагин?

Парсинг RSS

Для парсинга RSS перейдите в меню Новости-Парсинг->Парсинг RSS в панели администратора вашего сайта. Введите адрес RSS-канала в строку поиска. Нажмите кнопку «Разобрать RSS-канал». Когда проанализированные данные будут получены с сервера, они появятся на вашем экране. Вы можете открыть визуальный экстрактор, нажав на иконку, и создать шаблон для парсинга постов из этого RSS-источника или просто выбрать интересующий вас контент и сохранить его как черновик.

Посмотрите это короткое видео, чтобы узнать, КАК ИСПОЛЬЗОВАТЬ RSS с помощью плагина для анализа новостей:

Чтобы проанализировать несколько сообщений, выберите сообщения и нажмите кнопку «Проанализировать выбранное». Подождите, пока данные будут сохранены, вы будете уведомлены сообщением в верхней части экрана. Значок в нижней части сообщения позволяет вам перейти к редактированию или публикации сохраненного черновика. Обратите внимание, что анализ выбранного сообщения может быть выполнен только в том случае, если вы создали шаблон анализа!

Посмотрите это короткое видео, чтобы узнать, КАК ИСПОЛЬЗОВАТЬ НЕСКОЛЬКО СООБЩЕНИЙ с помощью плагина для анализа новостей:

Визуальный конструктор.

Чтобы создать шаблон или просто выбрать интересующий вас контент, воспользуйтесь визуальным конструктором. Вы можете открыть визуальный конструктор, щелкнув значок в нижней части почтового ящика.
Для выбора контента нажмите на нужный вам блок в главном окне и он будет отмечен бирюзовой рамкой. При наведении курсора на содержимое ожидаемая область окрашивается в бирюзовый цвет.
Чтобы отменить выбор, нажмите на блок еще раз. Попробуйте разделить разные типы контента (картинки, видео, текст) на отдельные блоки. Видео YouTube будет заменено изображением логотипа YouTube. Вы можете выдавить его, и это видео будет вставлено в ваш пост. Парсинг видео из других источников пока не поддерживается. Картинки вставляются в ваш пост в виде ссылки; исключением является избранное изображение, которое сохраняется в вашей медиатеке.
На боковой панели вы можете изменить избранное изображение вашего сообщения. Просто выберите подходящее изображение в левой части конструктора и нажмите кнопку «Изменить изображение». Последнее выбранное изображение будет выбрано в качестве избранного изображения. Вы также можете создать публикацию без избранного изображения. Просто нажмите «Нет избранного изображения».
Вы можете изменить название поста в следующем подменю «Заголовок поста». Напишите свой вариант заголовка поста в textaria и нажмите кнопку «Изменить заголовок».
Чтобы добавить ссылку на источник, установите флажок «Добавить ссылку на источник» в публикацию. в подменю «Дополнительные параметры».

Посмотрите это короткое видео, чтобы узнать, КАК ПОЛЬЗОВАТЬСЯ ВИЗУАЛЬНЫМ КОНСТРУКТОРОМ:

Создать шаблон парсинга

Для сохранения шаблона необходимо отметить содержимое в главном окне визуального конструктора, выбрать «Сохранить шаблон парсинга, который вы можно использовать при автоматическом анализе этого исходного элемента.