Работа оператором в яндексе: Удалённая работа в Яндексе

15+ поисковых операторов Яндекса

+ (Плюс)

— (Минус)

«» (Кавычки)

* (звездочка)

| (Трубка)

~~ (НЕ)

~

! (Восклицательный знак)

!! (Двойной восклицательный знак)

&

&& или <<

/+n

/-н

&&/п

/(х у)

()

10+ операторов расширенного поиска Яндекса

URL:

inurl:

сайт:

домен:

хозяин:

Рост:

заголовок:

мим:

язык:

дата:

$ якорь ()

Рекомендуемая дополнительная литература о поисковых операторах Яндекса

Доля рынка поисковых систем и почему Яндекс имеет значение

Несмотря на то, что доля Google на мировом рынке поисковых систем составляет около 92%, ее доля рынка в России составляет «всего» 58%, из которых 40% принадлежат Яндексу.

Взгляните на приведенную ниже статистику.

Имея в виду вышеизложенное, все же стоит знать, какие поисковые операторы работают с Яндексом и как их правильно использовать.

15+ поисковых операторов Яндекса

Вот основные логические поисковые операторы Яндекса (или параметры поиска), которые позволяют уточнить поиск до:

• искать определенные формы слова (род, падеж, число и т. д. ), 
• искать определенные части речи (глагол, существительное, прилагательное и т. д.),  
• исключить из поиска определенные термины,
• создать сложные поисковые команды, возвращающие очень конкретные результаты.

Символы ❌ и ✔️ сообщат вам, работает ли данный поисковый оператор с Google или Bing.

☝️ Скорее всего, вы также являетесь пользователем Google и Bing, поэтому я приглашаю вас проверить мой список операторов поиска Bing.

+ (плюс)

+ позволяет искать веб-страницы, содержащие термин, которому предшествует. Обратите внимание, что вы можете использовать + несколько раз в одном запросе, чтобы включить несколько терминов в результаты поиска.

+
Пример: Audit +SEO
Пример: Audit +SEO +бесплатный

✔ Google
✔ Bing

💡 yandex bool Bool Bool. веб-страницы, которые относятся к слову «аудит» и обязательно содержат слово «seo» (первый пример) или оба слова «seo» и «бесплатно» (второй пример).

⚡ Что касается аудитов, обязательно ознакомьтесь с моим руководством о том, как проводить SEO-аудит.

– (Минус)

- позволяет найти веб-страницы, не содержащие термин, которому предшествует - . Исключенный термин должен быть помещен в конец вашего поискового запроса. Вы можете использовать - несколько раз в одном запросе, чтобы исключить больше терминов.

-
Пример: SEO-аудит
Пример: seo -audit -buy

✔️ Google
✔️ Bing

💡 Этот поисковый запрос вернет веб-страницы, которые относятся к термину «seo», но не содержат слово «аудит» (первый пример) или оба слова «аудит» и «покупка» (второй пример).

«» (Кавычки)

"" позволяет найти веб-страницы, содержащие точные слова в форме и порядке, указанных в кавычках.

""
Пример: "мобильный seo аудит"

✔️ Google
✔️ Bing

💡 Этот поиск выдаст веб-страницы, содержащие фразу в кавычках.

* (звездочка)

* действует как подстановочный знак и заполняет пропущенное слово или предлагает соответствующий термин в зависимости от других терминов, используемых в поисковом запросе. Звездочка работает только с оператором "" . Вы можете использовать несколько * , чтобы включить больше пропущенных слов.

*
Пример: "лучший seo *"

Пример: "веб-сайт * seo аудит"

✔️ Google
✔️ Bing

💡 Этот поисковый оператор Яндекса вернет страницы со словами, содержащими слова, содержащие точное значение. включение пропущенного слова. Результаты, возвращенные первым примером, включали, например, «лучшие SEO-компании», «лучшие SEO-фирмы», «лучшие курсы SEO» или «лучшие инструменты SEO».

Помните, что этот оператор поиска разделен пробелами.

| (труба)

| будет искать веб-страницы, содержащие любой из указанных терминов. Это логический оператор OR . Вы можете использовать | несколько раз в одном запросе.

|
Пример: SEO | Сэм | ppc

✔️ Google
✔️ Bing

💡 Приведенный выше пример поискового запроса вернет веб-страницы, содержащие любое из указанных слов (seo, sem или ppc). Этот логический оператор похож на ИЛИ оператор Google.

~~ (НЕ)

~~ исключит веб-страницы, содержащие термин, которому предшествует ~~ . Это просто используется как оператор Google NOT .

~~
Пример: seo ~~audit  

❌ Google
❌ Bing

💡 В приведенном выше примере результаты поиска не будут содержать веб-страницы, которые не содержат seo. слово «аудит».

~

~ исключит веб-страницы, на которых термин, которому предшествуют ~ , встречается в одном предложении. Веб-страницы, содержащие ключевые слова в других предложениях, не будут исключены.

~
Пример: seo ~audit

❌ Google
❌ Bing

💡 Этот второй логический оператор поиска Яндекса очень полезен, если вы не хотите полностью исключать его. хотите, чтобы он был связан с основным термином. В приведенном выше примере я не хочу находить результаты, содержащие фразу «seo-аудит» в одном предложении, но я не хочу полностью исключать слово «аудит».

! (Восклицательный знак)

! позволяет искать веб-страницы, содержащие термин в указанной форме. Обратите внимание, что вы можете использовать ! несколько раз в одном запросе, чтобы найти веб-страницы, содержащие несколько ключевых слов.

!
Пример: ! SEOS

Пример: ! Seosly

✔ Google
✔ Bing

💡 Этот yandex search Operator обнаружит, что Web Page, содержащие примеры SEOS »(SEOSES (SEOSES (SEOSES SEOS« SEOS »(SEOS SEOS (SEOS SEOSES (SEOS SEOSES (SEOS SEOSES, содержат в SEOS» (SEOSEOS. в указанной форме без поиска похожих слов или какого-либо расширенного поиска. Второй пример позволит мне проверить, был ли мой сайт проиндексирован Яндексом.

Вы можете использовать ! , чтобы включить стоп-слова, такие как «и», которые по умолчанию игнорируются.

!! (Двойной восклицательный знак)

!! будет искать словарную форму ключевого слова.

!!
Пример: !!seo

✔️ Bing
❌ Google

💡 Этот логический оператор Яндекса позволит вам найти словарные определения указанного термина. Она работает аналогично команде define: , которая работает с Google и Bing.

и

и будут искать веб-страницы, содержащие слова, указанные в одном предложении.

и
Пример: бесплатно и SEO и аудит  

❌ Google
❌ Bing

Google и Bing возвращают более или менее релевантные результаты, потому что они считают & . Для Google и Bing это все равно, что просто ввести запрос free seo audit без кавычек.

💡 Этот логический оператор поиска очень полезен для поиска веб-страницы, содержащей указанное слово или слова в одном предложении.

&& или

&& будут искать веб-страницы, содержащие термины, указанные в одном документе (одной веб-странице). Эта команда поиска немного шире, чем и , которая ищет слова в одном предложении.

&&
Пример: SEO && аудит && бесплатный && технический

Пример: seo << аудит << бесплатно << технический

❌ Google
❌ Bing

Google и Bing возвращают соответствующие результаты, поскольку они считают && стоп-словом или

0 << и игнорировать его.

💡 Этот логический поисковый оператор Яндекса будет искать веб-страницы, которые содержат все указанные ключевые слова.

/+n

/+n будет искать веб-страницы на основе близости указанных ключевых слов. Число после косой черты определяет расстояние между словами между фразой до косой черты и фразой после косой черты.

Этот оператор поиска позволяет выполнять очень точный и подробный поиск.

/+n
Пример: seo /+2 аудит

❌ Google
❌ Bing

Google и Bing возвращают более или менее релевантные результаты, поскольку считают этот параметр стоп-словом и игнорируют его.

💡 В этом примере поиск выдаст веб-страницы, на которых слово «аудит» появляется через 2 слова после «seo». Он немного похож на AROUND 9.0120 оператора Google и NEAR оператора Bing.

/-n

/-n работает в «направлении», противоположном /+n , и находит веб-страницы, относящиеся к указанному ключевому слову, в котором ключевое слово, которому предшествует /- , представляет собой указанное количество слова друг от друга в левом направлении. Эта команда поиска также позволяет выполнять очень точный и подробный поиск.

/-n
Пример: аудит /-2 технический

❌ Google
❌ Bing

Google и Bing выдают более-менее релевантные результаты, потому что считают этого оператора Яндекса стоп-словом и игнорируют его.

💡 В этом примере поиск выдаст веб-страницы, на которых слово «технический» стоит за 2 слова до слова «seo».

&&/n

&&/n будет искать веб-страницы, в которых ключевое слово и ключевое слово смещения существуют в одном предложении. n определяет, сколько слов после первого термина должен появиться второй термин.

&&/n
Пример: поисковая оптимизация &&/2 аудит

❌ Google
❌ Bing

Google и Bing возвращают более или менее релевантные результаты, поскольку они рассматривают &1/20119 слово &n и игнорируют это.

💡 Логический оператор поиска Яндекса в примере будет искать веб-страницы, содержащие слово «seo» и слово «аудит», которое появляется через два слова после слова «seo».

/(х у)

/(x y) будет искать веб-страницы, на которых указанное ключевое слово появляется в диапазоне, указанном x и y . x обозначает смещение влево от указанного ключевого слова, а y определяет смещение вправо.

/(x y)
Пример: seo /(-3 +3) аудит

❌ Google
❌ Bing

Google и Bing считают этот параметр более или менее релевантным стоп-словом результатов и просто игнорировать его.

💡 Этот логический оператор поиска Яндекса найдет веб-страницы с ключевыми словами «seo» и «аудит» в пределах указанного диапазона слов. В данном случае это будет слово «аудит», которое находится на 3 слова левее и на 3 слова правее слова «seo».

()

() поможет вам сгруппировать различные ключевые слова и операторы в сложном запросе.

()
Пример: SEO && (+аудит | !аудит)

✔️ Bing
✔️ Google

Это логический оператор, который работает с любой поисковой системой.

💡Этот булев оператор поиска Яндекса позволяет создавать расширенные и сложные запросы, как в примере выше.

10+ операторов расширенного поиска Яндекса

А вот список операторов и команд расширенного поиска Яндекса, которые будут выполнять конкретный поиск и позволят вам еще больше уточнить его.

url:

url: будет искать веб-страницы с определенным URL-адресом. Обратите внимание, что адрес не чувствителен к регистру. Вы должны поместить URL-адрес в кавычки, если он содержит символы, такие как ' " ( ) _ .

URL:
Пример: URL: SEOSLY.com

✔ 9019
rat leples

2

2

2 9010 27 leples

. URL-адрес моего веб-сайта, то есть seosly.com

Вы можете использовать * в качестве подстановочного знака для поиска веб-страниц с адресами, начинающимися с указанного значения. *
Пример: url:moz.com/blog/*

❌ Bing
❌ Google

💡 Эта команда поиска будет искать веб-страницы в категории /blog на moz.com.

inurl:

inurl: будет искать веб-страницы, содержащие слово или слова, указанные в их URL-адресе.

inurl:
Пример: inurl:seo

✔️ Bing
✔️ Google

💡 Этот поисковый оператор работает практически одинаково во всех поисковых системах.

site:

site: будет искать веб-страницы и поддомены указанного веб-сайта.

сайт:
Пример: site:seosly.com

✔️ Google
✔️ Bing

💡 Эта команда поиска найдет все проиндексированные веб-страницы и subdolls.com.

домен:

домен: будет искать веб-страницы указанного домена. Это работает с доменами, оканчивающимися на «com».

домен: 
Пример: seo домен:seosly

❌ Google
❌ Bing

💡 Эта команда поиска найдет веб-страницы, содержащие слово «seo». домен указан.

хост:

хост: будет искать веб-страницы, размещенные на указанном хосте. Он идентичен оператору поиска url: , если вы укажете только имя хоста.

Вы должны придерживаться этого формата: host: www.second-level-domain.top-level-domain
Пример: seo host:www.seosly.com

❌ Google
❌ Bing 

💡 Эта команда поиска возвращает веб-страницы, которые содержат слово «seo» и размещаются на домене seosly.com.

rhost:

rhost : работает так же, как host: , за исключением того, что с rhost: имя хоста должно быть записано в обратном порядке (начиная с домена верхнего уровня).

Необходимо придерживаться следующего формата: rhost: домен верхнего уровня. домен второго уровня.www
Пример: seo rhost:com.seosly.www

❌ Google
❌ 0 Bing

💡 Если вам удобно писать URL-адреса задом наперёд, то вам понравится этот поисковый оператор Яндекса.

Если поставить * в конце URL, то rhost: будет искать по субдоменам указанного домена.

Пример: seo rhost.com.moz.*  

❌ Google
❌ Bing

💡 Команда поиска из первого примера вернет веб-страницы, содержащие слово «seo» и размещенные на seosly.com. Вторая команда вернет веб-страницы, содержащие слово «seo» и размещенные на всех поддоменах домена moz.com.

title: 

title: будет искать веб-страницы с ключевым словом, указанным в заголовке.

Название:
Пример: title:seo аудит

❌ Google
❌ Bing

💡 Команда поиска Яндекса в приведенном выше примере будет искать веб-страницы, содержащие фразу «seo аудит» в названии. Это эквивалентно поисковому параметру Google intitle: .

mime:

mime: будет искать определенные типы файлов в результатах поиска на основе указанного ключевого слова.

мим:
Пример: seo mime:pdf

❌ Google
❌ Bing

💡 В приведенном выше примере я хочу найти в Яндексе PDF-файлы, относящиеся к фразе «seo».

Этот оператор поиска эквивалентен типу файлов Google: он также позволяет находить определенные типы файлов среди результатов поиска.

lang:

lang: будет искать веб-страницы на указанном языке.

Яндекс поддерживает русский (ru), украинский (uk), белорусский (be), английский (en), французский (fr), немецкий (de), казахский (kk), татарский (tt), турецкий ( тр).

lang:
Пример: seo lang:en

❌ Google
❌ Bing

💡 Эта команда поиска вернет веб-страницы, которые содержат слово «seo» на английском языке.

date:

date: позволяет фильтровать веб-страницы по дате их последнего изменения. Вы должны указать год, а день или месяц можно заменить на * .

Для поиска веб-страниц с указанной датой последнего изменения используйте формат дата: ГГГММДД .

Для поиска веб-страниц с датой последнего изменения в диапазоне используйте формат дата:ГГГММДД..ГГГГММДД .

Для поиска веб-страниц, дата последнего изменения которых предшествует или позже указанной даты, используйте формат :дата<ГГГММДД . Здесь доступны следующие модификаторы: < <= > >= .

Если у вас нет полной даты, используйте формат date:YYYY** .

Дата:
Пример: SEO Дата: 20200815 (модифицировано 15.08.2020)

Пример: SEO Дата: 20200815..DATE: 20200101 (модифицированный между 8/15/15/15/ 15/15. 1120. 2020 и 01.01.2020)

Пример: seo date:>20200303 (изменено после 03.03.2020)

Пример: seo date:2020 7modified 0** 90

❌ Google
❌ Bing

💡 Этот поисковый оператор Яндекса очень полезен, если вы ищете веб-страницы по определенным датам или диапазонам дат. Однако обратите внимание, что Яндекс не так быстро индексирует веб-страницы, поэтому, если указана дата сегодня или вчера, результаты могут быть не очень релевантными.

$ anchor()

$ anchor() будет искать веб-страницы, которые имеют термин, указанный в () в якорном тексте ссылок.

$ anchor()
Пример: $ anchor(seo)

❌ Google
❌ Bing

💡 ссылок.

Я не совсем уверен, что эта команда поиска дает релевантные результаты. Во всяком случае, я упоминаю это в основном в образовательных целях.

Рекомендуем прочитать об операторах поиска Яндекса

Конечно, мне нужно было провести небольшое исследование, чтобы (надеюсь) найти и показать вам все имеющиеся параметры расширенного поиска Яндекса. Ниже приведены ссылки на некоторые ценные ресурсы по теме прямо из Яндекса:

• https://yandex.com/support/direct/keywords/symbols-and-operators.html
• https://yandex.com /support/search/query-language/search-operators.html

Make sure to check my other articles with search operators:

• Google search operators
• Bing search operators
• YouTube search operators
• YouTube search operators
• Gmail search operators

airflow.providers.yandex.operators.yandexcloud_dataproc — apache-airflow-providers-yandex Документация

• Главная
• airflow.providers.yandex
• airflow.провайдеры.яндекс.операторы
• airflow. providers.yandex.operators.yandexcloud_dataproc

Классы

InitializationAction	Данные для действия инициализации, которое должно выполняться при запуске кластера DataProc.
DataprocCreateClusterOperator	Создает кластер Yandex.Cloud Data Proc.
DataprocBaseOperator	Базовый класс для операторов DataProc, работающих с данным кластером.
DataprocDeleteClusterOperator	Удаляет кластер Yandex.Cloud Data Proc.
DataprocCreateHiveJobOperator	Запускает задание Hive в кластере Data Proc.
DataprocCreateMapReduceJobOperator	Запускает задание Mapreduce в кластере Data Proc.
DataprocCreateSparkJobOperator	Запускает задание Spark в кластере Data Proc.
DataprocCreatePysparkJobOperator	Запускает задание Pyspark в кластере Data Proc.

класс airflow.providers.yandex.operators.yandexcloud_dataproc.InitializationAction[источник]

Данные для действия инициализации, которое должно выполняться при запуске кластера DataProc.

ури : стр [источник]

аргументы : Последовательность [str] [источник]

тайм-аут : интервал [источник]

класс Airflow.providers.yandex.operatorators.yandexcloud_dataproc.dataproccreateclusterator ( * , FOLDER_ID = NONT , , , 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, 910, , , , , , . subnet_id=Нет , services=('HDFS', 'YARN', 'MAPREDUCE', 'HIVE', 'SPARK') , s3_bucket=Нет , zone='ru-central1-b' , service_account_id=None , masternode_resource_preset=None , masternode_disk_size=None , masternode_disk_type=None , datanode_resource_preset=None , datanode_disk_size=None , datanode_disk_type= Нет , datanode_count=1 , Computenode_resource_preset=Нет , Computenode_disk_size=Нет , Computenode_disk_type=Нет , Computenode_count=0 , computenode_max_hosts_count=None , computenode_measurement_duration=None , computenode_warmup_duration=None

, computenode_stabilization_duration=None , computenode_preemptible=False , computenode_cpu_utilization_target=None , computenode_decommission_timeout=None , connection_id=None , properties=None , enable_ui_proxy=False , host_group_ids=None , security_group_ids=Нет , log_group_id=Нет , initialization_actions=Нет , **kwargs )[источник]

Базы: airflow. models.BaseOperator

Создает кластер Yandex.Cloud Data Proc.

Параметры

• folder_id ( str | None ) — ID папки, в которой должен быть создан кластер.

• cluster_name ( str | None ) — имя кластера. Должен быть уникальным внутри папки.

• cluster_description ( str | Нет ) — Описание кластера.

• cluster_image_version ( str | Нет ) — версия образа кластера. Использовать по умолчанию.

• ssh_public_keys ( стр | Итерируемый [ стр ] | Нет ) — список открытых ключей SSH, которые будут развернуты для созданных вычислительных экземпляров.

• subnet_id ( str | None ) – идентификатор подсети. Все узлы кластера Data Proc будут использовать одну подсеть.

• services ( Iterable [ str ] ) — список служб, которые будут установлены в кластер. Возможные варианты: HDFS, ПРЯЖА, MAPREDUCE, HIVE, TEZ, ZOOKEEPER, HBASE, SQOOP, FLUME, SPARK, SPARK, ZEPPELIN, OOZIE

• s3_bucket ( str | None ) — корзина Yandex.Cloud S3 для хранения логов кластера. Задания не будут работать, если ведро не указано.

• zone ( str ) — Зона доступности для создания кластера. В настоящее время существуют ru-central1-a, ru-central1-b и ru-central1-c.

• service_account_id ( str | None ) — идентификатор учетной записи службы для кластера. Учетная запись службы может быть создана внутри папки.

• masternode_resource_preset ( str | Нет ) — Предустановка ресурсов (конфигурация CPU+RAM) для основного узла кластера.

• masternode_disk_size ( int | None ) — размер хранилища Мастерноды в ГиБ.

• masternode_disk_type ( str | Нет ) — Тип хранилища Мастерноды. Возможные варианты: сеть-ssd, сеть-hdd.

• datanode_resource_preset ( str | Нет ) — Предустановка ресурсов (конфигурация CPU+RAM) для узлов данных кластера.

• datanode_disk_size ( int | None ) — размер хранилища Datanodes в ГиБ.

• datanode_disk_type ( str | Нет ) — Тип хранилища Datanodes. Возможные варианты: сеть-ssd, сеть-hdd.

• Computenode_resource_preset ( str | Нет ) — Предустановка ресурсов (конфигурация CPU+RAM) для вычислительных узлов кластера.

• Computenode_disk_size ( int | None ) — размер хранилища вычислительных узлов в ГиБ.

• Computenode_disk_type ( str | None ) — тип хранилища вычислительных узлов. Возможные варианты: сеть-ssd, сеть-hdd.

• connection_id ( str | None ) — идентификатор подключения Яндекс.Облака Airflow.

• Computenode_max_count — максимальное количество узлов подкластера автоматического масштабирования вычислений.

• Computenode_warmup_duration ( int | None ) — время прогрева экземпляра в секундах. В течение этого времени, трафик отправляется на инстанс, но метрики экземпляра не собираются. В секундах.

• computenode_stabilization_duration ( int | None ) — Минимальное количество времени в секундах для мониторинга до Группы экземпляров могут уменьшить количество экземпляров в группе. За это время размер группы не уменьшается, даже если новые значения метрик указывают на то, что это необходимо. В секундах.

• Computenode_preemptible ( bool ) — Выгружаемые экземпляры останавливаются не реже одного раза в 24 часа, и могут быть остановлены в любое время, если их ресурсы потребуются вычислительным ресурсам.

• Computenode_cpu_utilization_target ( int | None ) — определяет правило автомасштабирования на основе средней загрузки ЦП группы экземпляров. в процентах. 10-100. По умолчанию не задано и используется стратегия автомасштабирования по умолчанию.

• Computenode_decommission_timeout ( int | None ) — тайм-аут для корректного вывода узлов из эксплуатации во время уменьшения масштаба. В секундах

• свойства ( dict [ str , str ] | Свойства переданы основному узлу. Документы: https://cloud.yandex.com/docs/data-proc/concepts/settings-list

• enable_ui_proxy ( bool ) — включить функцию UI Proxy для перенаправления веб-интерфейсов компонентов Hadoop. Документы: https://cloud.yandex.com/docs/data-proc/concepts/ui-proxy

• host_group_ids ( Iterable [ str ] | None ) — выделенные группы хостов для размещения виртуальных машин кластера. Документы: https://cloud.yandex.com/docs/compute/concepts/dedicated-host

• security_group_ids ( Iterable [ str ] | None ) — группы безопасности пользователей. Документы: https://cloud.yandex.com/docs/data-proc/concepts/network#security-groups

• log_group_id ( str | None ) — идентификатор группы журналов для записи журналов. По умолчанию журналы будут отправлены в группу журналов по умолчанию. Чтобы отключить отправку облачного журнала, установите свойство кластера dataproc:disable_cloud_logging = true Документы: https://cloud.yandex.com/docs/data-proc/concepts/logs

• initialization_actions ( Iterable [ InitializationAction ] | Нет ) — набор инициализирующих действий, выполняемых при запуске кластера. Документы: https://cloud.yandex.com/docs/data-proc/concepts/init-action

свойство cluster_id[источник]

выполнить ( контекст ) [источник]

Это основной метод получения при создании оператора. Контекст — это тот же словарь, который используется при рендеринге шаблонов jinja.

Дополнительные сведения см. в get_template_context.

class airflow. providers.yandex.operators.yandexcloud_dataproc.DataprocBaseOperator( * , yandex_conn_id=None , cluster_id=None , **kwargs )[41] 910

Базы: airflow.models.BaseOperator

Базовый класс для операторов DataProc, работающих с данным кластером.

Параметры

template_fields : Sequence[str] = ('cluster_id',) [источник]

абстрактный выполнить ( контекст ) [источник]

Это основной метод получения при создании оператора. Контекст — это тот же словарь, который используется при рендеринге шаблонов jinja.

Дополнительные сведения см. в get_template_context.

класс airflow.providers.yandex.operators.yandexcloud_dataproc.DataprocDeleteClusterOperator( * , connection_id=Нет , cluster_id=Нет , **kwargs ) [источник]

Базы: DataprocBaseOperator

Удаляет кластер Yandex. Cloud Data Proc.

Параметры

выполнить ( контекст ) [источник]

Это основной метод получения при создании оператора. Контекст — это тот же словарь, который используется при рендеринге шаблонов jinja.

Дополнительные сведения см. в get_template_context.

class airflow.providers.yandex.operators.yandexcloud_dataproc.DataprocCreateHiveJobOperator( * , query=None , query_file_uri=None , script_variables=None , continue_on_failure=False , properties=None , name='Hive job' , cluster_id=None , connection_id=None , **kwargs )[источник]

Оснований: DataprocBaseOperator

Запускает задание Hive в кластере Data Proc.

Параметры

• запрос ( str | Нет ) — запрос Hive.

• query_file_uri ( str | None ) — URI скрипта, который содержит запросы Hive. Можно разместить в HDFS или S3.

• свойства ( дикт [ стр , стр ] | Нет ) — сопоставление имен свойств со значениями, используемое для настройки Hive.

• Script_variables ( DICT [ Str , Str ] | Нет ) - Maping of Queriable названия.

• continue_on_failure ( bool ) — продолжать ли выполнение запросов в случае сбоя запроса.

• имя ( стр ) – Название работы. Используется для маркировки.

• cluster_id ( str | None ) — идентификатор кластера, в котором выполняется задание. Попытается получить идентификатор из объекта Dataproc Hook, если он указан. (шаблон)

• connection_id ( str | None ) — идентификатор подключения Яндекс.Облака Airflow.

выполнить ( контекст ) [источник]

Это основной метод получения при создании оператора. Контекст — это тот же словарь, который используется при рендеринге шаблонов jinja.

Дополнительные сведения см. в get_template_context.

class airflow.providers.yandex.operators.yandexcloud_dataproc.DataprocCreateMapReduceJobOperator( * , main_class=None , main_jar_file_uri = none , jar_file_uris = none , archive_uris = none , file_uris = none , args = none , . , connection_id=None , **kwargs ) [источник]

Базы: DataprocBaseOperator

Запускает задание Mapreduce в кластере Data Proc.

Параметры

• main_jar_file_uri ( str | None ) — URI файла jar с заданием. Можно разместить в HDFS или S3. Можно указать вместо main_class.

• main_class ( str | None ) — Имя основного класса задания. Можно указать вместо main_jar_file_uri.

• file_uris ( Итерируемый [ ул ] | Нет ) — URI файлов, используемых в задании. Можно разместить в HDFS или S3.

• archive_uris ( Iterable [ str ] | None ) — URI архивных файлов, используемых в задании. Можно разместить в HDFS или S3.

• jar_file_uris ( Iterable [ str ] | None ) — URI файлов JAR, используемых в задании. Можно разместить в HDFS или S3.

• свойства ( dict [ str , str ] |

• args ( Iterable [ str ] | None ) — аргументы для передачи в задание.

• имя ( стр ) – Название работы. Используется для маркировки.

• cluster_id ( str | None ) — идентификатор кластера, в котором выполняется задание. Попытается получить идентификатор из объекта Dataproc Hook, если он указан. (шаблон)

• connection_id ( str | None ) — идентификатор подключения Яндекс.Облака Airflow.

выполнить ( контекст ) [источник]

Это основной метод получения при создании оператора. Контекст — это тот же словарь, который используется при рендеринге шаблонов jinja.

Дополнительные сведения см. в get_template_context.

class airflow.providers.yandex.operators.yandexcloud_dataproc.DataprocCreateSparkJobOperator( * , main_class=None , main_jar_file_uri=None , jar_file_uris=None , archive_uris=None , file_uris=None , args=None , properties=None , name='Spark job' , cluster_id=Нет , connection_id=Нет , пакетов=Нет , репозиториев=Нет , exclude_packages=Нет , **kwargs )[источник]

Базы: DataprocBaseOperator

Запускает задание Spark в кластере Data Proc.

Параметры

• main_jar_file_uri ( str | None ) — URI файла jar с заданием. Можно разместить в HDFS или S3.

• main_class ( str | None ) — Имя основного класса задания.

• file_uris ( Iterable [ str ] | None ) — URI файлов, используемых в задании. Можно разместить в HDFS или S3.

• archive_uris ( Iterable [ ул ] | Нет ) — URI архивных файлов, используемых в задании. Можно разместить в HDFS или S3.

• jar_file_uris ( Iterable [ str ] | None ) — URI файлов JAR, используемых в задании. Можно разместить в HDFS или S3.

• свойства ( dict [ str , str ] | Нет1040 ) — Свойства задания.

• args ( Iterable [ str ] | None ) — аргументы для передачи в задание.

• имя ( стр ) – Название работы. Используется для маркировки.

• cluster_id ( str | None ) — идентификатор кластера, в котором выполняется задание. Попытается получить идентификатор из объекта Dataproc Hook, если он указан. (шаблон)

• connection_id ( str | None ) — идентификатор подключения Яндекс.Облака Airflow.

• пакетов ( Iterable [ str ] | None ) — список maven-координат классов jar для включения в драйвер и исполнитель.

• репозитории ( Iterable [ стр ] | Нет ) — Список дополнительных удаленных репозиториев для поиска координат maven дается с --packages.

• exclude_packages ( Iterable [ str ] | None ) — Список groupId:artifactId, чтобы исключить зависимости при разрешении зависимостей предоставляется в –packages, чтобы избежать конфликтов зависимостей.

выполнить( контекст )[источник]

Это основной метод получения при создании оператора. Контекст — это тот же словарь, который используется при рендеринге шаблонов jinja.

Дополнительные сведения см. в get_template_context.

class airflow.providers.yandex.operators.yandexcloud_dataproc.DataprocCreatePysparkJobOperator( * , main_python_file_uri=Нет , python_file_uris=Нет , jar_file_uris = none , archive_uris = none , file_uris = none , args = none , свойства = нет , name = 'pyspark job' , cluster_id = nach nome 4040404040404039. , пакетов = нет , репозиториев = нет , exclude_packages = нет , **kwargs )[источник]

Базы: DataprocBaseOperator

Запускает задание Pyspark в кластере Data Proc.

Параметры

• main_python_file_uri ( str | None ) — URI файла Python с заданием. Можно разместить в HDFS или S3.

• python_file_uris ( Iterable [ str ] | None ) — URI файлов python, используемых в задании. Можно разместить в HDFS или S3.

• file_uris ( Итерируемый [ стр ] | Нет ) — URI файлов, используемых в задании. Можно разместить в HDFS или S3.

• archive_uris ( Iterable [ str ] | None ) — URI архивных файлов, используемых в задании. Можно разместить в HDFS или S3.

• jar_file_uris ( Итерируемый [ стр ] | Нет ) — URI файлов JAR, используемых в задании. Можно разместить в HDFS или S3.

• свойства ( dict [ str , str ] |

• args ( Iterable [ str ] | None ) — аргументы для передачи в задание.

• имя ( стр ) – Название работы. Используется для маркировки.

• cluster_id ( str | None ) — идентификатор кластера, в котором выполняется задание. Попытается получить идентификатор из объекта Dataproc Hook, если он указан. (шаблон)

• connection_id ( str | None ) — идентификатор подключения Яндекс.