GridGain, Foster City / Статьи / Хабр
kseniya_roВремя на прочтение 1 мин
Количество просмотров805
Блог компании GridGain
Быстрее всего статьи, написанные сотрудниками GridGain, появляются в глобальном корпоративном блоге. Короткие видео и выступления на английском языке можно найти на корпоративном канале Youtube. Apache Ignite и GridGain тьюториалы выложены здесь, а для демо отведен отдельный репозиторий.
В 2014 году компания GridGain Systems передала в Apache Software Foundation разработанный ее сотрудниками код — платформу для вычислений в оперативной памяти. Так появился Apache Ignite Сотрудники компании GridGain продолжают участвовать в развитии проекта. Если у вас есть вопрос про Apache Ignite, на user list или на Stack Overflow вам весьма вероятно ответит контрибьютор, работающий в GridGain.
Читать далее
Всего голосов 2: ↑1 и ↓1 0
Комментарии 0
sChugunovВремя на прочтение 6 мин
Количество просмотров1.2K
Блог компании GridGain Open source *Amazon Web Services *Распределённые системы *
Туториал
Облачные вычисления так популярны по нескольким причинам: они гибкие, относительно дешевые по сравнению с поддержкой внутренней инфраструктуры и позволяют отлично автоматизировать распределение ресурсов (и тут тоже экономия). Когда объем обрабатываемых данных растет из года в год, нельзя полагаться на вертикальную масштабируемость, покупая все более и более дорогие серверы. Данные должны быть распределены по нескольким более дешевым системам (кластерам), где могут надежно храниться, обрабатываться и возвращаться к пользователю при необходимости.
Подготовка среды
Я собираюсь использовать AWS-облако для развертывания кластера Ignite. Для целей обучения нам хватит бесплатных машин базового уровня (AWS free tier). Я выбрал образ Ubuntu 18.04, но в целом это неважно. Перед развертыванием первых машин нам надо настроить группу безопасности (Security Group). В ней должны быть определены сетевые правила для портов, необходимых для узлов Ignite.
Рисунок 1 – Конфигурация Security Group
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 0
ux_dizВремя на прочтение 9 мин
Количество просмотров 1.
7K
Блог компании GridGain Дизайн
В данной статье я расскажу об эволюции компонента выбора метрик, который используется в GridGain Control Center, а также об изменениях, которые он претерпевал как во внешнем виде, так и в еще большей степени в логике своей работы. Идея, которую я попытаюсь донести до читателей, звучит так: «Любой компонент интерфейса претерпевает серию изменений, в результате которых он либо становится более удобным в использовании, либо от него полностью отказываются».
Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Комментарии 0
iakkuratovВремя на прочтение 8 мин
Количество просмотров4.7K
Блог компании GridGain Распределённые системы *
Туториал
Мониторинг сложных распределенных систем может стать настоящей головной болью как с точки зрения первичной настройки метрик и поддержания их актуальности, так и с точки зрения производительности.
Легче всего предотвратить большинство проблем заранее, ещё на стадии проектирования.
Читать далее
Всего голосов 12: ↑12 и ↓0 +12
Комментарии 1
sanpwcВремя на прочтение 6 мин
Количество просмотров3.5K
Блог компании GridGain Распределённые системы *
В этой статье мы рассмотрим, как устроены транзакции в Apache Ignite. Не будем останавливаться на концепции Key-Value хранилища, а перейдем сразу к тому, как это реализовано в Ignite. Начнем с обзора архитектуры, а затем проиллюстрируем ключевые моменты логики транзакций при помощи трейсинга. На простых примерах вы увидите, как работают транзакции (и по каким причинам могут не работать).
Необходимое отступление: кластер в Apache Ignite
Кластер в Игнайте — это множество серверных и клиентских узлов, где серверные узлы объединены в логическую структуру в виде кольца, а клиентские узлы присоединены к соответствующим серверным.
Читать дальше →
Всего голосов 9: ↑9 и ↓0 +9
Комментарии 4
dmekhanikovВремя на прочтение 10 мин
Количество просмотров2.3K
Блог компании GridGain Распределённые системы *
Представим, что вам нужно настроить мониторинг распределённой базы данных, такой как GridGain. Метрики положим в Prometheus. Графики нарисуем в Grafana. Про систему оповещения не забудем – для этого настроим Zabbix. Для анализа трейсов воспользуемся Jaeger. Для управления состоянием и CLI хорош. А для SQL запросов воспользуемся бесплатным JDBC клиентом вроде DBeaver.
Теперь настраиваем для каждого из инструментов систему аутентификации, чтобы никакая информация не просочилась, и мы у цели.
В итоге получили связку инструментов, которая сложнее самой распределённой системы, ради которой всё затевалось.
А теперь наймем для поддержки и настройки всего этого зверинца команду специалистов и будем жить долго и счастливо. Или нет, потому что столько ресурсов мы на эту задачу просто не получим. Придется искать способы удешевить обслуживание. В GridGain моя команда для этого написала собственный инструмент, закрывающий все потребности распределенной In-Memory платформы Apache Ignite или ее корпоративной версии GridGain.
Control Center умеет работать с GridGain начиная с версии 8.7.23 любой редакции, а также с Apache Ignite версии не младше 2.8.1.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 2
kseniya_roВремя на прочтение 1 мин
Количество просмотров731
Блог компании GridGain Распределённые системы *
Продолжаем серию вебинаров, где разработчики GridGain не только рассказывают, но и показывают, как работать с теми или другими возможностями Apache Ignite.
Если пропустили, обязательно посмотрите Руководство по настройкам безопасности для Apache Ignite и GridGain с примерами.
В четверг 23 апреля поговорим о том, как в Ignite устроен ребаланс, и подробно разберем примеры логов, чтобы научиться определять, когда ребаланс остановлен, а когда все еще активен, и безопаснее перезапускать узлы кластера. Также пример поможет понять, почему был автоматически выбрал исторический или полный ребаланс. Перед вебинаром советуем прочитать про распределение данных в Apache Ignite.
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 2
A_GuraВремя на прочтение 11 мин
Количество просмотров5K
Блог компании GridGain Алгоритмы *Распределённые системы *
Привет! Этот пост — немного сокращенная версия моего одноименного доклада на встрече сообщества Apache Ignite.
Полную видеоверсию вместе с вопросами и ответами можно посмотреть здесь, а слайды скачать здесь. В докладе я постарался на примерах показать, как данные распределяются в Apache Ignite.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 1
kseniya_roВремя на прочтение 1 мин
Количество просмотров931
Блог компании GridGain
Сделали канал для анонсов офлайн и онлайн мероприятий русскоязычного сообщества Apache Ignite в телеграме. Присоединяйтесь к @apacheigniteRus. Кстати, если вы давно хотите, чтобы разработчики Apache Ignite и GridGain про что-нибудь рассказали, а они всё не рассказывают, дайте нам знать — оставляйте ваши предложения в этом небольшом опроснике.
В Москве
Осталось всего 9 мест, регистрируйтесь.Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Комментарии 0
kseniya_roВремя на прочтение 1 мин
Количество просмотров803
Блог компании GridGain Open source *Java *Конференции Распределённые системы *
14 июня в Петербурге пройдет митап Apache Ignite Meetup: реальные кейсы. Послушаем парней, у которых получилось. Первый кейс — IMDG для расчета маржинальности торговых контрактов в Heineken. Второй — промышленная платформа Газпромнефти. Почему open source и Ignite? Куда прикрутили? Как и зачем работает? Спикеры ответят на эти и другие вопросы на митапе. Присоединяйтесь к нам вечером пятницы 14 июня. Чтобы было не душно, мы даже помещение нашли побольше — регистрация.
11 июля в Петербурге на конференции Гидра выступит Алексей Зиновьев с докладом “Не все ML-алгоритмы попадают в распределенный рай”. Он поделится своим опытом адаптации классических алгоритмов машинного обучения для выполнения в распределенном режиме, в том числе, расскажет про создание Apache Ignite ML, в котором принимал активное участие.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0
kseniya_roВремя на прочтение 2 мин
Количество просмотров1.1K
Блог компании GridGain Java *Big Data *Распределённые системы *
Начинается первая волна конференций, да и дружественные митапы активизировались. Присоединяйтесь.
15 марта, Санкт-Петербург — ODS SPB Meetup #5
Распределенный TensorFlow с Apache Ignite
На митапе, приуроченному ко дню рождения Open Data Science, Юрий Бабак, Руководитель группы разработки в GridGain, расскажет про распределенный TensorFlow с Apache Ignite:
— Apache Ignite как распределенный источник данных для TensorFlow;
— Hаспределенная тренировка модели на кластере TensorFlow поверх Apache Ignite;
— Инференс TensorFlow модели на кластере Apache Ignite
Программа и регистрация
28 марта, Москва — Scalability Meetup #7
Репликация распределенных баз данных
Репликация кластеров позволяет не беспокоиться за работоспособность распределенных систем.
Но что делать, если в дата-центре отключат свет, все кластеры сразу начнут сбоить (и каждый по-своему), а потом кто-то очень серьезно ошибется?
Иван Раков, Senior Software Engineer в GridGain, расскажет про то, какие варианты репликации возможны, как реализована транзакционная целостность в GridGain, и как это защищает кластер от катастроф.
Программа и регистрация
А также на JPoint и Saint Highload
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 2
dmitrievanthonyВремя на прочтение 8 мин
Количество просмотров4.1K
Блог компании GridGain Big Data *Машинное обучение *Распределённые системы *
Перевод
С чего начинается родина мы все знаем, а глубокое обучение начинается с данных.
Без них невозможно обучить модель, оценить ее, да и вообще использовать. Занимаясь исследованиями, увеличивая индекс Хирша статьями о новых архитектурах нейронных сетей и экспериментируя, мы опираемся на простейшие локальные источники данных; обычно — файлы в различных форматах. Это работает, но неплохо было бы помнить про боевую систему, содержащую терабайты постоянно меняющихся данных. А это значит, что нужно упростить и ускорить передачу данных в продакшене, а также иметь возможность работы с большими данными. Вот тут и наступает время Apache Ignite.
Apache Ignite – это распределенная memory-centric база данных, а также платформа для кэширования и обработки операций, связанных с транзакциями, аналитикой и потоковыми нагрузками. Система способна перемалывать петабайты данных со скоростью оперативной памяти. В статье речь пойдет об интеграции между Apache Ignite и TensorFlow, которая позволяет применять Apache Ignite в качестве источника данных для обучения нейронной сети и инференса, а также в качестве хранилища обучаемых моделей и системы управления кластером при распределенном обучении.
Читать дальше →
Всего голосов 15: ↑14 и ↓1 +13
Комментарии 4
artemshitovВремя на прочтение 8 мин
Количество просмотров19K
Блог компании GridGain Высокая производительность *Администрирование баз данных *Big Data *Распределённые системы *
Распределенные системы используют, когда возникает необходимость в горизонтальном масштабировании, чтобы обеспечить повышенные показатели производительности, которые не способна обеспечить за адекватные деньги вертикально масштабированная система.
Как и переход с однопоточной парадигмы на многопоточную, миграция на распределенную систему требует своего рода погружения и понимания того, как это работает внутри, на что нужно обращать внимание.
Одна из проблем, которая встает перед человеком, который хочет мигрировать проект на распределенную систему или начать на ней проект, — какой продукт выбрать.
Мы, как компания, которая «собаку сьела» в разработке систем такого рода, помогаем нашим клиентам взвешенно принимать такие решения применительно к распределенным системам хранения. Также мы выпускаем серию вебинаров для более широкой аудитории, которые посвящены базовым принципам, рассказанным простым языком, и безотносительно каких-то конкретных продуктовых предпочтений помогают составить карту значимых характеристик, чтобы облегчить выбор.
Эта статья основана на наших материалах по консистентности и ACID-гарантиям в распределенных системах.
Читать дальше →
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 0
kseniya_roВремя на прочтение 3 мин
Количество просмотров1.6K
Блог компании GridGain Open source *Конференции Распределённые системы *
Если 8 и 9 ноября вы будете на конференции Highload++, это отличный повод для встречи.
Оба дня на стенде GridGain (А4) будут присутствовать архитекторы и разработчики, которе ответят на любые вопросы про Apache Ignite и GridgGain. Кроме разговоров и стикеров на стенде можно принять участие в небольшом исследовании. Каждый вечер в 18:15 между ответившими на вопросы будут разыграны полезные книги. А также у нас запланированы 1 доклад, 2 митапа и 1 мини-батл.
Присоединяйтесь!
Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0
kseniya_roВремя на прочтение 6 мин
Количество просмотров2.4K
Блог компании GridGain Занимательные задачки Математика *
19 и 20 октября в Петербурге прошла конференция Joker — лучшее мероприятие для тех, кто любит то же самое, что и мы: крутые доклады, общение с продвинутыми Java-экспертами и задачки.
Не будем нахваливать третий выпуск задач от GridGain (1, 2), лучше процитируем отзывы участников:
«Их задачи показались глупыми и не относящимися к ИТ»
«Отличные задачи, как всегда (хоть ни одной и не осилил)»
«Наркомания в задачах»
«Топовые задачи, как всегда»
Публикуем, как обещали, развернутые решения. Вынесли под спойлер, чтобы свои силы могли попробовать и те, кто пропустил конференцию.
Читать дальше →
Всего голосов 14: ↑12 и ↓2 +10
Комментарии 2
stack_traceВремя на прочтение 8 мин
Количество просмотров6.8K
Блог компании GridGain C++ *SQL *Администрирование баз данных *Хранилища данных *
Цель моего поста — рассказать о C++ API распределенной базы данных Apache Ignite, который называется Ignite C++, а также о его особенностях.
О самом Apache Ignite на хабре писали уже не раз, так что наверняка некоторые из вас уже примерно представляют, что это такое и зачем нужно.
Кратко об Apache Ignite для тех, кто пока с ним не знаком
Не буду вдаваться в подробности о том, как появился Apache Ignite и чем отличается от классических баз данных. Все эти вопросы уже поднимались тут, тут или тут.
Итак, Apache Ignite — это по сути быстрая распределённая база данных, оптимизированная для работы с оперативной памятью. Сам Ignite вырос из дата грида (In-memory Data Grid) и до недавнего времени позиционировался как очень быстрый, находящийся полностью в оперативной памяти распределённый кэш на основе распределенной хэш-таблицы. Вот почему, кроме хранения данных, в нем есть множество удобных фич для их быстрой распределенной обработки: Map-Reduce, атомарные операции с данными, полноценные ACID транзакции, SQL запросы по данным, так называемые Continues Queries, дающие возможность следить за изменением определённых данных и другие.
Однако недавно в платформе появилась поддержка постоянного хранилища данных на диске. После чего Apache Ignite получил все преимущества полноценной объектно ориентированной базы данных, сохранив при этом удобство, богатство инструментария, гибкость и быстроту дата грида.
Читать дальше →
Всего голосов 15: ↑15 и ↓0 +15
Комментарии 4
kseniya_roВремя на прочтение 2 мин
Количество просмотров1K
Блог компании GridGain Open source *Java *
Мы уже готовимся к Joker и Highload++, а вы? Тем временем в сентябре можно обсудить Apache Ignite сразу на двух встречах — в Москве и Петербурге. А еще мы продолжаем цикл вебинаров для тех, кто еще только сравнивает разные In-Memory решения, чтобы выбрать самое подходящее.
Присоединяйтесь!
11 сентября (Москва) Apache Ignite Meetup Moscow #4
Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0
dspavlovВремя на прочтение 10 мин
Количество просмотров7.9K
Блог компании GridGain Open source *Программирование *Java *Распределённые системы *
На последней встрече сообщества Apache Ignite в Москве я рассказывал про:
- Open source-сообщество;
- Власть и деньги в open source;
- Как стать контрибьютором и коммитером, и зачем это нужно.
Ограниченное время доклада не позволило привести больше примеров, поэтому расширенную версию выкладываю на Хабре. Всё изложенное основано на моем личном опыте и не является официальной позицией какой-либо компании или организации.
Читать дальше →
Всего голосов 27: ↑27 и ↓0 +27
Комментарии 2
artemshitovВремя на прочтение 6 мин
Количество просмотров3.3K
Блог компании GridGain Высокая производительность *Java *Big Data *Распределённые системы *
В мае вышла новая версия Apache Ignite — 2.5. В неё внесено множество изменений, с полным списком которых можно ознакомиться в Release Notes. А в этой статье мы рассмотрим ключевые новшества, на которые стоит обратить внимание.
Apache Ignite — горизонтально масштабируемая платформа транзакционного хранения данных, а также распределенных вычислений поверх этих данных в режиме, близком к реальному времени.
Ignite применяют в тех случаях, когда нужна горизонтальная масштабируемость и очень высокая скорость обработки данных.
Последнее достигается также за счет оптимизации платформы под хранение данных непосредственно в RAM в качестве первичного хранилища, а не кеша (In-Memory Computing). Отличительными особенностями продукта являются полноценный движок запросов ANSI SQL 1999, дисковое хранилище, расширяющее RAM, большое количество встроенных интеграционных инструментов и Zero-ETL машинное обучение.
Среди компаний, которые используют Apache Ignite такие фирмы, как Veon/Beeline, Сбербанк, Huawei, Barclays, Citi, Microsoft и многие другие.
Одно из главных изменений в версии 2.5 — новый вариант топологии. Ранее в Ignite была лишь топология «кольцо», которая использовалась для обмена событиями внутри кластера и обеспечивала эффективную и быструю масштабируемость, на масштабе до 300 узлов.
Новая топология предназначена для инсталляций из многих сотен и тысяч узлов.
Читать дальше →
Всего голосов 22: ↑21 и ↓1 +20
Комментарии 2
LukyanovSA
000Z» title=»2018-07-04, 13:05″>4 июл 2018 в 13:05
Время на прочтение 11 мин
Количество просмотров9.6K
Блог компании GridGain Open source *Программирование *Java *
Привет! Ниже — расшифровка видеозаписи выступления на митапе Apache Ignite сообщества в Петербурге 20 июня. Загрузить слайды можно по ссылке.
Есть целый класс проблем, с которыми сталкиваются начинающие пользователи. Они только что скачали себе Apache Ignite, запускают первые два-три-десять раз, и приходят к нам с вопросами, которые решаются схожим образом. Поэтому предлагаю создать чек-лист, который сэкономит вам много времени и нервов, когда вы делаете свои первые приложения на Apache Ignite. Мы поговорим о подготовке к запуску; как сделать так, чтобы кластер собрался; как запустить какие-нибудь вычисления в Compute Grid; как подготовить модель данных и код, чтобы можно было записать в Ignite свои данные и потом их успешно прочитать.
И главное: как ничего не сломать с самого начала.
Всего голосов 25: ↑24 и ↓1 +23
Комментарии 8
GridGain Systems представляет новую платформу In-Memory Computing
GridGain Systems, разработчик корпоративных программных решений на базе Apache Ignite для вычислений в оперативной памяти компьютера, представляет GridGain 8.1 платформу in-memory computing нового поколения.
Решение раздвигает границы in-memory computing с новой архитектурой, ориентированной на память. Она использует преимущества in-memory и дисковых технологий, обеспечивая производительность распределенных вычислений в памяти по цене и с надежностью хранилища на диске.
GridGain 8.1 расширяет уникальные SQL-возможности платформы GridGain улучшенными функциями SQL Data Definition Language (DDL) в дополнение к существующей поддержке DML и ACID-транзакций. Релиз обеспечивает оптимальную производительность в гибридных инфраструктурах «память+диск» за счет новой функции Persistent Store.
Для организаций, работающих с Persistent Store, новая платформа GridGain Ultimate Edition предлагает функцию резервного копирования снимков кластера, которая настоятельно рекомендуется при использовании ориентированной на память архитектуры в критически важных средах.
В предыдущей версии GridGain появилась поддержка языков DDL во встроенном хранилище SQL Grid, позволяющая устанавливать и менять индексы во время работы без перезагрузки кластера. Теперь пользователи могут управлять кэшированием и схемами SQL-баз через команды CREATE и DROP. Это позволяет подключаться к GridGain через драйверы JDBC или ODBC и полностью конфигурировать кластер с помощью DDL-команд. В результате пользователю не нужно использовать Spring XML, Java или .NET опции для конфигурации кластера. Вместо этого, он может работать с платформой GridGain с поддержкой ANSI SQL-99, используя стандартные команды DDL и DML.
Persistent Store — это распределенное дисковое хранилище с поддержкой ACID и ANSI-99 SQL в Apache Ignite, которое прозрачно интегрируется с GridGain как опциональная дисковая прослойка (может быть развернута на SDD, SSD, Flash, 3D XPoint и других технологиях памяти).
Persistent Store сохраняет все данные на диске, размещая лишь заданные пользователем, нужные в определенный момент времени данные в памяти. Подключая Persistent Store, пользователям больше не нужно держать все активные данные в памяти или прогревать RAM с последующим перезапуском кластера, чтобы использовать in-memory возможности системы. Persistent Store хранит все множество данных и индексы SQL на диске, делая GridGain полностью функциональной на дисках. Сочетание новой функции и расширенных SQL-возможностей платформы позволяет GridGain служить распределенной транзакционной SQL-базой данных с использованием как дисков, так и памяти для поддержки существующих сценариев. Persistent Store помогает организациям максимизировать отдачу от инвестиций, устанавливая баланс между затратами на инфраструктуру и производительностью приложений за счет регулирования объема данных, которые хранятся в памяти.
В платформе GridGain Ultimate Edition появилась функция Cluster Snapshots. Снимки кластеров важны для производственных внедрений GridGain с использованием Persistent Store.
Они позволяют создавать как полные, так и инкрементные снимки, которые можно использовать как точки восстановления или как источник сравнительных данных в промежуточных и тестовых средах. Настроить снимки под бизнес-задачи пользователя можно с помощью инструментов GridGain Web Console и Snapshot Command Line Tool.
В нескольких версиях GridGain функция peer-class loading поддерживала Java. Это устраняло необходимость вручную внедрять код Java или Scala на каждом узле кластера и переустанавливать его при каждом изменении. Необходимые классы загружаются или удаляются по необходимости. С GridGain 8.1, разработчики .NET получают ту же возможность. Сборка .NET теперь может быть автоматически предзагружена на уже работающую ячейку кластера .NET, если локальная реализация задачи распределенного вычисления отсутствует. Удаление также осуществляется автоматически.
Разработчики теперь могут планировать и создавать задачи GridGain Compute Grid с помощью C++ и отправлять их в работу в кластер GridGain.
Ignite.C++ автоматически сериализует, десериализует и выполняет вычисления.
GridGain 8.1 это зрелая платформа in-memory computing нового поколения, которая может выгодно использоваться как сетка данных в памяти с существующими базами RDBMS, NoSQL или Apache Hadoop. Она также может работать как самостоятельная распределенная SQL-база данных, используя новую функцию Persistent Store, — говорит Эйб Кляйнфилд, президент и гендиректор GridGain. — Расширенная поддержка SQL DDL упрощает работу с GridGain с помощью стандартных SQL-команд, а функции Persistent Store и Cluster Snapshots позволяют работать с платформой в более широком спектре производственных приложений. Каждая организация может установить баланс между операционными издержками и производительностью приложений, регулируя объем данных, которые хранятся в памяти. С расширенными возможностями .NET и C++ команды разработчиков могут использовать уже имеющиеся навыки для работы с GridGain. В целом, платформа нового поколения GridGain 8.1 дает организациям возможность разместить ориентированную на память вычислительную платформу в качестве стратегического ядра своей инфраструктуры хранения и обработки данных».
1 дает организациям возможность разместить ориентированную на память вычислительную платформу в качестве стратегического ядра своей инфраструктуры хранения и обработки данных».Что такое GridGain? | Документация по GridGain
Что такое GridGain? | Документация по GridGainGridGain — продукт класса промежуточного программного обеспечения, разработанный одноименной компанией.
В качестве промежуточного программного обеспечения GridGain представляет собой вычислительную платформу в оперативной памяти, предназначенную для решения задач, связанных со скоростью и масштабированием. Но
что это значит? На практике это означает, что GridGain может хранить и обрабатывать ваши данные прямо в оперативной памяти.
через кластер взаимосвязанных машин. API-интерфейсы GridGain разработаны таким образом, чтобы минимизировать сетевой трафик.
между узлами кластера и вашими приложениями. В масштабе могут выполняться не только сложные SQL-запросы с JOIN, но и ваши
пользовательская логика Java/.
NET/C++ может выполняться на компьютерах кластера, что обеспечивает беспрецедентную производительность
способствовать росту.
Компания GridGain разработала программное обеспечение, которое стало называться Apache Ignite, пожертвовав исходный код
Apache Software Foundation (ASF) в 2014 году. Apache Ignite, один из самых быстрых проектов ASF, получивший статус высшего уровня,
в настоящее время входит в топ-5 проектов ASF с точки зрения вклада и активности в списках разработчиков, и ежегодно его загружают миллионы раз.
GridGain по-прежнему входит в число основных участников ASF, стремящихся расширить внедрение Apache Ignite во всем мире.
сообщество с открытым исходным кодом и компании с политикой «сначала открытый исходный код». Помимо приверженности открытому исходному коду, GridGain работает и
поддерживает критически важные развертывания крупных предприятий, которые получают выгоду от дополнительных функций, доступных в GridGain
только на платформе, а также из производственной поддержки, профессиональных и управляемых услуг.
Что вы можете сделать с GridGain?
Мы видели множество сценариев использования GridGain с различными режимы развертывания и архитектуры. Однако наиболее типичными являются GridGain в качестве сетки данных в памяти (IMDG) и GridGain в качестве система рекордов. Как IMDG, GridGain решает проблемы скорости и масштабирования существующих решений, которые обычно работают реляционными или NoSQL базами данных. Кластер GridGain в памяти развертывается между существующим приложением и база данных. Как только данные из базовой базы данных загружаются в IMDG, IMDG обрабатывает все операции чтения и записи, обеспечение согласованности транзакций для архитектур, поддерживаемых РСУБД. В качестве системы записей GridGain используется новые и современные приложения, которые ищут как скорость, так и масштаб с гарантиями долговечности и непротиворечивость данных для дисковых баз данных.
Важно отметить, что хотя GridGain относится к классу in-memory продуктов, он может хранить где угодно
от 0 до 100% данных в памяти и хранить общий набор данных в широком диапазоне энергонезависимой памяти: с диска или
SSD на новейшую энергонезависимую память, такую как Intel Optane.
Это позволяет компаниям сочетать скорость в памяти с
меньшая стоимость и долговечность энергонезависимого хранилища.
Так как же компании, большие и малые, используют GridGain? Наши клиенты используют GridGain для повышения скорости и масштабирования широкого диапазона приложений реального времени, в том числе:
Существующие пользовательские приложения реального времени или пакетные приложения
Новые базовые банковские системы, включая системы авторизации кредитных карт и платежные системы
Веб-масштаб и мобильные приложения и API
Торговля акциями и другими ценными бумагами и аналитика
Высокопроизводительные вычисления (HPC)
Обнаружение мошенничества и соблюдение нормативных требований
Электронная коммерция и управление льготами в области здравоохранения
Маршрутизация и управление передачей голоса по IP (VoIP)
Интернет вещей (IoT)
Потоковая аналитика
Машинное обучение (ML) и глубокое обучение (DL)
GridGain Editions
GridGain доступен в трех редакциях: Community, Enterprise и Ultimate.
GridGain Community Edition предназначен для тех, кому нужны функции Apache Ignite с регулярным графиком выпуска для улучшения и исправления ошибок. Эта редакция абсолютно бесплатна, включает все возможности Apache Ignite и усилен для производственных развертываний.
Если вам нужны все компоненты Community Edition, но также требуются некоторые корпоративные функции уровня предприятия безопасность, репликация центра обработки данных или соединители для различных корпоративных хранилищ или потоковых технологий, тогда выбирайте Корпоративная версия GridGain.
Если, вдобавок ко всему, вы развернете GridGain как систему записей, сохраняющую все данные в Ignite, то Вы должны выбрать GridGain Ultimate Edition для моментальных снимков/резервных копий всего кластера и инструментов управления восстановлением.
Кроме того, имейте в виду, что производственная поддержка и профессиональные услуги доступны не только для выпусков GridGain, но и для развертываний Apache Ignite.
Миграция с Apache Ignite
По большей части вы можете перейти с Apache Ignite на GridGain без серьезных проблем.
Для миграции остановите сервер и замените двоичные файлы Apache Ignite двоичными файлами GridGain. Данные будут сохранены при перезапуске серверов, но вам может потребоваться учитывать различия в некоторых функциях. Вот некоторые возможные проблемы:
Моментальные снимки
Моментальные снимки GridGain были разработаны отдельно от Apache Ignite. Реализации не совместимы. Если вы использовали в своем проекте моментальные снимки Apache Ignite, вместо этого вам потребуется реализовать моментальные снимки GridGain.
Ignite CDC
Ignite CDC (Change Data Capture) — это экспериментальная функция Apache Ignite, поэтому она не имеет точного аналога в GridGain. Вместо этого версии GridGain Enterprise и Ultimate предлагают репликацию центра обработки данных для репликации данных кэша.
Если вы использовали Apache Ignite CDC, вам потребуется реализовать репликацию центра обработки данных или использовать альтернативное решение.
Поддержка Calcite SQL
Механизм SQL Calcite не поддерживается в GridGain, и в настоящее время его реализация в версиях GridGain 8.x не планируется. Планируется, что выпуск GridGain 9 будет включать полную поддержку Calcite SQL.
Сотовая связь
Сотовая связь — это экспериментальный режим в Apache Ignite. Таким образом, он не реализован в GridGain.
Служебные перехватчики
Служебные перехватчики («промежуточное ПО») — это экспериментальная функция Apache Ignite. В настоящее время он недоступен в GridGain.
Пользовательский контекст выполнения
В настоящее время невозможно настроить пользовательский контекст выполнения в GridGain.
Контекст вызова службы
В GridGain нельзя получить массивы пользовательских объектов.
Read-Repair
Read-Repair — это экспериментальный API в Apache Ignite. Из-за потери производительности не был передан в GridGain.
Отсюда вы можете:
© GridGain Systems, Inc.
, 2023. Все права защищены. Политика конфиденциальности | Юридические уведомления. GridGain® является зарегистрированным товарным знаком GridGain Systems, Inc.
Apache, Apache Ignite, перо Apache и логотип Apache Ignite являются либо зарегистрированными товарными знаками, либо товарными знаками Apache Software Foundation.
Последнее обновление: 27 февраля 2023 г.
Эта страница требует JavaScript
О системах GridGain | Системы GridGain
GridGain ® Systems — лидер в области вычислений в оперативной памяти. платформы, о чем свидетельствуют обширные списки основных клиентов GridGain и бизнес-награды GridGain. GridGain вычислительная платформа в оперативной памяти, построенная на Apache ® Ignite ™ , обеспечивает скорость приложения и потребности масштабируемости цифрового предприятия и современных быстрых данных проблемы.
Компании, проходящие цифровую трансформацию, часто сталкиваются с производительностью и
ограничения масштабируемости с их существующими приложениями.
Огромное количество
данные, генерируемые их приложениями, превосходят существующую архитектуру,
не позволяя им обрабатывать данные в режиме реального времени для обеспечения производительности конечного пользователя
требования. Ограничения производительности и масштабируемости не позволяют предприятиям
извлечение выгоды из тенденций, внедрение новых функций и получение бизнеса в режиме реального времени
идеи, основанные на огромном количестве данных, генерируемых их приложениями.
Их архитектура не позволяет им полностью использовать свои данные для удовлетворения запросов конечных пользователей.
требования к производительности, извлечь выгоду из деловых возможностей и получить
важные идеи, которые позволяют им принимать правильные бизнес-решения в
в режиме реального времени.
GridGain в памяти
вычислительная платформа решает эти задачи, не требуя
копирование и замена существующих баз данных или приложений. GridGain
вычислительная платформа в памяти вставляется между существующим приложением и данными
слоев для ускорения и масштабирования приложений.
GridGain — это распределенная
вычислительное решение, которое пользователи развертывают на кластере серверных узлов, а не на
один сервер, как и многие реляционные базы данных. GridGain может распространять данные в
существующая монолитная база данных пользователя в кластере обычных серверов,
обеспечивает огромную масштабируемость и непревзойденную скорость приложения. GridGain
поддерживает данные приложения в памяти и использует массовую параллельную обработку
(MPP), чтобы использовать объединенную мощность ЦП всего кластера для обеспечения
Увеличение производительности приложений в 1000 раз.
GridGain раскрывает конкурентное преимущество бизнеса в реальном времени, будь то
развернуты локально, в общедоступном или частном облаке или в гибридной среде.
Решения GridGain Systems являются наиболее комплексными решениями корпоративного уровня.
вычислительное решение в памяти для больших объемов транзакций, аналитика в реальном времени,
и гибрид
транзакционная/аналитическая обработка (HTAP).