Картинка и текст: Распознать текст онлайн с картинки, pdf или фото

Как прикрепить изображения на вашем телефоне

Лучшие практики для текстовых сообщений. текстовые сообщения: SMS и MMS. SMS означает «служба коротких сообщений» и в основном предназначена для текстовых сообщений, таких как подтверждения заказов или тексты обслуживания клиентов.

MMS, что означает «служба обмена мультимедийными сообщениями», была создана для обеспечения передачи мультимедийных данных, таких как фотографии и видео, между мобильными устройствами.

При отправке фотографии в MMS-сообщении изображение появится непосредственно в теле текста.

В тех редких случаях, когда тарифный план мобильного телефона вашего контакта не позволяет ему получать фотографии, он автоматически получит что-то, известное как «запасной вариант». Резервная копия — это просто ссылка на изображение, и она похожа на изображения, отправленные с помощью SMS.

Сегодня, 12:10

Покажите этот текст, чтобы получить бесплатную гуакумуляцию буррито! Предложение действует до 30.03. Ответить СТОП, чтобы остановить.

Как отправить изображение в сообщении MMS

Выполните шесть простых шагов, чтобы отправить сообщение MMS с вложенным изображением.

1. Создайте новую кампанию на вкладке «Кампании» в левой части учетной записи SimpleTexting.
2. Выберите «MMS» в качестве типа рассылки, которую вы хотите отправить.

3. В теле сообщения MMS щелкните значок скрепки.

4. Загрузите изображение, которое хотите добавить, или вставьте URL-адрес туда, где оно находится.

5. Выберите загруженное изображение и нажмите синюю кнопку «включить» в правом нижнем углу.

6. Продолжайте отправлять рассылку как обычно!

Хотите более подробное руководство? Посмотрите наше пошаговое видео.

💡 SimpleTexting Совет : Обычная SMS-кампания стоит вам один кредит, а MMS-кампания будет стоить вам три. Если вы не знакомы с нашей структурой ценообразования или хотите узнать больше о кредитах, узнайте подробности здесь!

Отправка изображений в виде ссылок в текстовых SMS-сообщениях

По-прежнему можно отправлять фотографии без использования MMS, но ваше изображение не будет отображаться в самом текстовом сообщении.

С помощью SMS вы можете вместо этого включить ссылки, которые при нажатии отправляют получателей на фотографию в Интернете.

Вот шесть шагов, чтобы прикрепить изображение к SMS-сообщению в качестве ссылки:

1. Откройте новую кампанию.
2. Убедитесь, что в качестве типа кампании выбрано SMS.
3. Выберите значок изображения.

4. Либо вставьте URL-адрес, по которому размещено изображение, либо перейдите на свой компьютер, чтобы загрузить файл. Поддерживаются любые файлы JPG, PNG или GIF размером до 10 МБ.

5. Нажмите кнопку «Вставить».

6. Отправьте кампанию как обычно!

💡 SimpleTexting Совет : Появляющаяся ссылка может показаться длинной. Просмотрите предварительный просмотр телефона в правой части экрана, чтобы увидеть сокращенный URL-адрес, который увидят ваши получатели.

Конечно, если вы владелец бизнеса и одновременно ведете много личных разговоров с клиентами, вы можете отправлять быстрые изображения с помощью телефона, а не каждый раз доставать ноутбук.

Посмотрите, как текстовые изображения на мобильных устройствах.

Как прикрепить изображения на iPhone

Прикрепить изображение к тексту на iPhone относительно просто. Вот как это делается.

1. Откройте приложение «Сообщения».
2. Если вы хотите сделать фото или записать видео перед отправкой, просто коснитесь значка камеры и сделайте фото или видео. Оно автоматически прикрепится к вашему сообщению.
3. Если вы хотите прикрепить существующую фотографию или видео, нажмите значок «Фотографии» (разноцветный цветок) и выберите медиафайл.
4. Нажмите «Отправить», и готово!

Как прикреплять изображения на Android

1. Откройте приложение «Сообщения».
2. Начать новый разговор или открыть текущий.

3. Введите сообщение и щелкните значок изображения и камеры слева от окна сообщения.
4. Используйте камеру во всплывающем окне, чтобы сделать новое изображение, или выберите «Галерея», чтобы выбрать существующее изображение, затем «Добавить». Ваше изображение появится в окне сообщения.

5. Щелкните оранжевую стрелку в правом нижнем углу окна сообщения для отправки, и все готово.

Как прикреплять изображения с помощью мобильного приложения SimpleTexting

Если вы хотите, чтобы все ваши SMS-сообщения оставались внутри вашей учетной записи SimpleTexting, хорошие новости! У нас есть приложение, которое совместимо как с iOS, так и с Android.

Мы расскажем, как прикрепить изображение к сообщениям в приложении.

Отправка изображения с кампанией:

1. Откройте приложение и войдите в систему. 
2. С левой стороны выберите Кампании .

3. Выберите MMS в качестве типа сообщения.
4. Напишите свое сообщение и щелкните значок изображения в окне сообщения.
5. Во всплывающем окне выберите Photo Library , чтобы выбрать ранее загруженное изображение, Сделать фото или видео , чтобы сделать новое изображение, или Выберите файлы , чтобы выбрать изображение с вашего устройства.

6. Выбрав изображение, нажмите кнопку «Включить» в правом нижнем углу.
7. Вы готовы отправить сообщение!

Отправка изображения из папки «Входящие»:

1. После входа в систему выберите Входящие в меню слева и начните новый разговор или откройте текущий.

2. Щелкните значок изображения под окном сообщения.

3. Выберите свою фотографию так же, как в кампании.
4. Когда закончите, нажмите кнопку «Включить».
5. Напишите свое сообщение и нажмите Отправить MMS .

Теперь, когда вы знаете, когда отправлять изображения и как настраивать сообщения, давайте рассмотрим некоторые рекомендации, которые следует учитывать при отправке изображений.

• Убедитесь, что ваши фотографии имеют правильный размер. При изменении размера для просмотра на мобильных устройствах вы, как правило, хотите, чтобы ваше изображение было в портретном соотношении 9:16. К счастью, в Интернете есть множество бесплатных инструментов для изменения размера изображений, таких как этот от Adobe.
• Проверьте разрешение изображения. Рекомендации по размеру, которые мы включили, означают, что ваши изображения должны быть не менее 640 пикселей в ширину и не более 1200 пикселей по вертикали.
• Отправляйте только те изображения, которые вам разрешено использовать. Авторское право применяется, когда вы отправляете текстовые сообщения с фотографиями. Убедитесь, что вы отправляете только изображения, созданные вами или которые можно использовать бесплатно. Обычно их можно найти, проверив строку «Лицензии Creative Commons» в Google Images или на таких сайтах, как Pexels или Unsplash.
• Остерегайтесь личной информации. При отправке текстовых сообщений в деловых целях убедитесь, что вы не отправляете текстовые сообщения с какой-либо конфиденциальной информацией, такой как номер чьей-либо кредитной карты, номер социального страхования или медицинские записи.

Изображения как маркетинговый инструмент

Таким образом, вы всего в нескольких быстрых кликах можете поделиться своей визуальной историей с клиентами по всей стране.

И если вы никогда не отправляли изображение своим контактам, вот несколько причин, по которым вам следует это сделать.

Изображения могут помочь…

• Представляйте информацию более запоминающимся способом
• Дайте ясность более детальным идеям
• Вызывать эмоции
• Предлагайте еду на вынос, которой легко поделиться
• Поднимите настроение и повеселитесь!

А теперь иди и оживи свои сообщения!

DALL·E: Создание изображений из текста

DALL·E — это версия GPT-3 с 12 миллиардами параметров, обученная генерировать изображения из текстовых описаний с использованием набора данных пар текст-изображение. Мы обнаружили, что он обладает разнообразным набором возможностей, включая создание антропоморфных версий животных и объектов, правдоподобное объединение несвязанных концепций, рендеринг текста и применение преобразований к существующим изображениям.

См. также: DALL·E 2, который создает более реалистичные и точные изображения с 4-кратным увеличением разрешения.

Текстовая подсказка

иллюстрация редиски дайкон в балетной пачке, выгуливающей собаку . . . .

Сгенерировано искусственным интеллектом
изображения

Подсказка редактирования или просмотра дополнительных изображений

Текстовая подсказка

витрина магазина, на которой написано слово «openai». . . .

 изображения, созданные искусственным интеллектом

Подсказка редактирования или просмотра дополнительных изображений больше изображений

GPT-3 показал, что язык можно использовать для указания большой нейронной сети выполнять различные задачи по генерации текста. Image GPT показал, что тот же тип нейронной сети можно использовать для создания изображений с высокой точностью. Мы расширили эти результаты, чтобы показать, что манипулирование визуальными понятиями с помощью языка теперь доступно.

Обзор

Как и GPT-3, DALL·E представляет собой языковую модель преобразователя. Он получает и текст, и изображение как единый поток данных, содержащий до 1280 токенов, и обучается с использованием максимальной вероятности для генерации всех токенов один за другим. ^[1] Эта обучающая процедура позволяет DALL·E не только генерировать изображение с нуля, но и регенерировать любую прямоугольную область существующего изображения, простирающуюся до нижнего правого угла, таким образом, чтобы это соответствовало тексту. быстрый.

Мы понимаем, что работа с генеративными моделями может иметь значительные, широкие социальные последствия. В будущем мы планируем проанализировать, как такие модели, как DALL·E, связаны с социальными проблемами, такими как экономическое влияние на определенные рабочие процессы и профессии, потенциальная систематическая ошибка в результатах модели и долгосрочные этические проблемы, связанные с этой технологией.

Возможности

Мы обнаружили, что DALL·E может создавать правдоподобные образы для самых разных предложений, исследующих композиционную структуру языка. Мы проиллюстрируем это с помощью серии интерактивных изображений в следующем разделе. Образцы, показанные для каждой подписи в визуальных элементах, получены путем выбора 32 лучших из 512 после повторного ранжирования с помощью CLIP, но мы не используем никакого ручного выбора, кроме миниатюр и отдельных изображений, которые появляются снаружи. ^[2]

Управление атрибутами

Мы проверяем способность DALL·E изменять несколько атрибутов объекта, а также количество его появления.

Нажмите, чтобы отредактировать текстовую подсказку или просмотреть больше изображений, созданных искусственным интеллектом

зеленые пятиугольные часы. зеленые часы в форме пятиугольника.

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения

Мы обнаружили, что DALL·E может отображать знакомые объекты в многоугольных формах, которые иногда вряд ли встречаются в реальном мире. Для некоторых объектов, таких как «рамка для картины» и «тарелка», DALL·E может надежно нарисовать объект любой из многоугольных форм, кроме семиугольника. Для других объектов, таких как «крышка люка» и «знак остановки», вероятность успеха DALL·E для более необычных форм, таких как «пятиугольник», значительно ниже.

Мы обнаружили, что для некоторых изображений в этом посте повтор подписи, иногда с альтернативными формулировками, улучшает согласованность результатов.

navigationupwide

куб из дикобраза. куб с текстурой дикобраза.

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные ИИ
изображения

Мы обнаружили, что DALL·E может отображать текстуры различных растений, животных и других объектов на трехмерных телах. Как и в предыдущем изображении, мы обнаружили, что повторение подписи с альтернативной формулировкой улучшает согласованность результатов.

navigationupwide

коллекция очков лежит на столе

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения

Мы обнаружили, что DALL·E может рисовать несколько копий объекта сделать это, но не может надежно сосчитать до трех. Когда предлагается нарисовать существительные, для которых есть несколько значений, таких как «стаканы», «чипсы» и «чашки», он иногда рисует обе интерпретации, в зависимости от используемой формы множественного числа.

navigationupwide

Рисование нескольких объектов

Одновременное управление несколькими объектами, их атрибутами и их пространственными отношениями представляет собой новую задачу. Например, рассмотрим фразу «ежик в красной шапке, желтых перчатках, синей рубашке и зеленых штанах». Чтобы правильно интерпретировать это предложение, DALL·E должен не только правильно скомпоновать каждый предмет одежды с животным, но и сформировать ассоциации (шапка, красный), (перчатки, желтый), (рубашка, синий) и (штаны, зеленый). ), не смешивая их. ^[3] Мы проверяем способность DALL·E делать это для относительного позиционирования, укладки объектов и управления несколькими атрибутами.

маленький красный блок, сидящий на большом зеленом блоке

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения

Мы обнаружили, что DALL·E правильно реагирует на некоторые типы относительных положений, но не на другие. Варианты «сидеть на» и «стоять впереди» иногда работают, а «сидеть внизу», «стоять позади», «стоять слева» и «стоять справа» — нет. DALL·E также имеет более низкий уровень успеха, когда его просят нарисовать большой объект, расположенный поверх меньшего, по сравнению с наоборот.

navigationupwide

стек из 3 кубов. красный куб находится сверху, сидя на зеленом кубе. зеленый куб находится посередине, сидя на синем кубе. синий куб находится внизу.

navigationdownwide

navigationupwide

Текстовое приглашение

Сгенерированные ИИ
изображения

Мы обнаружили, что DALL·E обычно создает изображение с одним или двумя объектами, имеющими правильные цвета. Однако только в нескольких образцах для каждой настройки обычно имеется ровно три объекта, окрашенных точно так, как указано.

navigationupwide

эмодзи пингвиненка в синей шапке, красных перчатках, зеленой рубашке и желтых штанах обычно создает изображение с двумя или тремя предметами одежды, имеющими правильные цвета. Однако лишь немногие из образцов для каждого окружения, как правило, имеют все четыре предмета одежды указанных цветов.

navigationupwide

Хотя DALL·E предлагает некоторый уровень контроля над атрибутами и позициями небольшого числа объектов, вероятность успеха может зависеть от того, как сформулирован заголовок. По мере того, как вводится больше объектов, DALL·E склонен путать ассоциации между объектами и их цветами, и вероятность успеха резко снижается. Мы также отмечаем, что DALL·E хрупок в отношении перефразирования подписи в этих сценариях: альтернативные, семантически эквивалентные подписи часто не дают правильной интерпретации.

Визуализация перспективы и трехмерности

Мы обнаружили, что DALL·E также позволяет управлять точкой обзора сцены и трехмерным стилем, в котором визуализируется сцена.

очень крупный план водосвинки, сидящей в поле

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения разные взгляды. Некоторые из этих видов, такие как «вид сверху» и «вид сзади», требуют знания внешнего вида животного с необычных ракурсов. Другие, такие как «крайний план», требуют знания мелких деталей кожи или меха животного.

navigationupwide

капибара из вокселей, сидящая в поле

navigationdownwide

navigationupwide

Текстовая подсказка животных в соответствии с выбранным 3D-стилем, таким как «глиняный» и «сделанный из вокселей», и визуализировать сцену с правдоподобным затенением в зависимости от положения солнца. «Рентгеновский» стиль не всегда работает надежно, но он показывает, что DALL·E иногда может ориентировать кости внутри животного в правдоподобных (хотя и не анатомически правильных) конфигурациях.

navigationupwide

Чтобы продвинуться дальше, мы проверяем способность DALL·E многократно рисовать голову известной фигуры под каждым углом из последовательности равноотстоящих углов и обнаруживаем, что можем восстановить плавную анимацию вращения голова.

фотография бюста Гомера

navigationdownwide

navigationupwide

текстовая подсказка

графическая подсказка

сгенерированные AI
изображения область изображения, показывающая шляпу, нарисованную под определенным углом. Затем мы просим DALL·E завершить оставшуюся часть изображения с учетом этой контекстной информации. Мы делаем это неоднократно, каждый раз поворачивая шляпу еще на несколько градусов, и обнаруживаем, что можем восстановить плавную анимацию нескольких хорошо известных фигур, при этом каждый кадр соответствует точным спецификациям угла и окружающего освещения.

navigationupwide

DALL·E может применять некоторые типы оптических искажений к сценам, как мы видим с параметрами «вид объектива «рыбий глаз»» и «сферическая панорама». Это побудило нас исследовать его способность генерировать отражения.

простой белый куб, смотрящий на свое отражение в зеркале. простой белый куб, смотрящий на себя в зеркало.

navigationdownwide

navigationupwide

Текстовое приглашение

Графическое приглашение

изображения, сгенерированные ИИ

Подобно тому, что было сделано ранее, мы предлагаем DALL·E заполнить нижние правые углы последовательности кадров, каждый из которых содержит зеркало и отражающий пол. Хотя отражение в зеркале обычно напоминает объект за его пределами, оно часто не передает отражение физически правильным образом. Напротив, отражение объекта, нарисованного на отражающем полу, обычно более правдоподобно.

navigationupwide

Визуализация внутренней и внешней структуры

Образцы в стиле «крайний крупный план» и «рентген» позволили нам дополнительно изучить способность DALL·E отображать внутреннюю структуру с помощью поперечных сечений и внешнюю структуру с помощью макрофотографий.

вид грецкого ореха в разрезе

navigationdownwide

navigationupwide

Текстовая подсказка

изображения, сгенерированные искусственным интеллектом

Мы обнаружили, что DALL·E может рисовать внутренности нескольких различных типов объектов.

navigationupwide

макрофотография мозгового коралла

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные искусственным интеллектом
изображения объекты. Эти детали видны только при близком рассмотрении объекта.

navigationupwide

Определение контекстных деталей

Задача преобразования текста в изображения недостаточно конкретизирована: одна подпись обычно соответствует бесконечному количеству правдоподобных изображений, поэтому изображение не определяется однозначно. Например, рассмотрим подпись «картина с изображением капибары, сидящей в поле на восходе солнца». В зависимости от ориентации водосвинки может возникнуть необходимость нарисовать тень, хотя эта деталь никогда не упоминается явно. Мы изучаем способность DALL·E устранять недочеты в трех случаях: изменение стиля, обстановки и времени; рисование одного и того же объекта в различных ситуациях; и создание изображения объекта с написанным на нем определенным текстом.

рисунок водосвинки, сидящей в поле на восходе солнца

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения стилей и может адаптировать освещение, тени и окружающую среду в зависимости от времени суток или времени года.

navigationupwide

витраж с изображением синей клубники

navigationdownwide

navigationupwide

Текстовое приглашение

Созданные ИИ
изображения

Мы обнаружили, что DALL·E может гибко адаптировать представление объекта в зависимости от среды, на которой он рисуется. Для «фрески», «банки содовой» и «чашки» DALL·E должен изменить способ рисования объекта в зависимости от угла и кривизны поверхности рисования. Для «витража» и «неоновой вывески» он должен изменить внешний вид объекта по сравнению с тем, каким он обычно выглядит.

navigationupwide

витрина магазина, на которой написано слово «openai». фасад магазина, на котором написано слово «openai». фасад магазина, на котором написано слово «openai». Фасад магазина «Опенай».

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения

Мы обнаружили, что DALL·E иногда может отображать текст и адаптировать стиль письма к контексту, в котором он появляется. Например, «пакет чипсов» и «номерной знак» требуют разных типов шрифтов, а «неоновая вывеска» и «надпись в небе» требуют изменения внешнего вида букв.

Как правило, чем длиннее строка, которую DALL·E предлагается записать, тем ниже вероятность успеха. Мы обнаружили, что вероятность успеха повышается, когда части подписи повторяются. Кроме того, вероятность успеха иногда повышается по мере снижения температуры выборки изображения, хотя образцы становятся проще и менее реалистичными.

navigationupwide

С различной степенью надежности DALL·E обеспечивает доступ к подмножеству возможностей механизма 3D-рендеринга с помощью естественного языка. Он может независимо контролировать атрибуты небольшого числа объектов и в ограниченной степени, сколько их и как они расположены по отношению друг к другу. Он также может управлять положением и углом, с которого визуализируется сцена, и может генерировать известные объекты в соответствии с точными спецификациями угла и условий освещения.

В отличие от механизма 3D-рендеринга, чьи входные данные должны быть указаны однозначно и во всех подробностях, DALL·E часто может «заполнить пробелы», когда заголовок подразумевает, что изображение должно содержать определенную деталь, которая явно не указана.

Применение предыдущих возможностей

Далее мы рассмотрим использование предыдущих возможностей для моды и дизайна интерьера.

Композиционная природа языка позволяет нам объединять концепции для описания как реальных, так и воображаемых вещей. Мы обнаружили, что DALL·E также может комбинировать разрозненные идеи для синтеза объектов, некоторые из которых вряд ли существуют в реальном мире. Мы исследуем эту способность в двух случаях: перенос качеств различных концепций на животных и создание продуктов, черпая вдохновение из несвязанных концепций.

улитка из арфы. улитка с текстурой арфы.

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения

Мы обнаружили, что DALL·E может генерировать животных, синтезированных из различных понятий, включая музыкальные инструменты, продукты питания и предметы домашнего обихода. Хотя это и не всегда удается, мы обнаруживаем, что DALL·E иногда принимает во внимание формы двух объектов, решая, как их объединить. Например, когда ему предлагается нарисовать «улитку, сделанную из арфы», он иногда связывает столб арфы со спиралью раковины улитки.

В предыдущем разделе мы видели, что чем больше объектов вводится в сцену, тем чаще DALL·E путает ассоциации между объектами и их заданными атрибутами. Здесь мы видим иной вид отказа: иногда вместо того, чтобы привязать какой-либо атрибут заданного понятия (скажем, «кран») к животному (скажем, «улитке»), ДАЛЛ·И просто рисует их как отдельные предметы.

navigationupwide

Иллюстрации животных

В предыдущем разделе мы исследовали способность DALL·E комбинировать несвязанные концепции при создании изображений объектов реального мира. Здесь мы исследуем эту способность в контексте искусства для трех видов иллюстраций: антропоморфные версии животных и предметов, химеры животных и смайлики.

иллюстрация редиски дайкон в балетной пачке, выгуливающей собаку Мы обнаружили, что DALL·E иногда может передавать некоторые виды человеческой деятельности и предметы одежды животным и неодушевленным предметам, таким как продукты питания. Мы включили «пикачу» и «владение синим световым мечом», чтобы изучить способность DALL·E использовать популярные медиа.

Нам интересно, как DALL·E адаптирует части человеческого тела к животным. Например, когда его просят нарисовать редис дайкон, сморкающийся, потягивающий латте или катающийся на одноколесном велосипеде, ДАЛЛ·И часто рисует платок, руки и ноги в правдоподобных местах.

navigationupwide

Профессиональная высококачественная иллюстрация химеры черепахи-жирафа. жираф, имитирующий черепаху. жираф из черепахи.

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения

Мы обнаружили, что DALL·E иногда может комбинировать различных животных правдоподобным образом. Мы включаем «пикачу», чтобы исследовать способность DALL·E использовать знания популярных медиа, и «робот», чтобы исследовать его способность создавать животных-киборгов. Как правило, черты второго животного, упомянутого в подписи, имеют тенденцию быть доминирующими.

Мы также обнаружили, что вставка фразы «профессиональное высокое качество» перед словами «иллюстрация» и «эмодзи» иногда улучшает качество и согласованность результатов.

navigationupwide

профессиональные высококачественные смайлики влюбленной чашки боба

navigationdownwide

navigationupwide

Текстовая подсказка

Созданные AI
изображения

и неодушевленные предметы, такие как продукты питания. Как и в предыдущем изображении, мы обнаружили, что вставка фразы «профессиональное высокое качество» перед «эмодзи» иногда улучшает качество и согласованность результатов.

navigationupwide

Zero-Shot Visual Reasoning

GPT-3 может быть проинструктирован выполнять многие виды задач исключительно на основе описания и подсказки для получения ответа, предоставленного в его подсказке, без какого-либо дополнительного обучения. Например, на запрос фразы «вот предложение «человек, выгуливающий свою собаку в парке», переведенное на французский язык:», GPT-3 отвечает: «un homme qui promène son chien dans le parc». Эта возможность называется рассуждением с нулевым выстрелом. Мы обнаружили, что DALL·E расширяет эту возможность до визуальной области и может выполнять несколько видов задач преобразования изображения в изображение при правильном запросе.

точно такой же кот вверху, как и набросок внизу

navigationdownwide

navigationupwide

Текстовое приглашение

Графическое приглашение

Сгенерированные ИИ
изображения

Мы обнаружили, что DALL·E может применять несколько видов преобразования изображений к фотографиям животных с разной степенью надежности. Самые простые из них, такие как «фотография, окрашенная в розовый цвет» и «фотография, отраженная вверх ногами», также, как правило, являются наиболее надежными, хотя фотография часто не копируется или не отражается точно. Преобразование «животное в очень крупном плане» требует, чтобы DALL·E распознал породу животного на фотографии и воспроизвел ее с соответствующими деталями. Это работает менее надежно, и для некоторых фотографий DALL·E генерирует правдоподобные завершения только в одном или двух случаях.

Другие трансформации, такие как «животное в солнечных очках» и «животное в галстуке-бабочке», требуют размещения аксессуара на нужной части тела животного. Те, которые изменяют только цвет животного, такие как «животное окрашено в розовый цвет», менее надежны, но показывают, что DALL·E иногда способен отделить животное от фона. Наконец, трансформации «набросок животного» и «чехол для мобильного телефона с животным» исследуют использование этой возможности для иллюстраций и дизайна продукта.

navigationupwide

точно такой же чайник сверху с надписью «gpt» снизу E может применять несколько различных видов преобразования изображений к фотографиям чайников с разной степенью надежности. Помимо возможности изменять цвет чайника (например, «синий цвет») или его рисунок (например, «с полосами»), DALL·E также может отображать текст (например, «с надписью «gpt» на нем» ) и расположите буквы на изогнутой поверхности чайника правдоподобным образом. С гораздо меньшей надежностью может вытянуть и чайник меньшего размера (для варианта «малюсенький») и в разбитом состоянии (для варианта «разбитый»).

navigationupwide

Мы не ожидали, что эта возможность появится, и не вносили никаких изменений в нейронную сеть или процедуру обучения, чтобы поощрять ее. Вдохновленные этими результатами, мы измеряем способность ДАЛЛ-И решать задачи на рассуждения по аналогии, проверяя ее на прогрессивных матрицах Равена — визуальном тесте IQ, который широко использовался в 20-м веке.

последовательность геометрических фигур.

navigationdownwide

navigationupwide

Текстовое приглашение

Пример подсказки изображения

Сгенерированные AI
изображения

Вместо того, чтобы рассматривать IQ-тест как задачу с множественным выбором, как предполагалось изначально, мы просим DALL·E заполнить нижний правый угол каждого изображения, используя выборку argmax, и считаем его завершение правильным, если оно близко визуально соответствует заданному. оригинал.

DALL·E часто может решать матрицы, которые включают в себя продолжающиеся простые шаблоны или базовые геометрические рассуждения, например, в наборах B и C. Иногда он может решать матрицы, которые включают в себя распознавание перестановок и применение логических операций, таких как те, что в наборах B и C. набор D. Экземпляры в наборе E, как правило, самые сложные, и DALL·E почти ни один из них не дает правильного ответа.

Для каждого из наборов мы измеряем производительность DALL·E как на исходных изображениях, так и на изображениях с инвертированными цветами. Инверсия цветов не должна создавать дополнительных трудностей для человека, но в целом ухудшает работу DALL·E, предполагая, что его возможности могут быть непредсказуемыми.

navigationupwide

Географические знания

Мы обнаружили, что DALL·E узнал о географических фактах, достопримечательностях и окрестностях. Его знание этих понятий удивительно точно в одних отношениях и ошибочно в других.

фото китайской кухни

navigationdownwide

navigationupwide

Текстовое приглашение

изображения, сгенерированные искусственным интеллектом Хотя DALL·E успешно отвечает на многие из этих вопросов, например, о национальных флагах, он часто отражает поверхностные стереотипы в отношении таких вариантов выбора, как «еда» и «дикая природа», в отличие от представления всего разнообразия, встречающегося в реальном мире.

navigationupwide

фотография площади Аламо, Сан-Франциско, с улицы ночью некоторых мест в Сан-Франциско. Для мест, знакомых авторам, таких как Сан-Франциско, они вызывают чувство дежа вю — жуткие симулякры улиц, тротуаров и кафе, которые напоминают нам об очень конкретных местах, которых не существует.

navigationupwide

фотография моста «Золотые ворота» в Сан-Франциско

navigationdownwide

navigationupwide

Текстовая подсказка

Подсказки к изображениям На самом деле, мы даже можем указать, когда была сделана фотография, указав первые несколько рядов неба. Например, когда небо темное, DALL·E распознает ночь и включает свет в зданиях.

navigationupwide

Знания о времени

Помимо изучения знаний DALL·E о концепциях, которые меняются в пространстве, мы также изучаем его знания о концепциях, которые меняются во времени.

фотография телефона 20-х годов

navigationdownwide

navigationupwide

Текстовая подсказка

Графические подсказки

Созданные искусственным интеллектом
изображения десятилетия. Технологические артефакты, по-видимому, проходят через периоды взрывного изменения, резко меняясь в течение десятилетия или двух, а затем меняясь постепенно, совершенствуясь и совершенствуясь.

navigationupwide

Резюме подхода и предыдущей работы

DALL·E — это простой преобразователь только для декодера, который получает и текст, и изображение как единый поток из 1280 токенов — 256 для текста и 1024 для изображения — и моделирует все из них авторегрессивно. Маска внимания на каждом из 64 слоев внутреннего внимания позволяет каждому маркеру изображения уделять внимание всем текстовым маркерам. DALL·E использует стандартную причинно-следственную маску для текстовых токенов и разреженное внимание для токенов изображения со строкой, столбцом или сверточным шаблоном внимания, в зависимости от слоя. Мы предоставляем более подробную информацию об архитектуре и процедуре обучения в нашей статье.

Синтез текста в изображение был активной областью исследований со времен новаторской работы Reed et. al, чей подход использует GAN, основанный на встраивании текста. Вложения создаются кодировщиком, предварительно обученным с использованием контрастных потерь, мало чем отличающихся от CLIP. StackGAN и StackGAN++ используют многомасштабные GAN для увеличения разрешения изображения и улучшения визуальной точности. AttnGAN объединяет внимание между текстовыми и графическими функциями и предлагает контрастную характеристику текста и изображения, соответствующую потере, в качестве вспомогательной цели. Это интересно сравнить с нашей переоценкой с помощью CLIP, которая выполняется в автономном режиме. Другая работа включает в себя дополнительные источники наблюдения во время обучения для улучшения качества изображения. Наконец, работа Nguyen et. аль и Чо и др. al исследует основанные на выборке стратегии для генерации изображений, в которых используются предварительно обученные мультимодальные дискриминационные модели.

Подобно выборке отклонения, используемой в VQVAE-2, мы используем CLIP для переранжирования 32 лучших выборок из 512 для каждой подписи во всех интерактивных визуальных элементах.