Фото стол трансформер: трансформер — 100 фото лучших моделей современных столов

Хочешь больше интересного?

Наша миссия — вдохновлять! Подпишитесь на рассылку новых материалов:

Предыдущая

Керхер для мытья окон: плюсы, минусы и тонкости правильной эксплуатации

Следущая

Фронтоны частных домов: виды конструкций, обшивка и варианты монтажа

Adblock
detector

преимущества и недостатки в 75 фото

Современный темп жизни далеко отбросил спокойный домашний очаг. Многие люди живут в малогабаритном однокомнатном или двухкомнатном жилье, что намного выгодней и практичней. Кухня совмещается с гостиной, ванная комната с туалетом, а спальная комната с рабочей зоной. На маленькой площади приходится использовать минимальное количество предметов утвари. Но и прогресс не стоит на месте. Многие дизайнеры, понимая потребности покупателей, ввели в обиход своих коллекций мебель, которая может трансформироваться. Это помогает не захламлять пространство и комбинировать зоны в квартире. В частности, максимальной популярностью стали пользоваться столы трансформеры. В сложенном состоянии стол занимает очень мало места, а в разложенном позволяет усадить компанию друзей.

Максимальной популярностью стали пользоваться столы трансформеры.

Содержание

• 1 Достоинства столов-трансформеров.
• 2 Недостатки
• 3 С чего начать поиски?
• 4 Основные параметры
• 5 Стол-книжка
• 6 Бабочка
• 7 Из каких материалов изготавливают?
• 8 На что следует обратить внимание?
• 9 ВИДЕО: Стол-трансформер
• 10 50 фото-идей дизайна стола-трансформера

Достоинства столов-трансформеров.

Первое, немаловажное достоинство – это малогабаритность. Как уже описывалось ранее, данный тип столов отлично «впишется» в небольшую квартиру. За счет своей мультифункциональности трансформеры будут полностью удовлетворять потребности покупателя.

Из какого материала будет изготовлен стол, зависит только от того, сколько вы на него готовы потратить.

Принято считать, что описываемый вид столов – это атрибут стиля хай-тек, но пора разрушить этот приевшийся миф. Столы трансформеры чаще всего изготавливаются по индивидуальному заказу, а, следовательно, вы можете полностью разработать внешний вид стола самостоятельно. Цена и вид подобных изделий полностью зависит от ваших желаний.

В сложенном состоянии стол занимает очень мало места, а в разложенном позволяет усадить компанию друзей.

Недостатки

Не смотря на все явные преимущества данного аксессуара мебели, важно понимать, что присутствуют и недостатки. Так, например, столы трансформеры зачастую ломаются – в негодность приходит раскладывающий механизм. Крайне редко система подлежит ремонту.

Первое, немаловажное достоинство – это малогабаритность.

С чего начать поиски?

Первый параметр, на который стоит обратить внимание – это разновидность. Выделяют три основных типа столов трансформеров: журнальный столик, обеденный стол, стол-книжка.

Украсит любую кухню или гостиную.

Журнальный столик трансформер – отличное решение для гостиной. В своем первоначальном состоянии представляет собой небольшой по габаритам стол. Но при необходимости существует возможность разложить его до внушительных размеров. Отлично подойдет, если вы не любите захламлять пространство массивными высокими столами для трапез, но при этом цените изысканность и комфорт.

Стол-трансформер – смесь инноваций и традиций.

Вариант раздвижного обеденного стола стал популярным еще несколько десятков лет назад. Наши родители по достоинству оценили такую инновацию тогда, и вот теперь мы используем ее для себя. В сложенном состоянии представляет собой аккуратный вариант для кухни, в разложенном – отличный стол для большой компании.

Подобный стол украсит любую квартиру, цена особо не ударит по кошельку, а практичность будет радовать вас не один год.

Важно помнить, что на одного человека для его комфорта во время трапезы должно приходиться около шестидесяти сантиметров в ширину.

Прообразом современного стола-книжки стали модные в советские годы столы. От ранних вариаций такого дизайна его отличают расширенная функциональность. Теперь возможно регулировать не только его размеры, но и высоту ножек, к которым прикреплены ролики.

За счет своей мультифункциональности трансформеры будут полностью удовлетворять потребности покупателя.

Основные параметры

Определившись с нужным функционалом и видом стола трансформера, стоит перейти к разбору его дополнительных характеристик: форма, размер, механизм трансформации.

Цветовое решение стола подбирается под интерьер квартиры.

Столы данного направления бывают нескольких форм. Давайте разбираться подробнее. Овальный стол подойдет вам в двух случаях: если у вас достаточно большое помещение, ну или у вас есть дети, которые могут удариться или пораниться об острые углы стола. Такая форма придает мебели некий изысканный шарм, делая ее одновременно статной и простой. Круглая форма так же уберегает ваших малышей от повреждений, давая дополнительное место вокруг самого стола. Выглядит очень элегантно и незамысловато. Квадратный стол выглядит мощно и дорого, отлично подойдет для расположения в углу маленькой кухни или гостиной.

Столы трансформеры зачастую ломаются – в негодность приходит раскладывающий механизм.

Многие дизайнеры, понимая потребности покупателей, ввели в обиход своих коллекций мебель, которая может трансформироваться.

Не существует стандартных, изначально заданных размеров. Каждый покупатель выбирает нужный ему размер сам. Но важно помнить, что на одного человека для его комфорта во время трапезы должно приходиться около шестидесяти сантиметров в ширину.

Регулируемая высота стола позволяет трансформировать небольшие столики до полноценных высоких обеденных столов.

Перейдем к самому сложному – механизм трансформации. Существует достаточно много вариаций устройства. Давайте рассмотрим самые популярные из них.

Столы трансформеры чаще всего изготавливаются по индивидуальному заказу, а, следовательно, вы можете полностью разработать внешний вид стола самостоятельно.

Стол-книжка

Позволяет увеличить поверхность в два-три раза за счет преобразования тумбы посередине. Жалюзийный механизм состоит из столешниц по бокам, которые раздвигаются. Отличный вариант, который редко ломается.

Первый параметр, на который стоит обратить внимание – это разновидность.

Поворотный – устройство, при котором столешница стола сначала поворачиваются, а потом раскрывается. Подобный механизм требует много пространства.

Вариант раздвижного обеденного стола стал популярным еще несколько десятков лет назад.

Раскладной механизм – самый простой и дешевый вариант, но при этом максимально практичный. В сложенном состоянии представляет собой компактный столик, а при раскладывании механизма образуют большую поверхность для трапез.

Позволяет увеличить поверхность в два-три раза за счет преобразования тумбы посередине.

Бабочка

Стол с таким механизмом представляет собой журнальный столик с полками для хранения небольших предметов. Но при надобности полки можно выдвинуть. Автоматический механизм – это две плоскости, расположенные друг напротив друга. При раздвижении одной – вторая раскладывается автоматически. Механизм отличается прочностью и практичностью.

Отлично подойдет, если вы не любите захламлять пространство массивными высокими столами для трапез, но при этом цените изысканность и комфорт.

Из каких материалов изготавливают?

Из какого материала будет изготовлен стол, зависит только от того, сколько вы на него готовы потратить. Есть как и бюджетные варианты, так и дорогие.

1. ЛДСП – самый бюджетный и популярный вариант. Грубо говоря, это спрессованная стружка с добавлением смолы. Минус материала состоит в том, что он довольно ломкий и непрочный.
2.     Натуральное дерево – вариант, который предпочитают любители классического стиля. Выглядит дорого и массивно. Украсит любую кухню или гостиную. Минус: требует аккуратного обращения, не терпит едких химических веществ.
3.     Металлическая поверхность подойдет для любителей современных направлений в дизайне. Материал неприхотлив, долговечен и практичен.
4. Стекло – довольно дорогой и прихотливый вариант, но, зато, какой шарм и изысканность он придает мебели. Также данный материал визуально расширяет пространство. Есть вариации с матовым, прозрачным и цветным стеклом.

Журнальный столик трансформер – отличное решение для гостиной.

Цена и вид подобных изделий полностью зависит от ваших желаний.

На что следует обратить внимание?

Поговорим немаловажных мелочах, которые заканчивают образ выбранного стола.

Цветовое решение стола подбирается под интерьер квартиры. Самые популярные цвета: белый, черный и все оттенки ореха. С учетом того, что современные столы-трансформеры чаще всего изготавливаются на заказ, вы можете подобрать любой цвет для понравившейся вам модели.

Возможно регулировать не только его размеры, но и высоту ножек, к которым прикреплены ролики.

Регулирование высоты ножек – параметр, который отвечает за полную многофункциональность стола. Регулируемая высота стола позволяет трансформировать небольшие столики до полноценных высоких обеденных столов. Но если вам не нужна трансформация в высокий стол, то выбирайте модели без регулирования высоты.

Определившись с нужным функционалом и видом стола трансформера, стоит перейти к разбору его дополнительных характеристик: форма, размер, механизм трансформации.

Колесики. При принятия решении о надобности подобной функции, оцените будете ли вы перемещать стол по квартире. Если нет, то не тратьте деньги на добавление данной мелочи, если да – то непременно выбирайте модель с колесами. Ведь именно они помогут вам без особого труда передвигать стол по квартире. Обычно крепят два или четыре колесика у основных ножек, в некоторых вариантах механизма трансформации предусмотрена дополнительная пара роликов для разложенной части.

Не существует стандартных, изначально заданных размеров.

Не смотря на все явные преимущества данного аксессуара мебели, важно понимать, что присутствуют и недостатки.

Стол-трансформер – смесь инноваций и традиций. Подобный стол украсит любую квартиру, цена особо не ударит по кошельку, а практичность будет радовать вас не один год.

Существует достаточно много вариаций устройства.

ВИДЕО: Стол-трансформер

50 фото-идей дизайна стола-трансформера

Предыдущая

СтолыДелаем красивый и крепкий дачный стол своими руками

Следующая

СтолыДелаем стол из массива дерева своими руками: от выбора материала до финишной сборки

Практичные столы трансформеры для гостиной

Такой предмет мебели, как стол, встречается абсолютно в каждом доме и занимает зачастую центральную позицию, так как необходим всем членам семьи при любом времяпрепровождении – за ним едят, пьют чай и разговаривают, делают уроки, работают и многое другое. Но насколько бы не была важна роль этого предмета в условиях квартиры с малой площадью обычный стол, как кухонный, так и журнальный, может просто не поместиться.

Смотрите видео: Современные столы трансформеры

Столы трансформеры для гостиной

Настоящим спасением для малогабаритного жилища станет стол трансформер для гостиной – стол, который может менять свою высоту, площадь, а иногда и форму, подходит для самых разнообразных целей. Данный предмет может быть произведён из любых материалов – стекла, дерева, металла, пластмассы, иметь различную конфигурацию – овальную, круглую, квадратную, прямо- и многоугольную.

Но каким бы ни был стол трансформер, неоспоримыми его достоинствами являются:

• компактность;
• многозадачность;
• простота в обращении;
• долговечность.

Хотя такой универсальный стол трансформер для гостиной и можно использовать для самых разных целей и переносить из комнаты в комнату, для правильного выбора всё-таки стоит определиться с основным предназначением данной мебели.

1. Для гостиной подойдёт обеденно-журнальная модель. В сложенном состоянии это будет обычный журнальный столик, не занимающий много места, который можно поставить перед диваном или между креслами. При необходимости он превращается в обеденный стол, за которым могут свободно поместиться 7-8 персон.
2. Для кухни больше подойдёт круглый раздвижной стол трансформер — конструкция из стекла, в которой основной упор будет сделан на потенциальное расширение площади.
3. Для детского  маленького стола трансформера важным моментом будет регулировка по высоте, чтобы этот универсал мог бы «расти» вместе с ребёнком, но и увеличение площади также нужно, чтобы можно было с комфортом играть в какие-либо масштабные игры или же принимать таких же маленьких гостей.

Производители столов трансформеров

По производителям данный предмет мебели также имеет некоторые отличия:

• Столы из Германии отличаются своей прочностью, точностью в деталях, надёжностью.
• Итальянские столы трансформеры фото зачастую изготовлены и отделаны с использованием достаточно дорогих материалов, но такие изделия будут иметь стильный и элегантный вид.
• Столы, выпущенные в Литве, подойдут тем, кто предпочитает солидность и традиционный стиль.
• Китайские столы трансформеры отличаются демократичностью. При изготовлении данной мебели используется множество оригинальных решений в дизайне, сочетание самых разных материалов.

Преимущества складных столов трансформеров

Широкий диапазон использования складного стола трансформера делает его незаменимым. Функционально такие столы могут применяться в качестве журнального, обеденного, столика для чаепития и даже под компьютер. По желанию можно сделать комфортными высоту, увеличить размер столешницы.

Например, складной стол трансформер из полированной нержавеющей стали можно использовать в несколько видов. Утром это стол для завтрака, затем при приготовлении пищи – это раздаточный стол, а в обед – обеденный. Ножки у стола сделаны из специального материала, который при работе обеспечивает бесшумное использование.

Несколько видов положений стола могут пригодиться для людей, которым важно свободное пространство. Стол можно разложить в ширину и тогда это будет компьютерный и обеденный стол. Удобно и практично.

Материал у столов трансформеров специально предназначен для долговечности использования. Могут быть столы из стекла, из ЛСДП и многое другое. Все материалы перед подачей на продажу проверяются, проводятся тестовые работы и только тогда покупатели могут приобрести такой замечательный и полезный стол.

Можно рассмотреть обеденный стол на колесиках. Такой стол можно катать по всей квартире. Колесики снабжены подшипниками, для легкого поворота и передвижения. Так же здесь имеется тормоз, который помогает зафиксировать положение стола.

Вариант круглого раздвижного стола трансформера на колесиках удобен еще и тем, что верхняя крышка раскладывается и получается длинный стол. За него может вполне уместиться до 10 человек. После праздника стол можно свернуть, и будет отличное место для ноутбука.
Если есть желание, то можно самостоятельно сделать маленький стол трансформер. На листе бумаге начертить план, какой будет будущий стол, распланировать все до мелочей и можно творить. Для данного предмета мебели потребуется дерево, колесики, подшипники, специальная фурнитура для стола.

Если приобретаете стол трансформер фото, то следует внимательно смотреть на материал, из которого он изготовлен, также нужно знать, что ценовая категория зависит от функционала, технических характеристик.

Столы распределяются на: журнальные и обеденные. Журнальные столы могут быть и обеденными, если столешницу раздвинуть. Есть столы, которые раздвигаются в несколько разных положений, по размерам. Обеденный стол можно сделать широким, раздвинув столешницу в ширину и в длину.

Столы трансформеры фото можно изготовить и на заказ. Если нужен качественный и дорогой стол из хорошего дерева, то можно в социальных сетях найти адреса, где мастера – профессионалы сделают отличный стол за короткий срок.

Смотрите видео: Складные столы трансформеры

Раздвижной обеденный стол со скамейкой

Бесплатный журнальный столик

Раздвижной обеденный стол и скамьи из цельного дерева, вмещающие от 2 до 12 человек

Рейтинг 4,7 из 5

1114 Отзывы На основании 1114 отзывов

Обычная цена 2 599,00 долларов США

Обычная цена 3648,00 долларов США Цена продажи 2 599,00 долларов США

Цена за единицу товара / за

Экономия: -1049,00 долларов США

Экономия пакета:	-$350. 00 долларов США
Бесплатный журнальный столик:	-$699,00 долларов США
Все сбережения:	-1 049,00 долларов США

Конфигурация:

Красное дерево американское

Выберите свой бесплатный цвет журнального столика

$699,00 0,00 долларов США

Доставлено:

Расчетная доставка:

В наличии | готов к отправке

Габаритные размеры

Расширенные размеры таблицы

30 ”H x 38” W x 118 ”L

Размеры с коллапс. В x 14”Ш x 135”Д

Размеры скамейки в сложенном виде

17” В x 14” Ш x 28” Д

Масса

Вес стола (кг)

66 кг/145 фунтов (сложенный) — 102 кг/224 фунтов (полностью разложенный)

Стол-трансформер может вместить до 12 человек и выдерживает до 750 фунтов в полностью разложенном состоянии.

Вес скамьи (фунты)

50 кг/110 фунтов

Скамья-трансформер вмещает до 6 взрослых и поддерживает до 1200 фунтов в полностью выдвинутом состоянии.

Материалы

Каждый предмет мебели коллекции Transformer Table изготовлен из массива твердой древесины высочайшего качества, сертифицированного FSC. В процессе производства не используются ни меламин, ни МДФ, ни прессованная древесина.

Мощный телескопический механизм, входящий в состав наших столов-трансформеров и скамеек, изготовлен из нержавеющего алюминия.

При чистке столов-трансформеров используйте только бытовые чистящие средства или растворители, предназначенные для твердых пород дерева. Использование других бытовых чистящих средств может нанести вред и/или повредить отделку.

Инструкции по очистке:

Используйте чистую ткань из мягкого безворсового хлопка.

Смочите ткань достаточным количеством воды, чтобы к ней прилипла пыль.

Ткань должна быть настолько влажной, чтобы смачивать твердую древесину.

Всегда протирайте по направлению волокон древесины.

Храните компоненты изделий из твердой древесины для продуктов TT (насколько это возможно) в той же жилой среде.

1 год гарантии

От любых структурных дефектов

Бесплатная доставка

При заказе на сумму более 999 долларов США

0% годовых*

От 0% годовых на 6 и 12 месяцев*

Стол на все случаи жизни

Изготовленный из 100% твердой древесины, стол-трансформер служит ярким акцентом в любом жилом помещении. Этот раздвижной обеденный стол легко регулируется от 18 до 118 дюймов, вмещает до 12 гостей и идеально впишется в любой дом.

• 0 Панель

• 1 Панель

• 2 панели

• 3 панели

• 4 панели

• 5 панелей

Практичный

Наш модульный стол и скамья подходят для размещения от 2 до 12 человек. Вся мебель Transformer Dining расширяется и складывается, чтобы вместить большую семью или самую маленькую комнату.

100% твердая древесина

Продемонстрируйте богатую текстуру натурального дерева вашей мебели для стола-трансформера. Наш стол, скамейка и журнальный столик изготовлены из массива дерева с красивой отделкой на выбор.

Красивый современный дизайн

Стол-трансформер отлично смотрится практически в любом интерьере. Блестящая массивная древесина и классический дизайн станут изюминкой вашей столовой.

Как это работает

Сборка не требуется! Ваш компактный стол готов к использованию в качестве 18-дюймовой консоли. Добавьте до 5 панелей и расширьте стол до 118 дюймов, чтобы вместить 12 человек.

Почему нужно выбрать нас

Практичный и инновационный

Мы заново изобрели возможности мебели, сделав домашний декор более гибким, чем вы могли себе представить.

Многофункциональный

Наши столы, кушетки и наборы для террас полностью модульны и предназначены для изменения формы в соответствии с вашими пожеланиями.

Экологичный

Мы придерживаемся устойчивых методов и получаем нашу древесину из лесов, сертифицированных FSC.

Сделано на всю жизнь

Качество изготовления является нашим главным приоритетом. Мебель для столов-трансформеров создана для того, чтобы служить долго и красиво смотреться в вашем доме… и в вашем следующем доме.

Начните с малого

Сборка не требуется! 18-дюймовая консоль готова к использованию сразу после распаковки.

Расширить его

Телескопический механизм стола выдвигается на 10 футов.

Добавьте свои панели

Добавьте 1–5 панелей, закрепив их снизу и отрегулировав среднюю ножку (средняя ножка не используется с 1–2 панелями).

Ваш, чтобы наслаждаться

Красивый и раздвижной стол из 100% цельного дерева, рассчитанный на 12 человек и выдерживающий нагрузку до 750 фунтов.

• ПРИСТАВКА
• 1 ПАНЕЛЬ
• 2 ПАНЕЛЬ
• 3 ПАНЕЛЬ
• 4 ПАНЕЛЬ
• 5 ПАНЕЛЬ

средний рейтинг 4.7 из 5

На основании 1114 отзывов

• 5 звезд

  897 отзывов

• 4 звезды

  162 отзыва

• 3 звезды

  37 отзывов

• 2 звезды

  7 отзывов

• 1 звезда

  11 отзывов

95% рецензентов порекомендовали бы этот продукт другу

Фото и видео клиентов

1114 Отзывы

Сортировать по Самые новыеСамые старыеФото и видеоС наивысшим рейтингомСамый низкий рейтингСамые полезныеНаименее полезные

John E. Отзыв John E.

Отзыв

Обеденный набор Transformer Labor Day — стол + 2 скамьи + 2 стула

Я рекомендую этот продукт

Оценка 4 из 5

Отзыв опубликован

Верхняя часть линии

Буквально первоклассный набор, универсальный и с отличным обслуживанием клиентов

Loading…

это было полезно?

CC

Кристофер С. Отзыв от Christopher C.

Проверенный рецензент

Я рекомендую этот товар

Оценка 5 из 5

Отзыв опубликован

Фантастический стол, скамейка и журнальный столик

Нам очень нравятся наши стол, скамья и журнальный столик. У нас небольшой дом, но мы часто принимаем нашу большую большую семью. Эта таблица дает нам невероятную гибкость.

Когда прибыли поддоны, часть журнального столика была повреждена. Я отправил электронное письмо с несколькими фотографиями, и мне быстро отправили запасную часть.

10 из 10. Очень рекомендую

Идет загрузка…

это было полезно?

Йоханне К. Отзыв от Johanne C.

Проверенный покупатель

Я рекомендую этот товар

Оценка 4 из 5

Отзыв опубликован

Стол со скамьей

La table acacia australien et le banc sont super beaux et bien faits. La livraison Fut Rapide (Quelques Jours). Ce qui m’empêche de donner un 5 étoiles, c’est le poids du banc. Il est trop lourd à manipuler avec les rallonges rangees à l’intérieur. De plus les rallonges sont non protégées les unes des autres (frottement) dans le banc car il n’y a aucune séparation entre elles, ce qui évidemment augmenterait encore le poids. Je suggère de creer une table dans le жанр de la table à cafe (aux Dimensions des rallonges du banc) que l’on pourrait se procurer.

Загрузка…

это было полезно?

Лаура П. Отзыв от Лауры П.

Проверенный покупатель

Отзыв

Обеденный набор-трансформер — Комплект «Снова в школу» — Бесплатная скамья в комплекте

Я рекомендую этот продукт

Оценка 4 из 5

Отзыв опубликован

Красивый, крепкий стол

До сих пор мы были очень довольны нашей покупкой. Стол солидный и очень красивый. Мы были очень довольны тем, как легко добавлять/удалять листы из таблиц, чтобы увеличивать и уменьшать длину.

Единственная проблема, которую мы обнаружили с ним, которая является причиной 4 звезд вместо 5, заключается в том, что часть лака для дерева, кажется, отслаивается в некоторых углах.

Загрузка…

это было полезно?

Дина Б. Отзыв Deanna B.

Проверенный покупатель

Отзыв

Обеденный набор Transformer Labor Day Dining Set — Стол + 2 скамьи + 2 стула

Я рекомендую этот продукт

Оценка 5 из 5

Отзыв опубликован

Люблю это

Купили стол с двумя скамейками. Мне нравится тот факт, что это может быть уютно только для меня и моего мужа, а затем расширяться, чтобы включать наших детей и их семьи. Детского стола больше нет. Смотрится красиво.

Загрузка…

это было полезно?

ЕСТЬ ВОПРОСЫ?

Часто задаваемые вопросы

• Сколько панелей идет в комплекте со столом-трансформером?

  Все столы-трансформеры состоят из пяти панелей.

• Из чего сделан стол-трансформер?

  Все столы-трансформеры изготовлены из 100% твердой древесины. Нет ни МДФ, ни меламина.

• Предоставляете ли вы гарантию на стол-трансформер?

  Да. Стол-трансформер предлагает клиентам годовую гарантию на любые структурные или производственные дефекты, а также пожизненную гарантию на телескопический механизм.

• Могу ли я поставить свой стол-трансформер снаружи?

  Нет, стол-трансформер предназначен только для использования в помещении. Пожалуйста, ознакомьтесь с нашими наборами-трансформерами для патио, которые предназначены для использования на открытом воздухе.

Просмотреть все FAQ

Остались вопросы?

Ваши вопросы и отзывы важны для нас. Свяжитесь с нашей службой поддержки.

Телефон

1-844-988-2253

с понедельника по пятницу, с 9:30 до 22:00, восточное время.
Суббота и воскресенье, с 9:30 до 17:30 по восточному поясному времени.

Диван-трансформер

Диван-трансформер Discover

Стол-трансформер

Стол-трансформер Discover

Трансформер Outdoor

Discover Transformer Outdoor

[PDF] Преобразователь изображения | Semantic Scholar

• Идентификатор корпуса: 3353110

 @inproceedings{Parmar2018ImageT,
  title={Преобразователь изображений},
  автор = {Ники Пармар, Ашиш Васвани, Якоб Ушкорейт, Лукаш Кайзер, Ноам М. Шазир, Александр Ку и Дастин Тран},
  название книги={ICML},
  год = {2018}
} 

• Ники Пармар, Ашиш Васвани, Дастин Тран
• Опубликовано в ICML 15 февраля 2018 г. [] Ключевой результат В исследовании, посвященном оценке человека, мы показываем, что наши модели сверхвысокого разрешения значительно улучшаются по сравнению с ранее опубликованными авторегрессионными моделями сверхвысокого разрешения. Образы, которые они создают, обманывают наблюдателей в три раза чаще, чем предыдущий уровень техники.

  [PDF] Semantic Reader

  MaskGIT: Masked Generative Image Transformer

  • Huiwen Chang, Han Zhang, Lu Jiang, Ce Liu, W. Freeman

  • Информатика

    3 ArXiv0004
  • 2022

  Предложенный MaskGIT представляет собой новую парадигму синтеза изображений с использованием декодера двунаправленного преобразователя, который значительно превосходит современную модель преобразователя в наборе данных ImageNet и ускоряет авторегрессионное декодирование до 48 раз.

  Сверточные сети с расширенным вниманием

  Обнаружено, что усиление внимания приводит к последовательным улучшениям в классификации изображений в ImageNet и обнаружении объектов в COCO во многих различных моделях и масштабах, включая ResNets и современную мобильную ограниченную сеть, в то время как сохраняя одинаковое количество параметров.

  Combining Transformer Generators with Convolutional Discriminators

  • R. Durall, Stanislav Frolov, A. Dengel, J. Keuper

  • Computer Science

    KI

  • 2021

  This paper studies the combination of a transformer-based генератор и сверточный дискриминатор и успешно устраняет необходимость в вышеупомянутых необходимых вариантах дизайна и исследует свойства частотного спектра сгенерированных изображений, чтобы заметить, что модель сохраняет преимущества генератора, основанного на внимании.

  Edibert, генеративная модель для редактирования изображений

  • Thibaut Issenhuth, Ugo Tanielian, Jérémie Mary, David Picard

  • Компьютерная наука

    Arxiv

  • 2021

  66. образцы патчей изображения условно соответствуют заданному изображению и показывают, что модель, полученная в результате одного обучения, соответствует современной инверсии GAN в нескольких задачах: шумоподавление изображения, завершение изображения и композиция изображения.

  Улучшенный трансформатор для Gans

  • Long Zhao, Zizhao Zhang, Ting Chen, Dimitris N. Metaxas, Han Zhang

  • . для генераторов в GAN, которые полностью свободны от сверток и имеют почти линейную вычислительную сложность по отношению к размеру изображения и, таким образом, напрямую масштабируются для синтеза изображений высокой четкости.

    Vision Transformer с прогрессивной выборкой

    Стратегия итеративной и прогрессивной выборки для обнаружения различимых областей. В сочетании с Vision Transformer полученная сеть PS-ViT может адаптивно обучаться, где искать.

    Соревновательные сети, генерирующие внимание к себе

    • Хан Чжан, Ян Дж. Гудфеллоу, Димитрис Н. Метаксас, Август Одена

    • Информатика

      ICML

      60 9006
      9 20076 Предлагаемый SAGAN достигает самых современных результатов, повышая лучший опубликованный начальный показатель с 36,8 до 52,52 и уменьшая начальное расстояние Фреше с 27,62 до 18,65 в сложном наборе данных ImageNet.

      Преобразователь изображения Фурье

      Показано, что преобразователь изображения Фурье (FIT) может использоваться для решения соответствующих задач анализа изображения в пространстве Фурье, области, изначально недоступной для сверточных архитектур.

      Моделирование векторно-квантованных изображений с помощью улучшенного VQGAN

      • Jiahui Yu, Xin Li, Yonghui Wu

      • Информатика

        ArXiv

      • 2021

      Усовершенствованная система ViT-VQGAN дополнительно улучшает векторно-квантованные изображения, включая векторно-квантованное моделирование и моделирование изображений без обработки обучение представлению и превосходит iGPT-XL, который обучается с дополнительными данными веб-изображения и моделью большего размера.

      Локальная маскированная свертка для авторегрессионных моделей

      • Аджай Джейн, П. Аббил, Дипак Патхак

      • Информатика

        UAI

      • 2020

      Представлен LMConv: простая модификация стандартной двумерной свертки, которая позволяет применять произвольные маски к весам в каждом месте изображения, повышая производительность в целом. оценка плотности изображения и глобально согласованное завершение изображения.

      ПОКАЗАНЫ 1–10 ИЗ 26 ССЫЛОК

      СОРТИРОВАТЬ ПОРелевантность Наиболее влиятельные документыНедавность

      Создание условного изображения с помощью декодеров PixelCNN

      • Aäron van den Oord, Nal Kalchbrenner, Lasse Espeholt, K. Kavukcuoglu, Oriol Vinyanals, A. Graves

      • Интелсов

        NIPS

      • 2016

      . — вероятность того, что PixelCNN будет соответствовать современной производительности PixelRNN в ImageNet, при значительном снижении вычислительных затрат.

      Генеративное моделирование изображений с использованием пространственных LSTM

      • Lucas Theis, M. Bethge

      • Информатика

        NIPS

      • 2015

      В этой работе представлена ​​рекуррентная модель изображения, основанная на многомерных долговременных единицах кратковременной памяти, которая особенно подходит для моделирования изображений благодаря своей пространственной структуре и превосходит современные технологии. в количественном сравнении нескольких наборов данных изображений и дает многообещающие результаты при использовании для синтеза текстуры и рисования.

      PixelSNAIL: улучшенная авторегрессионная генеративная модель

      • Xi Chen, Nikhil Mishra, Mostafa Rohaninejad, P. Abbeel

      • Компьютерная наука

        ICML

      • 2018

      Эта работа внедряет новую генеральную модель. — самые современные результаты логарифмического правдоподобия на CIFAR-10 и ImageNet.

      Смесь Стьюдента-t как естественное пятно изображения до применения к сжатию изображения патч-моделирование и предлагает эффективные схемы кодирования, которые можно легко распространить на другие модели машинного обучения без учителя.

      Фотореалистичное сверхвысокое разрешение одиночного изображения с использованием генеративно-состязательной сети

      SRGAN, генеративно-состязательная сеть (GAN) для изображений со сверхвысоким разрешением (SR), насколько известно, представляет собой первую структуру, способную выводить фото- реалистичные естественные изображения для коэффициентов 4-кратного масштабирования и функции потерь восприятия, которая состоит из потерь противника и потерь контента.

      Внимание — это все, что вам нужно

      • Ашиш Васвани, Ноам М. Шазир, Илья Полосухин

      • Информатика

        NIPS

      • 2017

      Предлагается новая простая сетевая архитектура, Преобразователь, основанная исключительно на механизмах внимания, полностью исключающая повторения и свертки, которая хорошо обобщается для других задач, успешно применяя ее к Анализ избирательного округа на английском языке как с большими, так и с ограниченными обучающими данными.

      StackGAN: преобразование текста в фотореалистичные изображения с помощью многоуровневых генеративных состязательных сетей

      В этом документе предлагается Stacked Generative Adversarial Networks (StackGAN) для создания 256 фотореалистичных изображений, обусловленных текстовыми описаниями, и представлена ​​новая техника расширения условий, которая способствует плавности в многообразии скрытых условий.

      Пиксельное рекурсивное сверхвысокое разрешение

      • Райан Даль, Мохаммад Норузи, Джонатон Шленс

      • Информатика, наука об окружающей среде

        2017 Международная конференция IEEE по компьютерному зрению (ICCV)

      • 2017

      В этой работе предлагается новая вероятностная архитектура глубокой сети, пиксельная рекурсивная модель сверхвысокого разрешения, которая является расширением PixelCNN для решения проблемы искусственного увеличения фотографии с низким разрешением для восстановления правдоподобной версии с высоким разрешением.

      Генерация изображений из подписей с вниманием

      • Эльман Мансимов, Эмилио Паризотто, Джимми Ба, Р. Салахутдинов

      • Информатика

        ICLR

      • 2016

      Показано, что предлагаемая модель дает образцы более высокого качества, чем другие подходы, и генерирует изображения с новыми композициями сцен, соответствующими ранее невиданным подписям в наборе данных.

      Неконтролируемое репрезентативное обучение с использованием глубоких сверточных генеративно-состязательных сетей

      • Алек Рэдфорд, Люк Мец, Сумит Чинтала

      • Информатика

        ICLR

      9016 201113 2011130006

      В этой работе представлен класс CNN, называемых глубокими сверточными генеративно-состязательными сетями (DCGAN), которые имеют определенные архитектурные ограничения и демонстрируют, что они являются сильным кандидатом на неконтролируемое обучение.

      Расширенное форматирование ячеек таблицы — StiltSoft Docs

      Перейти к концу баннера

      Перейти к началу баннера

      Перейти к концу метаданных

      • Создано Натали Парамоновой, последний раз изменено Никитой Камаем 15 апреля 2022 г.

      Перейти к началу метаданных

      Макрос Table Transformer поддерживает вики-разметку Confluence (функция FORMATWIKI) и синтаксис Markdown (функция FORMATMARKDOWN) для форматирования ячеек.

      Ниже вы можете узнать, как Table Transformer помогает улучшить возможности форматирования таблиц в Confluence.

      Изменение выравнивания

      Вариант использования: 

      Вам необходимо выровнять текст в некоторых столбцах таблицы.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий SQL-запрос:

          ВЫБРАТЬ
         FORMATWIKI("{cell:vertical-align=bottom}" + T1. 'Bill to' + "{cell}") AS 'Bill to',
         FORMATWIKI("{cell:align=right}" + T1.'Invoice'+ "{cell}") AS 'Invoices',
         T1.'Дата',
         T1.'Товар',
         T1. «Цена»
         ОТ Т1 

      6. Нажмите  Далее .

      7. При необходимости определите настройки таблицы и параметры просмотра.

      8. Сохранить макрос и страницу.

      Изменение ширины столбца

      Вариант использования: 

      Вам необходимо изменить ширину столбца в объединенной таблице.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий SQL-запрос:

          SELECT *,
         FORMATWIKI("{cell:width=100px}" + 'Билет'+ "{cell}") КАК 'Билет',
         FORMATWIKI("{cell:width=150px}" + 'Описание'+ "{cell}") КАК 'Описание'
         ОТ Т* 

      6. Нажмите  Далее .

      7. При необходимости определите настройки таблицы и параметры просмотра.

      8. Сохранить макрос и страницу.

      Добавление разрывов строк

      Вариант использования: 

      Вам необходимо добавить разрыв строки.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Presets выберите Пользовательское преобразование  и нажмите  Далее .

      5. Введите следующий SQL-запрос:

          ВЫБРАТЬ
         FORMATWIKI(T1.'Имя'+ " \n" + T1.'Фамилия') AS 'Представитель 1',
         FORMATMARKDOWN(T1.'Имя'+ " \n" + T1.'Фамилия') AS 'Представитель 2',
         FORMATWIKI(T1. 'Имя'+ " \\ " + T1.'Фамилия') AS 'Представитель 3'
         ОТ T1 

      6. Нажмите  Далее .

      7. При необходимости определите настройки таблицы и параметры просмотра.

      8. Сохранить  макрос и страница.

      Добавление цвета текста

      Вариант использования:

      Вам нужно объединить таблицы, создать новый столбец с суммой двух других, а затем выделить и выровнять текст.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий запрос SQL:

          ВЫБЕРИТЕ T1. 'Имя', T1.'Доход 2019', T2.'Доход 2020',
         FORMATWIKI("{cell:textColor=red|align=right}"
         + ( T1.'Доход 2019' + T2.'Доход 2020') + "{ячейка}")
         КАК «Общий доход»
         ОТ T1 ВНЕШНЕЕ СОЕДИНЕНИЕ T2 НА T1. «Имя» = T2. «Имя» 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Форматирование текста

      Пример использования: 

      Вам нужно отформатировать текст.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Presets выберите 9\n * {{моноширинный}} \n * +вставленный текст+ \n * {noformat}без формата{noformat} \nбк. Вот как сделать так, чтобы абзац отображался как блочная цитата») AS ‘Wiki Markup’ FROM T*
      5. Нажмите  Далее .
      6. Определите параметры таблицы и параметры просмотра, если это необходимо.

      7. Сохранить макрос и страницу.

      Экранирование специальных символов для вики-разметки

      Вариант использования: 

      Вам необходимо экранировать специальные символы для вики-разметки.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий SQL-запрос:

          SELECT *,
         FORMATWIKI(T1.'Описание') AS 'FORMATWIKI',
         FORMATWIKI("*"+ESCAPEMARKUP(T1. 'Описание')+"*") AS 'FORMATWIKI+ESCAPEMARKUP'
         ОТ Т1 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Добавление маркера, нумерованного списка

      Вариант использования: 

      Вам необходимо объединить таблицы и применить маркер или нумерованный список к объединенным данным.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий запрос SQL:

          ВЫБЕРИТЕ «Дата»,
         FORMATWIKI(SUM("* " + 'Примечания' + "\n")) AS 'Все примечания'
         ОТ (ВЫБРАТЬ * ОТ Т *)
         СГРУППИРОВАТЬ ПО «ДАТЕ» Упорядочить по «Дате» 

         или

          ВЫБРАТЬ «Дата»,
         FORMATWIKI(SUM("# " + 'Примечания' +"\n")) AS 'Все примечания'
         ОТ (ВЫБРАТЬ * ОТ Т *)
         СГРУППИРОВАТЬ ПО «ДАТЕ»
         ЗАКАЗАТЬ ПО «ДАТЕ» 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Добавление фона и цвета текста

      Пример использования:

      Вам необходимо добавить цвет фона и текста.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий SQL-запрос:

          ВЫБРАТЬ
         FORMATWIKI("{cell:bgColor=yellow}" + T1.'Rep' + "{cell}") AS 'Rep',
         FORMATWIKI("{cell:bgColor=#FFE5B4}" + T1. 'Department'+ "{cell}") AS 'Department',
         FORMATWIKI("{cell:bgColor=orange|textColor=yellow|align=center|vertical-align=bottom|width=500px}"
         + T1.'Город'+ "{ячейка}") КАК "Город",
         FORMATWIKI("{panel:bgColor=orange|textColor=white}" + T1.'City'+ "{panel}") AS 'City 1',
         FORMATWIKI("{цвет:оранжевый}" + T1.'Город' + "{цвет}") КАК 'Город 2'
         ОТ Т1 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Шестнадцатеричные коды:

      Условная вставка значений и окрашивание фона ячеек

      Пример использования:

      .

      Решение:

      1. Переключить страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий SQL-запрос:

          ВЫБЕРИТЕ T1. «Сотрудники»,
                 КЕЙС
                    КОГДА T1.'Название должности'="Разработчик"
                    ТОГДА ФОРМАТВИКИ("{ячейка:bgColor=#0099FF}Разработка{ячейка}")
                    КОГДА T1.'Название должности'="Аналитик продукта"
                    THEN FORMATWIKI("{cell:bgColor=#00CC00}BI{cell}")
                    ELSE FORMATWIKI("{cell:bgColor=grey}Others{cell}")
                 ЗАКАНЧИВАТЬСЯ КАК "Команда"
          ОТ Т1
          ЗАКАЗАТЬ ПО «КОМАНДЕ» 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Условное форматирование

      Вариант использования: 

      Необходимо добавить условное форматирование данных таблицы.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий запрос SQL:

          ВЫБОР
         T1.'Месяц',
         ФОРМАТВИКИ("{cell:bgColor=" +
         CASE WHEN T1.'Bread' <= "100" THEN "#FA7E70"
         КОГДА T1.'Хлеб' > "100" И T1.'Хлеб' <= "200", ТО "#FFE784"
         ИНАЧЕ "#8FCA7D"
         КОНЕЦ
         + "}" + "$" + T1.'Хлеб' + "{ячейка}")
         АС 'Хлеб',
         ФОРМАТВИКИ("{cell:bgColor=" +
         CASE WHEN T1.'Rolls' <= "100" THEN "#FA7E70"
         КОГДА T1.'Rolls' > "100" И T1.'Rolls' <= "200", THEN "#FFE784"
         ИНАЧЕ "#8FCA7D"
         КОНЕЦ
         + "}" + "$" + T1.'Rolls' + "{ячейка}")
         АС 'Роллс',
         ФОРМАТВИКИ("{cell:bgColor=" +
         СЛУЧАЙ, КОГДА T1. 'Cookies' <= "100", THEN "#FA7E70"
         КОГДА T1.'Cookies' > "100" И T1.'Cookies' <= "200", ТОГДА "#FFE784"
         ИНАЧЕ "#8FCA7D"
         КОНЕЦ
         + "}" + "$" + T1.'Cookies' + "{cell}")
         AS «Cookies»,
         ФОРМАТВИКИ("{cell:bgColor=" +
         СЛУЧАЙ, КОГДА T1.'Маффины' <= "100", THEN "#FA7E70"
         КОГДА T1.'Маффины' > "100" И T1.'Маффины' <= "200", ТО "#FFE784"
         ИНАЧЕ "#8FCA7D"
         КОНЕЦ
         + "}" + "$" + T1.'Маффины' + "{ячейка}")
         АС 'Маффины'
         ОТ Т* 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Шестнадцатеричные коды:

      
      

      Вариант использования: 

      Вам нужно вставить статусы в зависимости от некоторых условий.
      

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий SQL-запрос:

          SELECT *,
         КЕЙС
         КОГДА «Сотрудников» < 60
         THEN FORMATWIKI("{status:color=Green|title=Low}")
         КОГДА «Сотрудники» >= 60 И «Сотрудники» < 150
         THEN FORMATWIKI("{status:color=Yellow|title=Medium}")
         ELSE FORMATWIKI("{status:color=Red|title=High}")
         КОНЕЦ КАК "Статус"
         ОТ Т1 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Добавление более светлого цвета состояния

      Пример использования: 

      Вам необходимо выбрать более светлый цвет состояния.

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос состояния и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий SQL-запрос:

          SELECT *,
         КЕЙС
         КОГДА «Сотрудников» < 60
         THEN FORMATWIKI("{status:color=Green|subtle=true|title=Low}")
         КОГДА «Сотрудники» >= 60 И «Сотрудники» < 150
         THEN FORMATWIKI("{status:color=Yellow|subtle=true|title=Medium}")
         ELSE FORMATWIKI("{status:color=Red|subtle=true|title=High}")
         КОНЕЦ КАК "Статус"
         ОТ Т1 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Пример использования: 

      Вам необходимо создать интерактивные ссылки из нескольких фрагментов текста, объединенных вместе.
      

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий запрос SQL:

          SELECT T1.'Имя', T1.'Номер телефона', T1.'Город',
         FORMATWIKI("[" + CONCAT("https://", T1.'Город', ".mycompany.com/", T2.'Папка') + "]") AS 'Рабочее пространство',
         FORMATWIKI("[Ссылка|" + CONCAT("https://", T1. 'Город', ".mycompany.com/", T2.'Папка') + "]")
         АС "Рабочее пространство 2"
         ОТ T1 ВНЕШНЕЕ СОЕДИНЕНИЕ T2 НА T1.'Name' = T2.'Name' 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      Сохранение исходного форматирования ячейки 

      Пример использования: 

      Необходимо сохранить исходное форматирование и применить новое.
      

      Решение:

      1. Переключите страницу в режим редактирования.
      2. Вставьте макрос Table Transformer и вставьте таблицу или макросы, выводящие таблицы, в тело макроса.
      3. Выберите макрос и нажмите  Изменить .
      4. На вкладке Предустановки выберите Пользовательское преобразование и нажмите Далее .

      5. Введите следующий запрос SQL:

          ВЫБЕРИТЕ «Неделя»,
         FORMATWIKI("{cell:textColor=green|align=left|width=200px}",
         «План на неделю», «{ячейка}») AS «Еженедельный план»
         ОТ T* 

      6. Нажмите  Далее .
      7. Определите параметры таблицы и параметры просмотра, если это необходимо.

      8. Сохранить макрос и страницу.

      • Артикул

      Обзор

      Инструменты для работы с содержимым

      Приложения

      Являются ли трансформеры лучше CNN в распознавании изображений? | Арджун Саркар

      Ссылка на документ — https://arxiv.org/pdf/2010.11929.pdf

      В настоящее время в задачах обработки естественного языка (NLP) преобразователи стали архитектурой goto (например, BERT, GPT-3 и скоро). С другой стороны, использование преобразователей в задачах компьютерного зрения пока очень ограничено. Большинство исследователей используют сверточные слои напрямую или добавляют к ним определенные блоки внимания для приложений компьютерного зрения (таких как Xception, ResNet, EfficientNet, DenseNet, Inception и т. д.). В документе о Vision Transformer (ViT) реализована чистая модель преобразователя без необходимости сверточных блоков для последовательностей изображений для классификации изображений. В документе показано, как ViT может достигать лучших результатов, чем большинство современных сетей CNN, на различных наборах данных распознавания изображений, используя значительно меньшие вычислительные ресурсы.

      Vision Transformer (ViT)

      Преобразователи — это сети, работающие с последовательностями данных, например набором слов. Эти наборы слов сначала токенизируются, а затем передаются в преобразователи. Преобразователи добавляют Внимание (квадратичная операция — вычисляет попарное скалярное произведение между каждой парой токенизированных слов. По мере увеличения количества слов увеличивается и количество операций).

      Следовательно, изображения труднее обучать на Трансформерах. Изображение состоит из пикселей, и каждое изображение может содержать от тысяч до миллионов пикселей. Таким образом, в преобразователе каждый пиксель будет выполнять парную операцию с каждым другим пикселем изображения. Для изображения размером 500*500 пикселей, что составляет 500^2, механизм внимания будет стоить (500^2)^2 операций. Это огромная задача даже с несколькими графическими процессорами. Следовательно, для изображений исследователи в основном используют некоторую форму локального внимания (кластер пикселей), а не глобальное внимание.

      Авторы ViT решают эту проблему, используя глобальное внимание, но не ко всему изображению, а к нескольким участкам изображения. Итак, сначала большое изображение разбивается на несколько небольших участков (например, 16*16 пикселей). Это показано на рис. 1.

      Рис. 1. Изображение, разделенное на несколько фрагментов (Источник: изображение из оригинальной статьи)

      Затем эти фрагменты изображения разворачиваются в последовательность изображений, как показано на рис. 2. Эти последовательности изображений имеют позиционное вложения.

      Рис. 2. Патчи изображений, развернутые в последовательность изображений (Источник: изображение из оригинальной статьи)

      Изначально трансформеры понятия не имели о том, какой патч и где должен быть. Следовательно, позиционные встраивания помогают преобразователю понять, где должен располагаться каждый патч. В документе авторы использовали простую нумерацию 1,2,3…n, чтобы указать положение патчей, как показано на рисунке 3. Это не просто числа, а обучаемые векторы. То есть число 1 не используется напрямую, но вместо этого присутствует таблица поиска, которая содержит векторы для каждого числа, представляющего положение патча. Так для первого патча берется первый вектор из таблицы и кладется вместе с патчем в преобразователь. Аналогично для 2-го патча захватывается второй вектор из таблицы и помещается вместе со 2-м патчем в преобразователь и так далее. Это показано на рис. 4.

      Рисунок 3. Патчи с позиционными вложениями (Источник: изображение из оригинальной статьи)Рисунок 4. Позиционные вложения как векторные представления (Источник: изображение создано автором)

      Патч изображения представляет собой маленькое изображение (16*16 пикселей). Это как-то нужно подавать так, чтобы трансформер это понял. Один из способов сделать это — развернуть изображение в вектор размерности 16*16 = 256. Однако авторы статьи использовали линейную проекцию. Это означает, что существует одна единственная матрица, представленная как «E» (вложение). Берется один патч и сначала разворачивается в линейный вектор. Затем этот вектор умножается на матрицу вложения E. Конечный результат затем подается на преобразователь вместе с позиционным вложением.

      Все патчи (линейные проекции) вместе с их отдельными позиционными вложениями затем подаются в преобразователь кодировщика. Этот трансформатор представляет собой стандартную архитектуру трансформатора (Внимание, все, что вам нужно — бумага).

      Существует дополнительное обучаемое вложение, отмеченное нулевой позицией, как показано на рисунке 5. Выходные данные этого вложения используются для окончательной классификации всего изображения.

      Рис. 5. Вся архитектура ViT с дополнительным обучаемым встраиванием, отмеченным красным, крайнее левое вложение (Источник: изображение из оригинальной статьи)

      Результаты

      В таблице 1 показано сравнение результатов ViT с современными архитектурами CNN на различных наборах данных. ViT был предварительно обучен на наборе данных JFT-300. Приведенные ниже результаты показывают, что ViT работает лучше, чем архитектура на основе ResNet и архитектура EfficentNet-L2 (предварительно обученная на зашумленных весах учащихся) для всех наборов данных. Обе эти модели являются современными современными архитектурами CNN. В таблице 1 ViT-H относится к ViT-Huge (32 слоя), а ViT-L относится к ViT-Large (24 слоя). Цифры 14 и 16 после ViT-H/L обозначают размер фрагмента (14*14 или 16*16), созданного из каждого изображения.

      Таблица также показывает, что ViT требует гораздо меньше вычислительных ресурсов, чем две другие модели CNN.

      Таблица 1. Сравнение результатов ViT с другими архитектурами CNN для различных наборов данных изображений (Источник: таблица из оригинальной статьи)

      На рисунке 6 показано внимание, уделяемое преобразователем при классификации различных изображений.

      Рисунок 6: Механизм внимания от токенов вывода к пространству ввода (Источник: изображение из оригинальной статьи)

      Заключение

      Будут ли Vision Transformers заменять CNN в задачах компьютерного зрения?

      CNN до сих пор лидировали в задачах компьютерного зрения. Изображение основано на идее, что один пиксель зависит от соседних с ним пикселей, а следующий пиксель зависит от соседних с ним пикселей (будь то цвет, яркость, контрастность и т. д.). CNN работает над этой идеей и использует фильтры на участке изображения для выделения важных функций и краев. Это помогает модели узнать из изображения только необходимые важные особенности, а не детали каждого пикселя изображения.

      Однако, если в модель загружаются все данные изображения, а не только те части, которые могут быть извлечены фильтрами (или которые он считает важными), шансы на то, что модель будет работать лучше, выше. Это именно то, что происходит внутри Visual Transformer. Это может быть одной из причин, почему в данном случае Vision Transformers работают лучше, чем большинство моделей CNN.

      Но значит ли это, что трансформеры заменят в будущем CNN в задачах компьютерного зрения?

      Ответ: не так скоро. Всего несколько дней назад была выпущена модель EfficientNet V2, которая работает даже лучше, чем Vision Transformers. Это просто означает, что теперь мы можем ожидать, что новые архитектуры от обоих жанров (CNN и Transformers) будут бороться, поскольку в ближайшем будущем будут появляться новые, лучшие и более эффективные модели.

      Укрощающие трансформаторы для синтеза изображений с высоким разрешением

      Укрощение трансформаторов для синтеза изображений с высоким разрешением

      TL;DR: Мы представляем сверточный VQGAN , чтобы объединить эффективность сверточных подходов с выразительной силой трансформеров и сочетать состязательную с вероятностной подготовкой перцептивно осмысленным образом. VQGAN изучает кодовую книгу контекстно-богатых визуальных частей, чья композиция затем моделируется с помощью авторегрессионного преобразователя.

      arXiv

      BibTeX

      GitHub
      * равный вклад

      Предназначен для изучения дальних взаимодействий на последовательных данных, преобразователях продолжают демонстрировать самые современные результаты в самых разных задачах. В В отличие от CNN, они не содержат индуктивной предвзятости, которая отдает приоритет локальному взаимодействия. Это делает их выразительными, но также и вычислительно невыполнимыми. для длинных последовательностей, таких как изображения с высоким разрешением. Мы демонстрируем, как сочетая эффективность индуктивного смещения CNN с выразительность трансформеров позволяет их моделировать и тем самым синтезировать изображения с высоким разрешением. Мы покажем, как (i) использовать CNN для изучения богатого контекстом словаря составляющих изображения и, в свою очередь, (ii) использовать преобразователи для эффективного смоделируйте их состав на изображениях с высоким разрешением. Наш подход легко применяется к задачам условного синтеза, где оба непространственная информация, такая как классы объектов и пространственная информация, такие как сегментация, может управлять созданным изображением. В частности, мы представляем первые результаты по семантически управляемому синтезу. мегапиксельных изображений с трансформерами.

      Плакат
      

      Ваш браузер не поддерживает видео тег.

      Наш устный доклад CVPR2021

      Результаты

      и приложений нашей модели.

      Наша работа освещена в Two Minute Papers.

      Наша работа освещается в What's AI.

      Ваш браузер не поддерживает видео тег.

      Выборки ландшафтов обусловлены смысловыми раскладками.

      Ваш браузер не поддерживает видео тег.

      Визуализация выборки глубины изображения в 3D.

      Рисунок 2. Наш подход использует сверточный VQGAN для изучения кодовой книги контекстно-богатых визуальных частей, состав которых впоследствии моделируется с помощью архитектуры авторегрессионного преобразования. Дискретная кодовая книга обеспечивает интерфейс между этими архитектурами, а дискриминатор на основе патчей обеспечивает сильное сжатие при сохранении высокого качества восприятия. Этот метод демонстрирует эффективность сверточных подходов к синтезу изображений высокого разрешения на основе трансформаторов.

      Таблица 1. Сравнение архитектур Transformer и PixelSNAIL для различных наборов данных и размеров моделей. При всех настройках трансформеры превосходят современную модель семейства PixelCNN PixelSNAIL с точки зрения NLL. Это верно как при сравнении NLL в фиксированное время (PixelSNAIL обучается примерно в 2 раза быстрее), так и при обучении на фиксированное количество шагов. См. разд. 4.1 для сокращений.

      Рисунок 5. Образцы, сгенерированные из семантических макетов на S-FLCKR. Размеры сверху вниз: 1280×832, 1024×416 и 1280×240 пикселей. Лучше всего смотреть в увеличенном виде. Более крупную визуализацию можно найти в приложении, см. рис. 13.

      Рисунок 6. Применение подхода скользящего окна внимания (рис. 3) к различным задачам условного синтеза изображений. Вверху: глубина к изображению на RIN, 2-й ряд: стохастическое сверхразрешение на IN, 3-й и 4-й ряд: семантический синтез на S-FLCKR, внизу: синтез с управлением по краю на IN. Результирующие изображения варьируются от 368 × 496 до 1024 × 576, поэтому их лучше просматривать в увеличенном виде.

      Рис. 11. Сравнение нашего подхода с пиксельным подходом из [7]. Здесь мы используем нашу модель S-FLCKR f = 16 для получения высокоточных дополнений изображения входных данных, изображенных слева (половина завершения). Для каждого кондиционирования мы показываем три наших образца (вверху) и три из [7] (внизу).

      Рис. 12. Сравнение нашего подхода с пиксельным подходом из [7]. Здесь мы используем нашу модель S-FLCKR f = 16 для получения высокоточных дополнений изображения входных данных, изображенных слева (половина завершения). Для каждого кондиционирования мы показываем три наших образца (вверху) и три из [7] (внизу).

      Рисунок 4. Трансформаторы в нашей установке объединяют широкий спектр задач синтеза изображений. Мы показываем результаты синтеза 256 × 256 для различных входных данных и наборов данных, все они получены с использованием одного и того же подхода для использования индуктивных смещений эффективных архитектур VQGAN на основе CNN в сочетании с выразительностью архитектур преобразователя. Верхний ряд: завершение безусловного обучения в ImageNet. 2-й ряд: глубина изображения на RIN. 3-й ряд: семантически управляемый синтез на COCO-Stuff (слева) и ADE20K (справа). 4-й ряд: генерация людей с помощью позы в DeepFashion. Нижний ряд: образцы с условным классом в RIN.

      Рисунок 23. Безусловные выборки из модели, обученной на LSUN Churches & Towers, с использованием скользящего окна внимания.

      Рисунок 13. Образцы, сгенерированные из семантических макетов на S-FLCKR. Размеры сверху вниз: 1280×832, 1024×416 и 1280×240 пикселей.

      Рисунок 14. Образцы, сгенерированные из семантических макетов на S-FLCKR. Размеры сверху вниз: 1536×512, 1840×1024 и 1536×620 пикселей.

      Рисунок 15. Образцы, сгенерированные из семантических макетов на S-FLCKR. Размеры сверху вниз: 2048× 512, 1460× 440, 2032× 448 и 2016× 672 пикселей.

      Рисунок 16. Образцы, сгенерированные из семантических макетов на S-FLCKR. Размеры сверху вниз: 1280×832, 1024×416 и 1280×240 пикселей.

      Рисунок 17. Нейронный рендеринг с управлением по глубине на RIN с f = 16 с использованием скользящего окна внимания.

      Рисунок 18. Нейронный рендеринг с управлением по глубине на RIN с f = 16 с использованием скользящего окна внимания.

      Рисунок 19. Преднамеренное ограничение рецептивного поля может привести к интересным творческим приложениям, таким как это: синтез от края до изображения на IN с f = 8 с использованием скользящего окна внимания.

      Рисунок 20. Дополнительные результаты для стохастического сверхразрешения с моделью f = 16 на IN с использованием скользящего окна внимания.

      Рисунок 21. Образцы, созданные из семантических макетов на S-FLCKR с f = 16, с использованием скользящего окна внимания.

      Рисунок 22. Образцы, созданные из семантических макетов на S-FLCKR с f = 32, с использованием скользящего окна внимания.

      Рисунок 7. Оценка важности эффективной кодовой книги для HQ-Faces (CelebA-HQ и FFHQ) для фиксированной длины последовательности |s|= 16·16 = 256. Глобально согласованные структуры могут быть смоделированы только с контекстно-богатым словарем (справа). ). Все выборки генерируются с температурой t = 1,0 и выборкой топ-k с k = 100. В последней строке указано ускорение по сравнению с базовой линией f1, которая работает непосредственно с пикселями и занимает 7258 секунд для создания выборки на NVIDIA GeForce GTX Titan X.

      Рисунок 8. Компромисс между отрицательным логарифмическим правдоподобием (nll) и ошибкой реконструкции. В то время как контекстно-богатые кодировки, полученные с большими коэффициентами f, позволяют преобразователю эффективно моделировать дальнодействующие взаимодействия, возможности реконструкции и, следовательно, качество выборок ухудшаются после достижения критического значения (здесь f = 16). Подробнее см. в гл. Б.

      Рисунок 9. Мы сравниваем способность VQVAE и VQGAN изучать кодировки с богатым восприятием, которые позволяют выполнять реконструкцию с высокой точностью с большими коэффициентами f . Здесь, используя ту же архитектуру и f = 16, реконструкции VQVAE размыты и содержат мало информации об изображении, тогда как VQGAN точно восстанавливает изображения. См. также разд. Б.

      Рисунок 10. Образцы набора ландшафтных данных (слева), полученные с различными коэффициентами f, аналогичны рис. 7. В отличие от лиц, фактор f = 32 все еще позволяет проводить точные реконструкции (справа). См. также разд. Б.

      Рисунок 24. Дополнительные результаты 256×256 для набора данных ADE20K.

      Рисунок 25. Дополнительные результаты 256×256 в наборе данных COCO-Stuff.

      Рис. 26. Условные выборки для модели «глубина-изображение» на IN.

      Рисунок 27. Условные образцы для модели синтеза с позированием через ключевые точки в DeepFashion.

      Рис. 28. Образцы, созданные моделью с условными классами, обученной на RIN.

      Рис. 29. Образцы, синтезированные с помощью модели IN с условными классами.

      Рисунок 30. Вверху: все исследуемые нами перестановки последовательностей, показанные на сетке 4×4. Внизу: архитектура преобразователя инвариантна к перестановкам, а предсказание следующего токена — нет: средние потери при разделении проверки ImageNet, соответствующие отрицательному логарифмическому правдоподобию, значительно различаются между разными порядками предсказания. Среди наших вариантов обычно используемый порядок строк работает лучше всего.

      Рис. 31. Случайные выборки из моделей трансформаторов, обученных с разным порядком для авторегрессионного прогнозирования, как описано в разд. 4.4.

      Связанная работа над модульными композициями моделей глубокого обучения

      Преобразование сети в сеть с помощью условных обратимых нейронных сетей

      Учитывая постоянно растущие вычислительные затраты современных моделей машинного обучения, нам необходимо найти новые способы повторного использования таких экспертных моделей и, таким образом, задействовать ресурсы, которые были вложены в их создание. Недавняя работа предполагает, что сила этих массивных моделей заключается в представлениях, которые они изучают. Поэтому мы ищем модель, которая может связывать различные существующие представления, и предлагаем решить эту задачу с помощью условно обратимой сети. Эта сеть демонстрирует свои возможности, (i) обеспечивая общую передачу между различными доменами, (ii) обеспечивая управляемый синтез контента, разрешая модификацию в других доменах, и (iii) облегчая диагностику существующих представлений путем их перевода в интерпретируемые домены, такие как изображения. Наша сеть передачи доменов может выполнять перевод между фиксированными представлениями без необходимости их изучения или тонкой настройки. Это позволяет пользователям использовать различные существующие экспертные модели предметной области из литературы, которые были обучены с использованием обширных вычислительных ресурсов. Эксперименты с различными задачами условного синтеза изображений, конкурентные результаты модификации изображений и эксперименты по преобразованию изображения в изображение и текста в изображение демонстрируют общую применимость нашего подхода. Например, мы переводим между BERT и BigGAN современные модели текста и изображений, чтобы обеспечить преобразование текста в изображение, которое ни один из экспертов не может выполнить самостоятельно.

      Осмысление CNN: интерпретация глубоких представлений и их инвариантности с INN

      Для решения все более сложных задач нейросетям необходимо изучать абстрактные представления. Эти представления для конкретных задач и, в частности, инвариантности, которые они фиксируют, превращают нейронные сети в модели черного ящика, которым не хватает интерпретируемости. Поэтому, чтобы открыть такой черный ящик, крайне важно раскрыть различные семантические концепции, которым научилась модель, а также те, к которым она научилась быть инвариантной. Мы представляем подход, основанный на INN, который (i) восстанавливает изученные инвариантности для конкретной задачи путем распутывания оставшегося фактора вариации в данных и который (ii) обратимо преобразует эти восстановленные инвариантности в сочетании с модельным представлением в столь же выразительное с доступные семантические понятия. Как следствие, представления нейронной сети становятся понятными, предоставляя средства для (i) раскрытия их семантического значения, (ii) семантической модификации представления и (iii) визуализации отдельных изученных семантических понятий и инвариантностей. Наш обратимый подход значительно расширяет возможности понимания моделей черного ящика, позволяя постфактум интерпретировать современные сети без ущерба для их производительности.

      Подтверждение

      Эта страница основана на дизайне TEMPLATED.

      PETA: Распознавание событий в фотоальбомах с помощью Transformers Attention

      1 Введение

      С экспоненциально растущим количеством личных фотографий возрастает потребность в автоматизированной организации фотоальбомов. Ручная организация альбома больше не является реалистичной для многих людей. Обнаружение ценных событий в личных галереях и классификация их содержимого являются важными базовыми блоками для обеспечения такой автоматической организации. Распознавание событий — это процесс классификации определенной коллекции фотографий из типичного личного альбома в предопределенный набор специальных событий (например, день рождения, поездка, спорт и т. д.). При работе с распознаванием событий фотоальбома мы обычно сталкиваемся с тремя основными проблемами: (1) Анализ неупорядоченной коллекции нескольких изображений с разным размером и разным временным промежутком, который варьируется от секунд до часов. (2) Типичная фотоколлекция обычно включает много нерелевантных фотографий. (3) Представление изображения должно фиксировать информацию как высокого, так и низкого уровня, однако доступные наборы данных относительно малы и могут быть недостаточными для обучения представлению.

      Предыдущие подходы предлагали несколько решений, каждое из которых имело дело только с частью этих проблем. Анализ нескольких изображений выполнялся с использованием простого или взвешенного усреднения [guo2015event, savchenko2020event] . В [Wang_17_BMVC, qi2020distributive, choi2020meta, guo2020graph] использовалось рекуррентных нейронных сетей (RNN). Однако RNN ограничены в захвате глобальных отношений между удаленными элементами последовательности, что необходимо для распознавания событий фотоальбомов. Использование более релевантных изображений альбома было решено за счет использования достоверности изображений важности [Wang_16_CVPR, Wang_17_BMVC, choi2020meta] , однако для этого требуется исчерпывающая аннотация важности для каждого изображения. Гуо и др. [guo2017multigranular]

      избегайте этой аннотации и неявно изучайте важность изображения через уровень внимания, сравнивая изображения с меткой события. Однако неявная предсказанная важность изображения не оценивалась. Чтобы решить проблему представления изображения, они также предложили ансамбль из нескольких сетей и иерархическое извлечение признаков, что может усложнить решение. Савченко

      [savchenko2020event]

      также использовал уровень внимания для агрегирования дескрипторов функций изображений альбомов с изучаемыми весами изображений, однако их представление изображений включает модуль генерации генеративных подписей к изображениям, который снижает эффективность и дает худшие результаты распознавания.

      В этой статье мы предлагаем практичное и эффективное решение на основе трансформаторов. чтобы полностью справиться с этими проблемами и представить современные результаты (SotA) по трем известным эталонным тестам распознавания событий. 9Преобразователи 0505 [васвани2017внимание] становятся все более популярными в качестве моделей классификации для последовательных данных. Преобразователи позволяют анализировать несколько изображений, используя при этом наиболее важные элементы с помощью механизма внимания. Хотя теоретически LSTM [hochreiter1997long] нацелены как на кратковременную, так и на долговременную память, на практике распространение информации ограничено, поскольку эффект самых дальних градиентов может уменьшиться. Преобразователи совершили прорыв в обработке последовательных данных, поскольку ограничения эффективного окна обработки были сняты. Благодаря своей схеме параллельных вычислений архитектуре преобразователей удается учитывать отношения между удаленными элементами последовательности и эффективно обращать внимание на всю последовательность в целом. Чтобы решить проблему представления изображений высокого уровня, при обучении с использованием небольших наборов данных мы используем передачу знаний от средства извлечения признаков, обученного решению общей задачи классификации изображений. Мы показываем, что наш метод можно использовать в качестве встраиваемого компонента с существующими магистральными сетями классификации изображений, сохраняя его параметры фиксированными при обучении только компонента преобразователя. В типичных реальных приложениях автоматической организации фотографий требуется как классификация отдельных изображений, так и распознавание событий альбома. Совместное использование представления изображения между этими двумя задачами может быть практическим преимуществом, например, использование предварительно вычисленных представлений изображения. Наш подход позволяет как передавать знания из больших наборов данных, так и совместно использовать параметры и вычисления, аналогично преимуществам многозадачного обучения.

      Основным ключом в автоматической организации альбомов является возможность определить, какие изображения содержат ценную информацию, и отличить их от менее важных. Эта задача семантического анализа контента полезна для улучшения распознавания событий, но может быть также полезна для других приложений ранжирования содержимого изображений, таких как суммирование альбомов или фильтрация беспорядочных изображений. Основной проблемой в прогнозировании важности изображения является его субъективность, поэтому аннотированные наборы данных просто доступны. Предыдущие подходы [Wang_16_CVPR, Wang_17_BMVC, choi2020meta] обученных моделей для прямого прогнозирования важности изображения с использованием явных аннотированных данных. Поскольку важность изображения плохо определена, использование данных, аннотированных человеком, ограничено и не может быть легко масштабировано из-за исчерпывающего процесса аннотирования. В нашем решении мы предлагаем использовать внимание, полученное преобразователем, в качестве прогноза важности изображения альбома. Мы демонстрируем способность нашей модели предсказывать важность изображения без непосредственного обучения этой аннотации для конкретной задачи.
      

      Наши основные вклады:

      1. Новый подход к распознаванию альбомных событий, основанный на преобразовании, который значительно превосходит известную SotA по трем основным показателям. Наше решение является эффективным, но простым и использует предварительно обученный экстрактор признаков изображения. Например, в наборе данных ML-CUFED [Wang_17_BMVC] мы достигаем 90,09% mAP, улучшая предыдущую SotA на 7%.

      2. Мы также демонстрируем силу нашего решения для предсказания важности изображения, неявно изученного вниманием преобразователя. Мы анализируем наш предиктор, измеряя его корреляцию с важностью изображения, аннотированного человеком, и показываем, как он обеспечивает высококачественное предсказание важности изображения без явных аннотаций или обучения.

      2 Связанная работа

      Как правило, распознавание событий может относиться к нескольким типам медиа — отдельные изображения (например, социальные сети), личные коллекции фотографий, видео или аудио, [ahmad2019deep] рассматривает все 4 аспекта. Многие предыдущие работы [ahmad2018ensemble, ahsan2017complex, laib2019probabilistic, guo2020graph] сосредоточены на задаче распознавания событий на каждом изображении. Распознавание событий для каждого изображения имеет дело с проблемой представления изображения, но не с анализом нескольких изображений или с нерелевантными изображениями. Наборы данных, такие как [li2007and, ahsan2017complex, xiong2015wider] и даже недавний [muller2021ontology] , все сгенерированы собирая несвязанные изображения из разных источников и помечая каждое изображение отдельно своим типом события. Однако три общедоступных набора данных личных альбомов — Holidays [Holidays] , PEC [bossard2013event] и ML-CUFED [Wang_16_CVPR, Wang_17_BMVC] — все собраны из личных фотоальбомов. Они состоят как из релевантных, так и из нерелевантных изображений в каждом альбоме, иллюстрируя более реалистичный сценарий личных альбомов пользователей. В то время как в некоторых предыдущих работах изучалось распознавание событий как отдельных изображений, так и альбомов [savchenko2020event] обычно рассматриваются как две разные задачи. Хотя мы сосредоточены на распознавании событий коллекций личных фотографий, по мере того, как приложения для личных фотографий становятся все более распространенными, многие важные идеи могут быть также получены из классификации событий с одним изображением в аспекте представления изображения.

      Распознавание событий в личных фотоальбомах ранее изучалось с помощью различных подходов, сочетающих в себе задачу представления одного изображения и задачу представления альбома. Для решения проблем представления изображения и небольшого размера набора данных , Го [guo2015event]

      предлагают использовать ансамбль сетей. Каждая сеть предварительно обучена с помощью разных больших наборов данных: грубая сеть предварительно обучена на большом наборе данных классификации сцен 365 мест

      [zhou2017places]

      , затем точная сеть предварительно обучена на большом наборе данных классификации объектов ImageNet

      [deng2009imagenet] . Они демонстрируют, что при попытке распознать событие требуется как низкоуровневая информация, такая как объекты, так и высокоуровневая информация, такая как сцены. В своей следующей работе [guo2017multigranular] еще больше расширяет эти знания, добавляя в ансамбль дополнительную сеть. Они также представили использование слоев внимания - для каждой из 3 используемых CNN они агрегировали функции изображений альбома, используя средневзвешенное значение. Веса изучаются с использованием вспомогательной потери, которая исследует сходство между представлением функции изображения и представлением метки события с использованием преобразования word2vec [rehurek2010software] . Следовательно, они явно изучают важность изображения и показывают улучшение с помощью этого добавления. Савченко [savchenko2020event] также использовал ансамбль из двух сетей, когда одна генерирует подпись к изображению из встроенных изображений.
      для агрегации с изображениями альбомов Предыдущие подходы использовались в среднем [GUO2015EVENT] , В среднем с обращением внимания [SAVCHENKO202020EVENT] , RNNS, LSTMS [WANG_17_BMVC, QI202020DSCRIMINATIATION, CHAI2020202020202020202020202020202020202020202020201017. Эти рекуррентные нейронные сети на практике имеют ограниченное временное окно.
      Трансформер совершил прорыв в НЛП [vaswani2017attention] путем применения глобального внимания ко всей входной последовательности. Вдохновленный недавним использованием трансформеров для видео [sharir2021image] , расширение использования преобразователей для коллекций изображений кажется естественным.

      В дополнение к задаче распознавания событий некоторые сопутствующие работы связаны с прогнозированием важности изображения. [Wang_16_CVPR] широко обсуждает прогнозирование важности изображения с учетом типа события альбома с использованием сиамской сети и назначенной потери ранжирования. Позже [Wang_17_BMVC] расширил его до итеративной процедуры чередования прогнозирования важности изображения и типа события, а [choi2020meta] дополнительно занимался прогнозированием важности изображения для всех типов событий. И [Wang_17_BMVC] , и [choi2020meta] также демонстрируют вклад в распознавание событий с помощью прогнозирования важности изображения. Все эти подходы обучают сеть прогнозирования контролируемым образом, используя важность аннотированного изображения набора данных CUFED. [Wang_16_CVPR] широко описывает большие усилия, необходимые для аннотирования таких данных для этой субъективной задачи. Автоматическое расширение аннотаций является одним из [choi2020meta] основных вкладов. Следовательно, можно вывести, что прогнозирование важности изображения неконтролируемым образом может быть очень полезным и может даже применяться для других субъективных задач, основанных на изображении. Мы показываем, что прогнозирование важности изображения без явного обучения его аннотации дает полезные результаты.

      3 Распознавание событий с помощью трансформаторов

      Рисунок 1: Наша общая архитектура.

      Учитывая фотоальбом с изображениями NA: {It}NAt=1, мы хотели бы предсказать тип события c∈{1,...,Ncls} альбома. Есть три основных проблемы в распознавании альбомов. Во-первых, альбом представляет собой неупорядоченный набор изображений NA переменной длины. Во-вторых, альбомы состоят из множества нерелевантных или частично релевантных изображений. В-третьих, требуется представление изображений высокого уровня, в то время как наборы данных распознавания событий альбомов довольно малы. Эффективность вычислений и ограничения параметров, которые есть у каждой реальной системы, представляют собой еще одну проблему, которую следует учитывать. Наше решение направлено на достижение высоких показателей распознавания при решении всех этих задач.

      Вдохновленный недавним успехом трансформеров во многих областях, как для НЛП [vaswani2017attention] , vision [dosovitskiy2020image] , так и недавно также в видео [shair2021image, arnab2021vivit] , мы стремимся распространить использование архитектуры трансформеров на альбомы (коллекции изображений). Чтобы применить преобразователи для коллекции изображений, необходимо сделать несколько адаптаций. Поскольку длина альбома является переменной, мы выбираем фиксированное количество изображений из альбома {Is}SAs=1.
      

      Затем мы вычисляем вектор представления (встраивание) для каждого отобранного изображения, применяя модель CNN, которая была предварительно обучена на большом наборе данных классификации изображений. Затем эти вложения объединяются с помощью преобразователей, которые, в свою очередь, выводят слой прогнозирования для классификации типов событий. Кроме того, прогноз важности изображения извлекается из блока внимания. Предсказание важности изображения неявно изучается посредством обучения трансформаторов. Далее описаны различные этапы нашего метода. Рисунок

      1 иллюстрирует общую архитектуру предлагаемого нами решения.

      3.1 Выборка изображения альбома

      Как упоминалось выше, мы стремимся к практическому эффективному решению. Поскольку известно, что преобразователи имеют квадратичную зависимость от длины входной последовательности, мы уменьшаем сложность путем выборки небольшого количества изображений в альбоме. Благодаря усилению механизма внимания Чем более релевантны фотографии, тем меньше изображений можно использовать, достигая при этом высоких показателей распознавания. Выборка изображений обеспечивает как эффективность, так и работу с переменной длиной альбома. Мы определяем фиксированное количество выборочных изображений на альбом SA как количество изображений, используемых для классификации как при обучении, так и при выводе. Учитывая альбом изображений NA {It}NAt=1, мы случайным образом выбираем изображения SA из альбома. Мы сэмплируем каждую партию B, выбирая изображения SA из альбомов BA:

      Б=БА⋅СА

      В случае короткого альбома с NA

      мы дополняем до

      изображений SA, дублируя изображения SA-NA.

      Анализ показателей распознавания и времени вывода для различных вариантов SA описан в разделе 6.3.1. Мы решили использовать выборку со случайной перестановкой в ​​качестве метода расширения альбома, поскольку временные промежутки между изображениями альбома различаются, а порядок изображений не обязательно важен для распознавания событий. Выборка изображения дополнительно подтверждается экспериментальными результатами в разделе 6.3.6.

      3.2 Представление изображения

      Для выборочных изображений {Is}SAs=1 мы применяем экстрактор основных признаков классификации изображений: xs=CNN(Is)

      Наборы данных распознавания событий могут быть недостаточно большими для обучения достаточной магистрали представления изображений. Поэтому мы используем предварительно обученную основу классификации изображений для извлечения выборочных вложений изображений альбомов. Этот подход позволяет использовать магистральную сеть в многозадачном режиме для классификации изображений в дополнение к распознаванию событий альбома, как для передачи знаний, так и для обмена параметрами. Кроме того, он позволяет агрегировать вложения изображений в автономном режиме, используя только сеть преобразователей, в случае предварительно вычисленных вложений изображений. Передача данных знаний продемонстрирована в разделе 9.0004

      6. 3.3. Кодировщик представления изображений представляет собой магистраль MTResNet [ridnik2021tresnet] , обученную на наборе данных Open Images V6 [OpenImages] . Как показано в разделе 6.3.2, MTResNet представляет собой эффективную и мощную основу. Open Images V6 — это большой разнообразный набор данных для классификации изображений, состоящий как из классов низкого, так и из высокого уровня, что устраняет необходимость объединения сетей, обученных отдельно для классов низкого и высокого уровня, как это сделано [guo2015event, guo2017multigranular] . Абляция при выборе набора данных перед поездкой продемонстрирована в разделе 6.3.4.

      3.3 Архитектура трансформаторов

      Архитектура преобразователей для агрегации встраивания изображений вдохновлена ​​временной частью техники агрегации видеокадров, используемой классификацией видеодействия STAM [sharir2021image] в котором выбранные изображения обрабатываются как токены и вставляются в преобразователь. Для каждого вложения изображения xs добавляется обучаемое позиционное кодирование:

      z(0)s=xs+eposs,s∈{1,2,...,SA}

      Размер позиционного кодирования равен размерности встраивания изображения, в нашем случае D=2048. Это делается для каждого изображения, создавая матрицу вложений изображений SA×D для альбома. Чтобы применить классификацию с помощью преобразователей, токен классификации CLS [devlin2018bert] объединяется с представлением альбома, расширение представления альбома до (SA+1)×D. Токен классификации — это обучаемый вектор, опирающийся на более релевантные элементы [devlin2018bert] , с измерением в качестве токенов входного изображения. Представление альбома (SA+1)×D вставляется в сложенные L слоев кодера преобразователей. Вход первого уровня кодировщика (CLS,{z(0)s}SAs=1). Поскольку уровень самовнимания с несколькими головками с достаточным количеством головок может напрямую моделировать взаимодействия как на коротких, так и на дальних расстояниях [ramachandran2019stand] , каждый кодировщик состоит из многоголового самовнимания (MSA) с H головками. Для каждого слоя кодера l∈{1,2,...,L} и для каждой головы внимания h∈{1,2,...,H} вложения нормализуются с помощью LayerNorm (LN) [ba2016layer] и линейно проецируется обучаемыми матрицами весов W(l,h)K,W(l,h)Q,W(l,h)V в Query, Key и Value Q,K,V для каждый вход:

      Q(l,h)s=W(l,h)QLN(z(l−1)s)

      K(l,h)s=W(l,h)KLN(z(l−1)s)

      V(l,h)s=W(l,h)VLN(z(l−1)s)

      Затем, используя масштабированное скалярное произведение внимания, вычисляются взвешенные значения, масштабированные по размерам головы внимания. DH=\nicefracDH :

      z(Q,K,V)=softmax(QKT√DH)V

      (1)

      Выходные данные головок внимания для каждого слоя l

      объединяются и проходят через 2 слоя многослойного персептрона (MLP) с активациями GeLU

      [hendrycks2016gaussian] . LayerNorm [ba2016layer] применяется до MLP, и оба уровня MSA и MLP работают как остаточные операторы из-за добавленных соединений с пропуском. Выходом сети является предсказание с несколькими метками и вектор внимания, связывающий каждый токен изображения с токеном классификации. Этот вывод более подробно рассматривается в разделе 4. Основным преимуществом, достигаемым архитектурой трансформеров, является агрегация изображений альбомов на основе внимания, которая использует более релевантные изображения и уменьшает вклад изображений с низкой релевантностью. Взвешенное значение, извлеченное из многоголового внимания, может называться весами различных изображений. Подчеркивание релевантных изображений с помощью механизма внимания обеспечивает хорошее распознавание с небольшим количеством случайно выбранных изображений. В нашей реализации мы выбрали L=6 слоев кодировщика трансформаторов и H=8 головок для модуля с несколькими головками-самовниманием.

      4 Прогноз важности изображения

      Возможность сосредоточиться на наиболее релевантных изображениях альбома является ключевым компонентом распознавания событий альбома. И [Wang_17_BMVC] , и [choi2020meta] показали, что предсказание важности изображения улучшает результаты распознавания событий. Однако все предыдущие подходы предсказывали важность изображения, используя аннотированные наземные данные во время обучения [Wang_16_CVPR, Wang_17_BMVC, choi2020meta] . Эта субъективная аннотация задачи очень сложна. Недавно [choi2020meta] предложил автоматически расширить его для всех классов событий, заявив о сложности этого субъективного процесса аннотации.

      Механизм внимания позволяет фиксировать глобальные отношения между изображениями, что, в свою очередь, может подразумевать, какие из них более важны для классификации. В этом разделе, воодушевленные результатами распознавания событий, мы исследуем возможность прогнозировать важность изображения на основе усвоенного внимания без использования аннотаций для конкретной задачи.

      Из энкодера L последнего преобразователя мы извлекаем масштабированное скалярное произведение, как в уравнении 1. Результатом является матрица внимания:

      z(L,h)(Q,K,V)∈R(SA+1)×(SA+1)

      Где a∈{1,..,H} — главный номер многоголового внимания. Усредняем отдачу внимания по всем головам:

      A(L)=1HH∑h=1[z(L,h)(Q,K,V)]

      Напомним, что токен классификации был присоединен ко входу преобразователя в качестве первого токена, мы извлекаем важность изображения для изображения Is из первой строки матрицы внимания.

      Определим γs как предсказание важности изображения для изображения Is. Мы можем просто извлечь важность изображения по

      γs=A(L)0,s+1,s∈{1,...,SA}

      Где A(L)i,j — j-й элемент в i-й строке матрицы внимания A(L).

      Это не точное значение важности чистого изображения для изображения Is, так как оно включает в себя другие изображения с более низкими весами на всех уровнях кодировщика L. Однако это отражает важность изображения в альбоме. Мы провели несколько количественных экспериментов, чтобы изучить предиктор изученного внимания, сравнив его с достоверностью изображения, аннотированной человеком, представленной в наборе данных ML-CUFED, они описаны в разделе 6.2. Кроме того, мы качественно изучаем ранжирование изображений альбомов, чтобы продемонстрировать значение этого прогноза.

      5 наборов данных

      Как упоминалось выше, общедоступные наборы данных для распознавания событий ограничены. Это создает проблемы для классификации фотоальбомов. Помимо их размеров, есть только три общедоступных набора данных о событиях личных фотоальбомов. Существует несколько дополнительных наборов данных распознавания событий для каждого изображения, таких как [li2007and, ahsan2017complex, xiong2015wider] и недавний [muller2021ontology] . Они решают только проблему представления изображения, а не проблемы с несколькими изображениями или нерелевантными изображениями. Есть также некоторые частные наборы данных [guo2017multigranular, lonn2019смартфон] . Мы беспрецедентно демонстрируем наши результаты на всех трех общедоступных наборах данных. Все состоят из подлинных личных альбомов, в каждый из которых входит множество неактуальных изображений. Эти наборы данных описаны далее.

      5.1 Набор данных ML-CUFED

      The CUration of Flickr Events Dataset (CUFED) [Wang_16_CVPR] — это самый последний и самый большой набор данных распознавания событий альбомов. ML-CUFED — это его расширение для событий с несколькими метками [Ванг_17_BMVC] . Он включает 94 798 изображений в 1883 альбомах, по 30-100 изображений в каждом альбоме. Он имеет 23 класса событий, включая личные события, такие как День рождения, различные поездки, праздники, спорт и т. д. В дополнение к аннотации типа события наземная правда включает дополнительную аннотацию, называемую «важность изображения». Эта аннотация была сделана путем опроса нескольких аннотаторов, насколько релевантно каждое изображение для события, и усреднения оценок по аннотаторам. Средняя корреляция Спирмена между аннотаторами, вычисленная с помощью нескольких разбиений на две группы, составляет 0,4, что показывает, насколько субъективна задача. После предыдущих статей [Wang_17_BMVC, savchenko2020event] мы также создали валидацию поезда 4:1 для обучения и оценки нашего подхода.

      5.2 Набор данных PEC

      The Personal Event Collection — набор данных PEC [bossard2013event] содержит 61 364 изображения в 807 альбомах. Каждый альбом аннотирован одной меткой из 14 классов. Классы событий включают личные события, такие как день рождения, поездки, такие как круиз на лодке, походы и праздники, такие как Рождество, Хэллоуин. Разделение, предоставленное с набором данных, использовалось в нашем эксперименте.

      5.3 Набор данных о праздниках

      Набор данных Holidays [Holidays] включает альбомы для 10 самых частых американских праздников согласно альбомам Google Picasa - Рождество, Хэллоуин, Пасха и т. д. Он состоит из около 50 альбомов для каждого праздника, всего 565 альбомов и 46 609 фотографий. . Сбор данных основан на созданных людьми альбомах с названиями, которые указывают на определенный праздник. Таким образом, данные иллюстрируют настоящие личные альбомы пользовательских галерей, включая множество нерелевантных изображений в каждом альбоме.

      Таблица 1: Результаты распознавания событий для всех 3 наборов данных 90 134 6 Экспериментальные результаты

      Было проведено несколько экспериментов, чтобы продемонстрировать как результаты распознавания событий, так и обучение вниманию. Для каждого набора данных распознавания событий мы сравниваем наши результаты с лучшими из опубликованных результатов.

      6.1 Результаты распознавания событий

      Мы применили нашу сеть распознавания событий к трем общедоступным наборам данных. Для всех наборов данных мы значительно превосходим SotA. Результаты распознавания представлены в таблице 1. Все результаты измеряются с использованием mAP. Для набора данных PEC мы также измерили среднюю точность, поскольку в некоторых статьях сообщается о mAP, а в некоторых — о точности.
      Наши результаты для ML-CUFED получают mAP 90,09%, что на 7% лучше, чем лучший метод без важности изображения. (Некоторые опубликованные результаты на ML-CUFED были обучены с достоверностью изображений) Для набора данных PEC мы улучшили mAP на 6% по сравнению с исходным значением. лучший зарегистрированный mAP [guo2017multigranular] , и мы улучшили предыдущую среднюю точность SotA на 5,3% [choi2020meta] . Последние опубликованные результаты по наборам данных о праздничных днях довольно низкие и нерелевантные, поэтому мы сравниваем с агрегированной базовой сетью достоверности CNN, улучшая ее примерно на 18%. Значительное улучшение, достигнутое предложенным методом, продемонстрировало эффективность преобразователей альбомной классификации. На рис. 2 показаны некоторые изображения, взятые из типичного события Хэллоуина в наборе данных ML-CUFED. Наш подход правильно распознал событие Хэллоуина, в то время как простая уверенность в каждом изображении предсказала событие Дня Рождения, хотя первое выполняется с использованием только случайно выбранных изображений SA=32, а второе выполняется с использованием всех изображений альбома. Разницу в предсказании можно объяснить, изучив предсказанные значения важности изображения. (a) Отображает 8 верхних изображений внимания, а (b) отображает 8 самых низких изображений внимания. Изображения с более высоким рейтингом кажутся очень релевантными, в то время как изображения с более низким рейтингом кажутся совершенно нерелевантными.

      Рисунок 2: Образцы изображений события Хэллоуина из набора данных ML-CUFED — распознанные как Хэллоуин нашим подходом, ошибочно распознанные как День рождения при усреднении достоверности CNN. (a) 8 изображений с наибольшим вниманием (b) 8 изображений с наименьшим вниманием.

      6.2 Результаты прогнозирования важности изображений

      В этом разделе мы исследуем способность предложенного нами подхода прогнозировать важность каждого изображения в фотоальбоме. Чтобы измерить его, мы используем метрику корреляции Спирмена между достоверностью изображения и прогнозируемыми значениями. Корреляция Спирмена была выбрана в качестве метрики, поскольку она позволяет измерять глобальное ранжирование с учетом изображений как с более высоким, так и с более низким рейтингом. Мы сравнили результаты трех схем: случайное ранжирование, достоверность сверточной сети для каждого изображения и изученное внимание с использованием нашей архитектуры. В таблице 2 показаны средние значения корреляции Спирмена, рассчитанные для различных подходов. Как видно, при использовании изученного внимания значение корреляции Спирмена значительно увеличилось по сравнению с другими базовыми показателями, что указывает на то, насколько информативным и эффективным является усвоенное внимание для надежной оценки важности изображения в личном альбоме без необходимости явного аннотация.

      Таблица 2. Средняя корреляция Спирмена по альбомам, ML-CUFED

      . Чтобы качественно проиллюстрировать способность преобразователей фиксировать важность изображения в альбоме, на рисунке 3 показан пример результата ранжирования изображения с использованием нашего прогноза важности изображения и сравнение его с ранжированием. результаты, полученные с помощью наивного подхода, основанного на достоверности сети. Как можно видеть, для события религиозной деятельности из набора данных ML-CUFED (1a) изображения, занимающие 5 первых мест по нашей предсказанной важности, кажутся очень релевантными, в то время как (1b) изображения с более низким 5 ранжированием кажутся менее значимыми. Однако при изучении ранжирования по наивной достоверности предсказания для каждого изображения (2a) первые 5 изображений менее релевантны, в то время как некоторые релевантные изображения появляются в (2b) изображениях с самым низким рейтингом.

      Рисунок 3: Ранжирование по важности изображения. Для события «Религиозная деятельность» из ML-CUFED качественное сравнение рейтинга по (1) предложенному нами усвоенному вниманию (2) достоверности CNN для каждого изображения, когда (а) 5 лучших изображений в рейтинге, (b) последние 5 рангов. картинки.

      6.3 Эксперименты по абляции

      Наше решение состоит из нескольких модулей, целью которых является объединение наиболее эффективных модулей для каждой части архитектуры. Чтобы оправдать наш выбор, мы сравниваем различные альтернативы и исследуем их эффект изолированно. Большинство наших экспериментов по изучению абляции проводились с набором данных ML-CUFED, так как это самый большой и самый последний набор данных. Это также единственный набор данных с несколькими метками, что является более сложной и практической задачей.

      6.3.1 Эффект изображений в альбоме

      Как показано в разделе 3.1, сначала из альбома выбирается подмножество изображений, а векторы их представления передаются в преобразователь. В этом разделе мы представляем влияние количества изображений в альбоме (SA) на результаты распознавания. Как показано, одной из основных причин силы трансформаторов является их способность адаптивно взвешивать различные изображения и привлекать внимание к наиболее важным из них. Это также позволяет модели точно классифицировать событие с меньшим количеством изображений. Таблица 3 показывает, что даже при использовании только SA=8 или SA=16 результаты превосходят предыдущие подходы, в которых использовались все изображения альбомов. В разделе 6.1 мы сравнили наши результаты с использованием SA = 32 с предыдущими тестами, поскольку последние использовали весь альбом (например, архитектура LSTM не требует фиксированного количества изображений). На практике даже использование SA=32 составляет ∼50% или даже ∼30% изображений альбомов во многих альбомах, поэтому сравнение в этом аспекте не идеально, так как наша архитектура использует меньше изображений даже для SA=32. Архитектура трансформеров требует фиксированного количества изображений, но сила агрегирования позволяет ей распознавать тип события даже с небольшой частью изображений альбома.

      Изображений в альбоме (SA)	мАР[%]	Время вывода на альбом [мс]
      4	81,8	3,01
      8	86,89	5,86
      16	88,58	12.06
      32	90,09	24,29

      Таблица 3: Результаты распознавания событий для разного количества изображений в альбоме, набор данных ML-CUFED

      6.

      3.2 Сравнение магистралей

      В нашей архитектуре мы использовали сеть MTResNet [ridnik2021tresnet] для представления изображения. MTResNet — эффективная сеть, которая сохраняет мощность представления с меньшим количеством параметров. Поскольку в предыдущих лучших опубликованных результатах на ML-CUFED и PEC [Wang_17_BMVC, choi2020meta] использовались ResNet-101 и ResNet-50 [he2016deep] соответственно, мы также представили результаты, полученные с этими магистралями, в таблице 4. Как показано, значительные улучшения были достигнуты как для наборов данных ML-CUFED, так и для наборов данных PEC для всех магистральных сетей, в то время как MTResNet дает хороший компромисс между точностью и эффективностью.

      Таблица 4: Результаты распознавания событий для различных магистралей

      6.3.3 Сравнение заморозки магистрали

      Как описано в разделе 3.2

      , мы применили трансферное обучение из сети классификации изображений, заморозив ее параметры. В этом разделе мы исследуем влияние размораживания параметров сети кодировщика признаков изображения. В таблице

      5 сравниваются mAP, достигнутые с замораживанием параметров позвоночника и без него, и показано, что замороженный остов обеспечивает аналогичные или более высокие показатели распознавания. Следовательно наша гипотеза относительно перенос знаний из большого набора данных подтверждено, в дополнение к практическим преимуществам экономии параметров и вычислений.

      Таблица 5: Результаты распознавания событий с замороженными и незамороженными магистралями

      6.3.4 Набор данных перед обучением

      Потребность в трансферном обучении и наборе данных, используемом для предварительного обучения, широко обсуждалась в предыдущих работах [ahmad2016hierarchical] , [guo2017multigranular] , [ahsan2017complex] , в которых даже объединялись ансамбли сетей, предварительно обученных на разных типах наборов данных. - набор данных объектов, наборы данных сцен и дополнительные наборы данных. Мы решили использовать набор данных Open Images V6 9.1708 [OpenImages]

      , поскольку он включает 19 957 различных классов уровня изображения, как низкоуровневых объектов, так и высокоуровневых описаний. Мы сравнили наши результаты предварительной подготовки на ImageNet

      [deng2009imagenet] и на ImageNet21K [ridnik2021imagenet] . Как и следовало ожидать, таблица 6 показывает, что использование Image-Net-1K в качестве набора данных перед обучением действительно дает худшие результаты по сравнению с другими. OpenImages, но это также демонстрирует, что эта конфигурация также выигрывает от архитектуры трансформаторов.

      Таблица 6: Результаты распознавания событий для различных наборов данных перед поездкой, набор данных ML-CUFED

      6.3.5 Потеря нескольких меток

      Набор данных ML-CUFED [Wang_17_BMVC]

      представляет собой набор данных с несколькими метками и 23 классами. Для обучения модели классификации с несколькими метками мы активировали каждый выходной логит независимой сигмоидной функцией. Одной из основных проблем в задачах классификации с несколькими метками является высокий дисбаланс между отрицательными и положительными значениями. Поэтому мы приняли асимметричные потери (ASL), предложенные в

      [ben2020aсимметричный] для динамического управления весом положительных и отрицательных условий потерь. В таблице 7

      мы сравнили результаты mAP, полученные с тремя различными функциями потерь для классификации с несколькими метками. Мы обнаружили, что ASL лучше подходит для нашей задачи, и использовали его во всех наших экспериментах.

      Таблица 7: Результаты распознавания событий для различных потерь с несколькими метками, набор данных ML-CUFED

      6.3.6 Выборка и позиционное кодирование

      Существует несколько вариантов выборки изображений, необходимых для нашего решения. Для выборки кадров видео [shair2021image] собственный выбор — однородная упорядоченная выборка. Однако в личном альбоме частота захваченных изображений не фиксирована и известна как видео. Промежутки времени между фотографиями могут варьироваться от секунд до часов. Это значительно снижает суть порядка следования поскольку во многих случаях между изображениями нет временной связи. Следовательно, при отборе проб только небольшой части события случайная выборка может подойти так же, как и равномерная выборка. Чтобы разрешить расширение альбома во время обучения, мы выбрали выборку со случайными перестановками. Так как количество альбомов невелико - 565, 807, 1887, моделирование дополненных альбомов имеет некоторый потенциал обобщения. Позиционное кодирование может иметь значение положения, если оно вычисляется на основе временной метки исходного изображения. Когда временная метка недоступна, позиционное кодирование используется только для расширения альбома. В таблице 8 показано изучение различных подходов к выборке и подтверждается наша гипотеза.

      Таблица 8: Результаты распознавания событий для различных методов выборки изображений, набор данных ML-CUFED

      7 Заключение

      Распознавание событий в личных фотоальбомах — это высокоуровневая семантическая задача, которая включает в себя как низкоуровневое, так и высокоуровневое понимание содержимого изображений, а также агрегацию изображений альбомов.