Возможна доставка транспортной компанией по России.

 Внимание!!!

На странице:12244896

• Механизмы под заказ

  Если Вы не нашли нужную запчасть, выберите данный раздел. Можете отправить нам фото на почту.

   

  1500 руб

• Механизм подъема кровати 503

  Механизм подъема кровати. Угол подъема 36 или 43 градуса, в зависимости от длинны газлифта. Цена за комплект.

   

  1600 руб

• Механизм подъема 502

  Механизм для кровати. Удобный доступ к бельевому ящику. Угол подъема 57 градусов. Комплектуется газлифтами отдельно. Цена за комплект.

   

  1600 руб

• Механизм подъема Летто 142

  Механизм для подъема кровати с использованием газлифтов. Угол подъема 40°. Газлифты приобретаются отдельно.

   

  1700 руб

• Механизм подъема 556

  Увеличенный угол подъема при небольших размерах механизма. Цена за комплект.

   

  1500 руб

• Механизм 150-1

  Механизм имеет три положения (сидя, полусидя, лёжа)

   

  1500 руб

• Механизм 542

  Механизм для поднятия подлокотника, который имеет несколько положений. Цена за комплект.

   

  600 руб

• Механизм 403

  Механизм подъема обеспечивает удобный доступ к бельевому ящику. В комплекте механизма идет 4 пружины

   

  1500 руб

• Механизм Цинк

  Механизм для диванов Аккордеон на деревянном основании.

   

  1700 руб

• Замок NSM для механизма Клик Кляк (Цинк)

  Замок для дивана «Клик-кляк» фиксируется внутри ящика для белья. Имеет положения — сидя, полусидя и лежа. Изготовлен из стали 3 мм. В отличие от крашенного замка имеет свойство оставлять следы трения в коробе дивана в виде металлической крошки. Цена за ко

   

  1500 руб

• Механизм Трансформации 320

  Используется для диванов типа Клик кляк. Механизм более мощный, позволяет использовать тяжелые и высокие матрасы. Цена указана за комплект.

   

  3000 руб

• Механизм КБ 605

  Механизм используется в корпусной мебели. Небольшой механизм может удерживать до 20 кг динамической нагрузки. Цена указана за комплект.

   

  500 руб

• Микролифт 524

  Используется для подъема сидения на кухонных уголках. На данном механизме не стоят пружины. Угол подъема 90 градусов.

   

  500 руб

• Механизм трещетка

  Используется для подъема спинки дивана с зафиксированным местом для сидения.

   

  2100 руб

• Механизм Дельфин 126

  Серия Дельфин, размер большой.Требует изготовления выкатного короба. За счет своего размера можно увеличить спальное место.

   

  1400 руб

• Механизм крокодил

  Материал сталь. Механизм для зацепа двух деталей и притяжения к друг другу.

   

  500 руб

• Механизм дельфин 413

  Механизм для дивана типа «Дельфин». Классический вариант удобства и простоты. Усиленный механизм без стопора.

   

  1500 руб

• Механизм Венеция 405

  Механизм Венеция 405 для выкатных диванов. Не требует изготовления выкатного короба.

   

  1600 руб

• Замок АТС Россия

  Замок АТС обеспечивает свободный доступ к бельевому ящику, фиксируя сидение в верхнем положении, и дает возможность, не собирая диван, опустить рамку в исходное положение.

   

  800 руб

• Механизм для подъема тахты №509

  В комплект входит правая, левая сторона механизма и две пружины. Если требуются дополнительные пружины, укажите это в комментарии к заказу.

   

  1300 руб

• Механизм Пума 578

  Механизм трансформации дивана, шагающий «Пума» №578. В комплекте правый и левый механизм и пружины, цвет серый.

   

  2900 руб

• Механизм 290

  Одна из разновидностей механизмов «книжка». Используется на деревянных каркасах.

   

  1300 руб

• Механизм Юниор

  Механизм Юниор позволяет с легкостью трансформировать кресло в спальное место. Раскладывание происходит вытягиванием сиденья на себя и спинка ложится на место сиденья.

   

  1600 руб

• Мелкие запчасти

  Если интересуют мелкие запчасти перейдите на вкладку «Мелкие запчасти для диванов и кроватей»

   

  100 руб

Если Вы не нашли нужный механизм, позвоните нам и мы поможем!!!

8-800-350-43-09 (Звонок по России бесплатный)

Механизмы трансформации диванов бывают разных видов, это может быть механизм поворота, «Змейка», «Финка», «Еврокнижка», роликовые опоры, штыри, петли, зацепы, классический «Дельфин», «Венеция», «Версаль», «Тик-так», «Пума», «Пантограф», «Аккордеон», «Клик-Кляк», уголок опорный. Так же в наличии есть газлифты для кровати.

Если Вы собрались сделать двуспальную кровать с подъемным механизмом своими руками, то идеальным механизмом для кровати будет №503, если вес кровати до 80 кг вместе с матрасом, то потребуются газлифты на 800 N.

Механизмы трансформации диванов – выкатные, раскладывающиеся диваны и не только

Механизмы трансформации диванов

Существуют много критериев оценки удобства дивана. В этой статье мы рассмотрим функциональность, а именно какие способы раскладки диванов существуют, достоинства и недостатки, на что стоит обратить внимание при покупке.

Вначале определимся, что такое механизм трансформации дивана. Часто используют и другое название — механизм раскладывания дивана.

Под этими названиями скрывается элемент , который преобразует диван в различные формы и положения. Например, диван из сидячего положения превращается в диван-кровать или в диван для «релакса» с частично откинутой спинкой.

По принципу действия все механизмы трансформации диванов можно условно разделить на три группы: раскладные, выкатные, и разворачивающиеся (диваны-раскладушки).

Раскладные диваны

Название раскладных диванов говорит само за себя: они именно раскладываются. К ним относятся такие механизмы трансформации как «Книжка», «Клик кляк». Раскладывающиеся диваны компактны и способны удачно вписаться даже в небольшое помещение.

Книжка

В разложенном состоянии диван напоминает раскрытую книгу — отсюда и название. «Книжка» имеет два положения: для сидения и для сна. Снизу есть вместительный ящик для белья. Единственный недостаток такой конструкции — стоящий у стены диван нужно слегка отодвинуть, чтобы разложить.

Клик-кляк

«Клик-кляк» — тоже диван-книжка, но имеющий некоторые конструктивные особенности. Название он получил из-за характерного звука, который механизм издает при трансформации. В отличие от «книжки», диван имеет три положения: разложенное, сидячее и промежуточное, которое называют «релакс». Хорош и для сна, и для отдыха. Большинство моделей имеют ящик для белья.

Выкатные диваны

И здесь всё понятно: чтобы разложить диван, необходимо потянуть и выкатить его основание.

Еврокнижка

Еврокнижка — простой, долговечный и надежный механизм. Раскладывается очень просто: нижняя часть дивана выкатывается вперед на роликах по направляющим, а спинка укладывается на освободившееся место. Диван идеален для ежедневного сна: спальное место получается большим и ровным. Поднятая спинка открывает вместительный бельевой ящик. Особый плюс — диван не нужно отодвигать от стены для того, чтобы разложить.

Тик-так

«Тик-так» — та же самая «еврокнижка», только нижняя часть не выкатывается на роликах, а слегка приподнимается, вытягивается на себя с помощью пружинного механизма и ставится на пол. Такая конструкция не царапает пол и не оставляет следов на покрытии.

Дельфин

У диванов с механизмами «Дельфин»под основным сиденьем скрывается дополнительный потайной блок. Именно его мы вытягиваем и поднимаем до уровня основного сиденья, чтобы получить кровать. В разложенном виде получается просторное спальное место. Из недостатков — в прямых версиях диванов нет ящиков для белья.

Тройной трансформер

Механизм Тройной трансформер считается самым прочным механизмом, т.к. рассчитан на частые трансформации, на ежедневное использование.

Выкатной механизм трансформации состоит из трех частей. В упакованном виде передняя часть механизма находится в спинке дивана, и выдвигается на место головы во время трансформации.

Средняя часть механизма в упакованном виде находится под подушкой. Самая же первая часть механизма, на которую после трансформации ложатся ваши ноги, представляет собой рамочную конструкцию и в упакованном виде находится во внешней стороне средней части.

Механизм приводится в действие выдвижением как раз этой передней части, которая тянет за собой остальные две части с помощью системы роликов и кронштейнов.

Диваны-раскладушки

Здесь всё просто: внутри дивана, под его сиденьем, прячется настоящая раскладушка. Вся разница только в том, как она вынимается и раскладывается.

Аккордеон

Просто, надежно и оригинально — так можно описать механизм «Аккордеон». Спальное место получается ровным и удобным, а простой механизм позволяет раскладывать диван-аккордеон ежедневно в течение долгого времени. Для того, чтобы разложить диван, достаточно слегка поднять и потянуть на себя сиденье. Диван выпрямляется и превращается в удобную кровать.

Французская раскладушка (Спартак)

В французской раскладушке под сиденьем спрятана обыкновенная, сложенная втрое, раскладушка. Для того, чтобы извлечь и раскрыть ее, необходимо убрать с дивана подушки и само сиденье, после чего слегка потянуть на себя и разложить. Конструкция проста и надежна.

Спартак — по сути, это более прочная французская раскладушка, дополненная сварной металлической решеткой. Такой вид раскладывания диванов совместно разработали российские и итальянские мастера. Такая мебель очень хорошо подходит для сна. Конструкция механизма обеспечивает длинное спальное место.

Седафлекс (Американская раскладушка)

Внутри дивана спрятана двойная раскладная конструкция с ортопедическим матрасом. Толстый матрас сглаживает неровности и сочленения, поэтому на таком диване можно спать ежедневно. Минус — негде хранить постельное бельё, на ночь необходимо убирать подушки и сиденья.

Что выбрать?

В качестве итога можно определить, чем хорош каждый механизм и о чем следует помнить при выборе:

Книжка — низкая цена, быстрым способом раскладывания, вместительный ящик для белья. Расстояние от спинки до стены должно быть не менее 10 см., для раскладывания необходимо приложить усилия.

Клик-кляк — компактность, комфортабельное спальное место, за счёт использования ламелей получается ортопедический эффект, можно отрегулировать подлокотники под индивидуальные потребности. Диван нельзя прислонять близко к стене, спальное место располагается там же, где и место для сидения.

Еврокнижка — наиболее надёжный механизм, вместительный ящик для белья, нет необходимости двигать диван каждый раз при раскладывании, подходит для узких комнат. Модели без колес могут царапать пол.

Тик-так (пума, пантограф) — не взаимодействует с полом, оснащен бельевым отсеком, не нужно двигать при раскладывании. Для раскладывания требуется приложить больше усилий, чем в «еврокнижке».

Дельфин — самый просторный, легкость в раскладке. Нет ящика для хранения белья.

Тройной трансформер (ТТ) — надёжный механизм, можно использовать ежедневно, компактный объём, есть ящик для белья, комфортно спать. Диван очень тяжёлый сам по себе из-за массивного механизма, но раскладывать его не сложно.

Аккордеон — надёжный и устойчивый механизм, продолжительный срок службы дивана, лёгкость трансформации. Нет встроенного места для белья, выкатной тип механизма может стать причиной царапин на напольном покрытии.

Французская раскладушка (Спартак) — прочность и долговечность механизма, лёгкость в использовании, в качестве кровати можно использовать часто, удобное спальное место. Нет места для хранения белья, прежде, чем разложить диван, с него нужно убрать подушки.

Седафлекс (Американская раскладушка) — очень удобный механизм, очень компактный, удобный качественный толстый матрас. Нет ящика для вещей.

При покупке любого дивана обязательно осматривайте его механизм раскладывания, консультируйтесь по этому поводу с продавцом, задавайте вопросы и требуйте на них ответы.

От правильного механизма очень сильно зависит срок службы дивана и удобство его использования. Если диван будет раскладываться редко, то стоит обратить внимание на модели компактные, но не предназначенные для частой трансформации.

The Illustrated Transformer — Джей Аламмар — Визуализация машинного обучения по одной концепции за раз.

Обсуждения: Hacker News (65 баллов, 4 комментария), Reddit r / MachineLearning (29 баллов, 3 комментария)
Переводы: Испанский, Китайский (упрощенный), Корейский, Русский, Китайский (Упрощенный), Французский, Японский
Смотреть: лекция MIT по теме «Глубокое обучение», ссылка на которую имеется в этой публикации

В предыдущем посте мы рассмотрели «Внимание» — повсеместный метод в современных моделях глубокого обучения.Внимание — это концепция, которая помогла повысить производительность приложений нейронного машинного перевода. В этом посте мы рассмотрим The Transformer — модель, которая привлекает внимание для повышения скорости обучения этих моделей. Трансформеры превосходят модель нейронного машинного перевода Google в определенных задачах. Однако самое большое преимущество заключается в том, что The Transformer поддается распараллеливанию. Фактически, Google Cloud рекомендует использовать The Transformer в качестве эталонной модели для использования своего предложения Cloud TPU.Итак, давайте попробуем разбить модель на части и посмотрим, как она работает.

Трансформатор был предложен в статье «Внимание — это все, что вам нужно». Его реализация в TensorFlow доступна как часть пакета Tensor2Tensor. Группа НЛП из Гарварда создала руководство с аннотациями к статье с использованием PyTorch. В этом посте мы попытаемся немного упростить вещи и представить концепции одну за другой, чтобы, надеюсь, облегчить понимание людям без глубоких знаний предмета.

2020 Обновление : Я создал видео «Рассказанный трансформер», в котором более мягкий подход к теме:

Взгляд высокого уровня

Давайте начнем с рассмотрения модели как единого черного ящика. В приложении машинного перевода оно берет предложение на одном языке и выводит его перевод на другом.

Раскрывая эту доброту Оптимуса Прайма, мы видим компонент кодирования, компонент декодирования и связи между ними.

Компонент кодирования представляет собой стек кодировщиков (на бумаге шесть из них складываются друг на друга — в числе шесть нет ничего волшебного, можно определенно поэкспериментировать с другими компоновками). Компонент декодирования представляет собой стек декодеров с одинаковым числом.

Все кодировщики идентичны по структуре (но у них нет общих весов). Каждый из них разбит на два подслоя:

Входные данные кодировщика сначала проходят через слой самовнимания — слой, который помогает кодировщику смотреть на другие слова во входном предложении, когда он кодирует определенное слово.Позже мы подробнее рассмотрим самовнимание.

Выходные данные слоя самовнимания передаются в нейронную сеть с прямой связью. Точно такая же сеть прямой связи независимо применяется к каждой позиции.

В декодере есть оба этих уровня, но между ними есть уровень внимания, который помогает декодеру сосредоточиться на соответствующих частях входного предложения (аналогично тому, что делает внимание в моделях seq2seq).

Использование тензоров в картине

Теперь, когда мы рассмотрели основные компоненты модели, давайте приступим к рассмотрению различных векторов / тензоров и того, как они перемещаются между этими компонентами, чтобы превратить входные данные обученной модели в выходные данные.

Как и в случае с приложениями НЛП в целом, мы начинаем с превращения каждого входного слова в вектор с помощью алгоритма встраивания.

Встраивание происходит только в самый нижний кодировщик. Абстракция, которая является общей для всех кодировщиков, заключается в том, что они получают список векторов, каждый из которых имеет размер 512. В нижнем кодировщике это будет слово embeddings, но в других кодировщиках это будет выход кодировщика, который находится непосредственно под .Размер этого списка — это гиперпараметр, который мы можем установить — в основном это будет длина самого длинного предложения в нашем наборе обучающих данных.

После встраивания слов в нашу входную последовательность каждое из них проходит через каждый из двух уровней кодировщика.

Здесь мы начинаем видеть одно ключевое свойство преобразователя, а именно то, что слово в каждой позиции проходит свой собственный путь в кодировщике. Между этими путями на уровне самовнимания есть зависимости.Однако уровень прямой связи не имеет этих зависимостей, и, таким образом, различные пути могут выполняться параллельно при прохождении через слой прямой связи.

Затем мы заменим пример более коротким предложением и посмотрим, что происходит на каждом подуровне кодировщика.

Теперь мы кодируем!

Как мы уже упоминали, кодировщик получает на вход список векторов. Он обрабатывает этот список, передавая эти векторы в слой «самовнимания», затем в нейронную сеть с прямой связью, а затем отправляет выходные данные вверх следующему кодировщику.

Самовнимание на высоком уровне

Не обманывайтесь, когда я использую слово «самовнимание», как будто это понятие должно быть знакомо каждому. Я лично никогда не сталкивался с этой концепцией до тех пор, пока не прочитал статью «Все, что вам нужно». Давайте разберемся, как это работает.

Скажем, следующее предложение является вводным предложением, которое мы хотим перевести:

” Животное не переходило улицу, потому что слишком устало ”

Что означает «оно» в этом предложении? Имеется в виду улица или животное? Это простой вопрос для человека, но не такой простой для алгоритма.

Когда модель обрабатывает слово «оно», самовнимание позволяет ей ассоциировать «это» с «животным».

По мере того, как модель обрабатывает каждое слово (каждую позицию во входной последовательности), самовнимание позволяет ей смотреть на другие позиции во входной последовательности в поисках подсказок, которые могут помочь улучшить кодирование этого слова.

Если вы знакомы с RNN, подумайте, как поддержание скрытого состояния позволяет RNN включать свое представление предыдущих слов / векторов, которые она обработала, с текущим, который она обрабатывает. Самовнимание — это метод, который Трансформер использует для «запекания» других релевантных слов в словах, которые мы обрабатываем в данный момент.

Обязательно ознакомьтесь с записной книжкой Tensor2Tensor, где вы можете загрузить модель Transformer и изучить ее с помощью этой интерактивной визуализации.

Внимание к себе в деталях

Давайте сначала посмотрим, как вычислить самовнимание с помощью векторов, а затем перейдем к рассмотрению того, как это на самом деле реализовано — с помощью матриц.

Первый шаг при вычислении самовнимания — создать три вектора из каждого входного вектора кодировщика (в данном случае — вложение каждого слова).Итак, для каждого слова мы создаем вектор запроса, вектор ключа и вектор значения. Эти векторы создаются путем умножения вложения на три матрицы, которые мы обучили в процессе обучения.

Обратите внимание, что эти новые векторы меньше по размерности, чем вектор внедрения. Их размерность составляет 64, в то время как векторы ввода / вывода встраивания и кодировщика имеют размерность 512. Они НЕ ДОЛЖНЫ быть меньше, это выбор архитектуры, позволяющий сделать вычисление многогранного внимания (в основном) постоянным.

Что такое векторы «запроса», «ключа» и «значения»?

Это абстракции, которые полезны для вычисления внимания и размышления о нем. После того, как вы перейдете к прочтению того, как рассчитывается внимание ниже, вы будете знать почти все, что вам нужно знать о роли каждого из этих векторов.

Второй шаг в вычислении самовнимания — это подсчет баллов. Предположим, мы рассчитываем самовнимание для первого слова в этом примере «Мышление». Нам нужно сопоставить каждое слово входного предложения с этим словом. Оценка определяет, сколько внимания следует уделять другим частям входного предложения, когда мы кодируем слово в определенной позиции.

Оценка рассчитывается как скалярное произведение вектора запроса на ключевой вектор соответствующего слова, которое мы оцениваем.Итак, если мы обрабатываем самовнимание для слова в позиции №1, первая оценка будет скалярным произведением q1 и k1. Вторая оценка будет скалярным произведением q1 и k2.

Третий и четвертый этапы заключаются в разделении оценок на 8 (квадратный корень из размерности ключевых векторов, используемых в статье — 64. Это приводит к получению более стабильных градиентов. Здесь могут быть и другие возможные значения, но это значение по умолчанию), затем передайте результат через операцию softmax.Softmax нормализует оценки, чтобы все они были положительными и в сумме составляли 1.

Эта оценка softmax определяет, насколько каждое слово будет выражено в этой позиции. Очевидно, что слово в этой позиции будет иметь наивысший балл softmax, но иногда полезно обратить внимание на другое слово, имеющее отношение к текущему слову.

Пятый шаг — это умножение каждого вектора значений на оценку softmax (при подготовке к их суммированию). Интуиция здесь состоит в том, чтобы сохранить неизменными значения слов, на которых мы хотим сосредоточиться, и заглушить не относящиеся к делу слова (умножив их на крошечные числа, такие как 0.001, например).

Шестой этап заключается в суммировании векторов взвешенных значений. Это дает результат слоя самовнимания в этой позиции (для первого слова).

На этом расчет самовнимания завершен. Результирующий вектор — это тот, который мы можем отправить в нейронную сеть с прямой связью. Однако в реальной реализации этот расчет выполняется в матричной форме для более быстрой обработки. Итак, давайте посмотрим на это теперь, когда мы увидели интуицию вычисления на уровне слов.

Матрица расчета самовнимания

Первым шагом является вычисление матриц запроса, ключа и значения. Мы делаем это, упаковывая наши вложения в матрицу X и умножая ее на матрицы весов, которые мы обучили (WQ, WK, WV).

Наконец, , поскольку мы имеем дело с матрицами, мы можем объединить шаги со второго по шестой в одну формулу для вычисления выходных данных слоя самовнимания.

Многоголовый зверь

В статье дополнительно усовершенствован слой самовнимания, добавлен механизм, называемый «многоголовым» вниманием. Это улучшает производительность слоя внимания двумя способами:

1. Расширяет способность модели фокусироваться на разных позициях. Да, в приведенном выше примере z1 содержит немного любой другой кодировки, но в ней может преобладать само слово.Было бы полезно, если бы мы переводили предложение вроде «Животное не перешло улицу, потому что оно слишком устало», мы хотели бы знать, к какому слову «оно» относится.

2. Он дает слою внимания несколько «подпространств представления». Как мы увидим далее, с многоголовым вниманием у нас есть не только один, но и несколько наборов весовых матриц запроса / ключа / значения (преобразователь использует восемь головок внимания, поэтому мы получаем восемь наборов для каждого кодировщика / декодера). . Каждый из этих наборов инициализируется случайным образом.Затем, после обучения, каждый набор используется для проецирования входных вложений (или векторов из нижних кодировщиков / декодеров) в другое подпространство представления.

Если мы проделаем тот же расчет самовнимания, который мы описали выше, всего восемь раз с разными весовыми матрицами, мы получим восемь разных Z-матриц

Это оставляет нам небольшую проблему.Слой прямой связи не ожидает восьми матриц — он ожидает единственную матрицу (вектор для каждого слова). Итак, нам нужен способ сжать эти восемь в единую матрицу.

Как мы это делаем? Мы объединяем матрицы, а затем умножаем их на дополнительную матрицу весов WO.

Вот и все, что нужно для многоглавого самовнимания. Я понимаю, что это довольно много матриц. Позвольте мне попытаться объединить их все в один визуальный ряд, чтобы мы могли рассматривать их в одном месте

Теперь, когда мы коснулись головок внимания, давайте вернемся к нашему предыдущему примеру, чтобы увидеть, на чем фокусируются различные головы внимания, когда мы кодируем слово «оно» в нашем примере предложения:

Однако, если мы добавим к изображению все внимание, интерпретировать вещи будет сложнее:

Представление порядка последовательности с использованием позиционного кодирования

В модели, которую мы описали до сих пор, отсутствует одна вещь, так это способ учесть порядок слов во входной последовательности.

Чтобы решить эту проблему, преобразователь добавляет вектор к каждому встраиванию входа. Эти векторы следуют определенному шаблону, который модель изучает, что помогает ей определять положение каждого слова или расстояние между разными словами в последовательности.Интуиция здесь заключается в том, что добавление этих значений к вложениям обеспечивает значимые расстояния между векторами встраивания, когда они проецируются в векторы Q / K / V и во время внимания скалярного произведения.

Если мы предположим, что вложение имеет размерность 4, фактическое позиционное кодирование будет выглядеть так:

Как мог бы выглядеть этот узор?

На следующем рисунке каждая строка соответствует позиционному кодированию вектора.Таким образом, первая строка будет вектором, который мы добавим к встраиванию первого слова во входной последовательности. Каждая строка содержит 512 значений — каждое от 1 до -1. Мы присвоили им цветовую кодировку, чтобы узор был виден.

Формула позиционного кодирования описана в статье (раздел 3.5). Вы можете увидеть код для генерации позиционных кодировок в get_timing_signal_1d () . Это не единственный возможный метод позиционного кодирования. Однако это дает преимущество возможности масштабирования до невидимой длины последовательностей (например, если нашу обученную модель просят перевести предложение длиннее, чем любое из предложений в нашем обучающем наборе).

Июль 2020 Обновление: Позиционное кодирование, показанное выше, взято из реализации Transformer2Transformer. Метод, показанный в статье, немного отличается тем, что он не соединяет напрямую, а переплетает два сигнала. На следующем рисунке показано, как это выглядит. Вот код для его создания:

Остатки

Одна деталь в архитектуре кодера, которую мы должны упомянуть, прежде чем двигаться дальше, заключается в том, что каждый подуровень (самовнимание, ffnn) в каждом кодере имеет остаточное соединение вокруг себя, за которым следует этап нормализации уровня. .

Если мы визуализируем векторы и операцию уровня-нормы, связанную с самовниманием, это будет выглядеть так:

Это также относится к подуровням декодера. Если мы представим себе преобразователь из двух стековых кодировщиков и декодеров, он будет выглядеть примерно так:

Сторона декодера

Теперь, когда мы рассмотрели большинство концепций кодировщика, мы в основном знаем, как работают компоненты декодеров.Но давайте посмотрим, как они работают вместе.

Кодер запускает обработку входной последовательности. Затем выходной сигнал верхнего кодера преобразуется в набор векторов внимания K и V. Они должны использоваться каждым декодером на его уровне «внимание кодер-декодер», который помогает декодеру сосредоточиться на соответствующих местах во входной последовательности:

Следующие шаги повторяют процесс до тех пор, пока не будет достигнут специальный символ, указывающий, что декодер трансформатора завершил свой вывод. Выходные данные каждого шага поступают в нижний декодер на следующем временном шаге, и декодеры выводят свои результаты декодирования так же, как это сделали кодеры. И так же, как мы поступили с входами кодировщика, мы встраиваем и добавляем позиционное кодирование к этим входам декодера, чтобы указать положение каждого слова.

Слои самовнимания в декодере работают немного иначе, чем в кодировщике:

В декодере слой самовнимания может обращать внимание только на более ранние позиции в выходной последовательности.Это делается путем маскирования будущих позиций (установка для них значений -inf ) перед шагом softmax при вычислении самовнимания.

Слой «Внимание кодировщика-декодера» работает так же, как многоголовое самовнимание, за исключением того, что он создает свою матрицу запросов из нижележащего уровня и берет матрицу ключей и значений из выходных данных стека кодировщика.

Последний слой Linear и Softmax

Стек декодера выводит вектор с плавающей запятой. Как превратить это в слово? Это работа последнего слоя Linear, за которым следует слой Softmax.

Линейный слой — это простая полносвязная нейронная сеть, которая проецирует вектор, созданный стеком декодеров, в гораздо более крупный вектор, называемый вектором логитов.

Предположим, что наша модель знает 10 000 уникальных английских слов («выходной словарь» нашей модели), которые она выучила из набора обучающих данных. Это сделало бы вектор логитов шириной 10 000 ячеек — каждая ячейка соответствует количеству уникального слова. Вот как мы интерпретируем вывод модели, за которой следует линейный слой.

Затем слой softmax превращает эти оценки в вероятности (все положительные, все в сумме дают 1,0). Выбирается ячейка с наибольшей вероятностью, и слово, связанное с ней, создается в качестве выходных данных для этого временного шага.

Итоги обучения

Теперь, когда мы рассмотрели весь процесс прямого прохода через обученный преобразователь, было бы полезно взглянуть на интуицию обучения модели.

Во время обучения неподготовленная модель должна пройти точно такой же прямой проход. Но поскольку мы обучаем его на помеченном наборе обучающих данных, мы можем сравнить его выходные данные с фактическими правильными выходными данными.

Чтобы наглядно это представить, предположим, что наш выходной словарь содержит только шесть слов («а», «я», «я», «спасибо», «ученик» и «» (сокращение от «конец предложения») ).

Как только мы определим наш выходной словарь, мы можем использовать вектор той же ширины для обозначения каждого слова в нашем словаре. Это также называется горячим кодированием. Так, например, мы можем обозначить слово «am» с помощью следующего вектора:

После этого резюме, давайте обсудим функцию потерь модели — метрику, которую мы оптимизируем на этапе обучения, чтобы привести к обученной и, надеюсь, удивительно точной модели.

Функция потерь

Допустим, мы обучаем нашу модель. Допустим, это наш первый шаг на этапе обучения, и мы обучаем его на простом примере — переводе слова «мерси» в «спасибо».

Это означает, что мы хотим, чтобы на выходе было распределение вероятностей с указанием слова «спасибо». Но поскольку эта модель еще не обучена, это вряд ли произойдет.

Как сравнить два распределения вероятностей? Мы просто вычитаем одно из другого. Для получения дополнительных сведений см. Кросс-энтропию и расхождение Кульбака – Лейблера.

Но учтите, что это упрощенный пример. Более реалистично, мы будем использовать предложение длиннее одного слова. Например — ввод: «je suis étudiant» и ожидаемый результат: «я студент».На самом деле это означает, что мы хотим, чтобы наша модель последовательно выводила распределения вероятностей, где:

• Каждое распределение вероятностей представлено вектором ширины vocab_size (6 в нашем игрушечном примере, но более реалистично число вроде 30 000 или 50 000)
• Первое распределение вероятностей имеет наивысшую вероятность в ячейке, связанной со словом «i»
• Второе распределение вероятностей имеет самую высокую вероятность в ячейке, связанной со словом «am»
• И так далее, пока пятое выходное распределение не укажет символ « <конец предложения> », с которым также связана ячейка из словаря из 10 000 элементов.

После обучения модели в течение достаточного времени на достаточно большом наборе данных мы надеемся, что полученные распределения вероятностей будут выглядеть так:

Теперь, поскольку модель производит выходные данные по одному, мы можем предположить, что модель выбирает слово с наибольшей вероятностью из этого распределения вероятностей и отбрасывает остальные. Это один из способов (называемый жадным декодированием). Другой способ сделать это — удержаться, скажем, за два верхних слова (например, «I» и «a»), а затем на следующем шаге запустить модель дважды: однажды предполагая, что первая выходная позиция была слово «I», и в другой раз, предполагая, что первой выходной позицией было слово «a», и какая бы версия ни вызвала меньше ошибок, учитывая обе позиции №1 и №2, сохраняется.Мы повторяем это для позиций №2 и №3… и т. Д. Этот метод называется «поиск луча», где в нашем примере beam_size было два (это означает, что всегда две частичные гипотезы (незавершенные переводы) сохраняются в памяти), а top_beams также равно двум (это означает, что мы вернем два перевода. ). Это оба гиперпараметра, с которыми вы можете поэкспериментировать.

Двигайтесь вперед и трансформируйте

Я надеюсь, что вы нашли это полезным местом, чтобы начать ломать голову над основными концепциями Трансформера.Если вы хотите углубиться, я бы посоветовал следующие шаги:

Доработка:

Благодарности

Благодарим Илью Полосухина, Якоба Ушкорейта, Ллиона Джонса, Лукаша Кайзера, Ники Пармар и Ноама Шазира за отзывы о более ранних версиях этого поста.

Пожалуйста, напишите мне в Твиттер, чтобы я получил любые исправления или отзывы.

, конструкция, типы, применение

Большинство электронных схем, используемых в настоящее время.com имеют разные применения трансформатора. Поэтому важно знать принцип работы, конструкцию и типы трансформаторов, используемых в различных аналоговых схемах.

Что такое трансформатор?

Трансформатор можно определить как статическое устройство, которое помогает в преобразовании электроэнергии в одной цепи в электроэнергию той же частоты в другой цепи. Напряжение в цепи можно повышать или понижать, но с пропорциональным увеличением или уменьшением номинального тока.В этой статье мы узнаем об основах работы трансформатора

Основным принципом работы трансформатора является взаимная индуктивность двух цепей, связанных общим магнитным потоком. Базовый трансформатор состоит из двух катушек, которые электрически разделены и индуктивны, но связаны магнитным полем через сопротивление. Принцип работы трансформатора можно понять из рисунка ниже.

Как показано выше, электрический трансформатор имеет первичную и вторичную обмотки. Пластины сердечника соединены в виде полос, между полосами вы можете видеть, что есть узкие зазоры прямо через поперечное сечение сердечника. Эти смещенные суставы называются «черепичными». Обе катушки имеют высокую взаимную индуктивность. Взаимная электродвижущая сила индуцируется в трансформаторе из-за переменного потока, который создается в многослойном сердечнике, из-за катушки, которая подключена к источнику переменного напряжения.Большая часть переменного потока, создаваемого этой катушкой, связана с другой катушкой и, таким образом, создает взаимно индуцированную электродвижущую силу. Произведенная таким образом электродвижущая сила может быть объяснена с помощью законов электромагнитной индукции Фарадея как

e = M * dI / dt

Если цепь второй катушки замкнута, в ней протекает ток и, таким образом, электрическая энергия передается магнитным путем от первой ко второй катушке.

Подача переменного тока подается на первую катушку, поэтому ее можно назвать первичной обмоткой.Энергия отбирается из второй катушки и, таким образом, может называться вторичной обмоткой.

Вкратце, трансформатор выполняет следующие операции:

1. Передача электроэнергии из одной цепи в другую.
2. Передача электроэнергии без изменения частоты.
3. Передача с принципом электромагнитной индукции.
4. Две электрические цепи связаны взаимной индукцией.

Для простой конструкции трансформатора вам понадобятся две катушки с взаимной индуктивностью и многослойный стальной сердечник.Обе катушки изолированы друг от друга и от стального сердечника. Устройству также потребуется подходящий контейнер для собранного сердечника и обмоток, среда, с помощью которой можно изолировать сердечник и его обмотки от его контейнера.

Для изоляции и вывода выводов обмотки из резервуара необходимо использовать подходящие вводы, изготовленные из фарфора или конденсаторного типа.

Во всех трансформаторах, которые используются в коммерческих целях, сердечник изготовлен из листовой стали трансформатора, собранной для обеспечения непрерывного магнитного пути с минимальным воздушным зазором.Сталь должна иметь высокую проницаемость и низкие потери на гистерезис. Для этого сталь должна быть изготовлена ​​с высоким содержанием кремния и подвергаться термообработке. Эффективное ламинирование сердечника позволяет снизить вихретоковые потери. Ламинирование может быть выполнено с помощью тонкого слоя лака для стержневых плит или наложения оксидного слоя на поверхность. Для частоты 50 Гц толщина ламинирования варьируется от 0,35 мм до 0,5 мм для частоты 25 Гц.

Типы по дизайну

Типы трансформаторов различаются по способу размещения первичной и вторичной обмоток вокруг многослойного стального сердечника.По конструкции трансформаторы можно разделить на два:

В трансформаторе с сердечником обмотки подводятся к значительной части сердечника. Катушки, используемые в этом трансформаторе, имеют цилиндрическую намотку и имеют фасонную намотку. Такой тип трансформатора может применяться как для малогабаритных, так и для больших трансформаторов. В типе малого размера сердечник будет прямоугольной формы, а используемые катушки — цилиндрическими.На рисунке ниже показан шрифт большого размера. Вы можете видеть, что круглые или цилиндрические катушки намотаны таким образом, чтобы соответствовать крестообразной части сердечника. В случае круглых цилиндрических катушек они имеют значительное преимущество в виде хорошей механической прочности. Цилиндрические катушки будут иметь разные слои, и каждый слой будет изолирован от другого с помощью таких материалов, как бумага, ткань, микарта-картон и так далее. Общее расположение трансформатора с сердечником относительно сердечника показано ниже.Показаны обмотки как низкого (LV), так и высокого (HV) напряжения.

Обмотки низкого напряжения располагаются ближе к сердечнику, так как их легче всего изолировать. Эффективная площадь сердечника трансформатора может быть уменьшена за счет использования пластин и изоляции.

В трансформаторах оболочечного типа сердечник окружает значительную часть обмоток. Сравнение показано на рисунке ниже.

Катушки имеют формную намотку, но представляют собой многослойные диски, обычно намотанные в виде блинов. Бумага используется для изоляции различных слоев многослойных дисков. Вся обмотка состоит из дисков, уложенных друг на друга с изоляционными промежутками между катушками. Эти изоляционные пространства образуют горизонтальные охлаждающие и изолирующие каналы. Такой трансформатор может иметь форму простого прямоугольника или также может иметь распределенную форму. Обе конструкции показаны на рисунке ниже:

Сердечники и катушки трансформаторов должны быть усилены жесткими механическими связями.Это поможет свести к минимуму перемещение устройства, а также предотвратит повреждение изоляции устройства. Трансформатор с хорошей фиксацией не будет издавать гудящего шума во время работы, а также снизит вибрацию.

Для трансформаторов должна быть предусмотрена специальная площадка для размещения. Обычно устройство помещается в плотно пригнанные емкости из листового металла, заполненные специальным изоляционным маслом. Это масло необходимо для циркуляции через устройство и охлаждения змеевиков. Он также обеспечивает дополнительную изоляцию устройства, когда оно находится в воздухе.

Возможны случаи, когда гладкая поверхность бака не сможет обеспечить необходимую площадь охлаждения. В таких случаях борта бака гофрированы или собраны с радиаторами по бокам устройства. Масло, используемое для охлаждения, должно быть абсолютно свободным от щелочей, серы и, самое главное, влаги. Даже небольшое количество влаги в масле приведет к значительному изменению изоляционных свойств устройства, поскольку это в значительной степени снижает диэлектрическую прочность масла.

С математической точки зрения, присутствие примерно 8 частей воды на 1 миллион снижает изоляционные качества масла до значения, которое не считается стандартным для использования. Таким образом, резервуары защищены герметичным уплотнением в меньших единицах. При использовании больших трансформаторов герметичный метод реализовать практически невозможно. В таких случаях предусмотрены камеры для расширения и сжатия масла при повышении и понижении его температуры.

Эти сапуны образуют барьер и препятствуют контакту атмосферной влаги с маслом.Также следует проявлять особую осторожность, чтобы не кататься на санках. Сливание происходит, когда масло разлагается из-за чрезмерного воздействия кислорода во время нагрева. Это приводит к образованию больших отложений темного и тяжелого вещества, которые забивают охлаждающие каналы в трансформаторе.

Качество, долговечность и обращение с этими изоляционными материалами определяют срок службы трансформатора. Все выводы трансформатора выведены из корпусов через подходящие вводы. Существует множество их конструкций, их размер и конструкция в зависимости от напряжения на выводах.Фарфоровые вводы можно использовать для изоляции выводов трансформаторов, которые используются при умеренном напряжении. В трансформаторах высокого напряжения используются маслонаполненные или емкостные вводы.

Выбор между типом сердечника и оболочки производится путем сравнения стоимости, поскольку аналогичные характеристики могут быть получены от обоих типов. Большинство производителей предпочитают использовать трансформаторы кожухового типа для высоковольтных систем или для многообмоточных конструкций. По сравнению с сердечником, оболочка имеет большую среднюю длину витка катушки.Другими параметрами, которые сравниваются при выборе типа трансформатора, являются номинальное напряжение, номинальная сила тока в киловольтах, вес, напряжение изоляции, распределение тепла и т. Д.

также можно классифицировать по типу используемого охлаждения. Различные типы в соответствии с этой классификацией:

Типы трансформаторов по методу охлаждения

с масляным самоохлаждением используются распределительные трансформаторы малых и средних размеров.Собранные обмотки и сердечник таких трансформаторов устанавливаются в сварные маслонепроницаемые стальные резервуары, снабженные стальной крышкой. Резервуар заполняется очищенным высококачественным изоляционным маслом, как только сердечник возвращается на свое место. Масло помогает передавать тепло от сердечника и обмоток к корпусу, откуда оно излучается в окружающую среду.

Для трансформаторов меньшего размера резервуары обычно имеют гладкую поверхность, но для трансформаторов больших размеров требуется большая площадь теплового излучения, и это тоже без нарушения кубической емкости резервуара.Это достигается частым рифлением корпусов. Еще более крупные размеры снабжены радиацией или трубами.

Этот тип используется для гораздо более экономичного строительства больших трансформаторов, так как описанный выше метод с самоохлаждением очень дорог. Здесь используется тот же метод — обмотки и сердечник погружаются в масло. Единственное отличие состоит в том, что рядом с поверхностью масла установлен охлаждающий змеевик, через который холодная вода продолжает циркулировать.Эта вода уносит тепло от устройства. Эта конструкция обычно реализуется на трансформаторах, которые используются в высоковольтных линиях электропередачи. Самым большим преимуществом такой конструкции является то, что такие трансформаторы не требуют другого корпуса, кроме собственного. Это значительно снижает затраты. Еще одним преимуществом является то, что техническое обслуживание и осмотр этого типа требуется только один или два раза в год.

Этот тип используется для трансформаторов с напряжением ниже 25 000 вольт.Трансформатор помещен в коробку из тонкого листового металла, открытую с обоих концов, через которую воздух продувается снизу вверх.

Let,

N _A = Количество витков первичной обмотки

N _B = Количество витков вторичной обмотки

Ø _макс. = максимальный поток в сердечнике в перепонках = B _макс. X A

f = Частота переменного тока на входе в герцах (H _Z )

Как показано на рисунке выше, магнитный поток в сердечнике увеличивается от нулевого значения до максимального значения Ø _max за одну четверть цикла, то есть за частоты секунды.

Следовательно, средняя скорость изменения потока = Ø _макс. / ¼ f = 4f Ø _макс. Вт / с

Скорость изменения магнитного потока на виток означает наведенную электродвижущую силу в вольтах.

Следовательно, средняя индуцированная электродвижущая сила / оборот = 4f Ø _макс. вольт

Если поток Ø изменяется синусоидально, то среднеквадратичное значение наведенной ЭДС получается путем умножения среднего значения на коэффициент формы.

= среднеквадратичное значение. значение / среднее значение = 1.11

Следовательно, среднеквадратичное значение ЭДС / оборот = 1,11 X 4f Ø _макс. = 4,44f Ø _макс.

Теперь, среднеквадратичное значение наведенной ЭДС во всей первичной обмотке

= (наведенная ЭДС / оборот) X Количество витков первичной обмотки

Следовательно,

E _A = 4,44f N _A Ø _макс. = 4,44fN _A B _м A

Аналогично, среднеквадратичное значение наведенной ЭДС во вторичной обмотке равно

E _B = 4.44f N _B Ø _макс = 4,44fN _B B _м A

В идеальном трансформаторе без нагрузки,

В _A = E _A и V _B = E _B , где V _B — напряжение на клеммах

Из приведенных выше уравнений получаем

E _B / E _A = V _B / V _A = N _B / N _A = K

Эта постоянная K известна как коэффициент трансформации напряжения.

(1) Если N _B > N _A , то есть K> 1, то трансформатор называется повышающим трансформатором.

(2) Если N _B <1, то есть K <1, то трансформатор называется понижающим трансформатором.

Опять же идеальный трансформатор,

Вход В _A = выход В _A

V _A I _A = V _B I _B

Или, I _B / I _A = V _A / V _B = 1 / K

Следовательно, токи обратно пропорциональны коэффициенту трансформации (напряжения).

Применение трансформатора

Трансформаторы используются в большинстве электронных схем. У трансформатора всего 3 применения;

1. Для увеличения напряжения и тока.
2. Для понижения напряжения и тока
3. Чтобы предотвратить прохождение постоянного тока — трансформаторы могут пропускать только переменный ток, поэтому они полностью предотвращают прохождение постоянного тока в следующую цепь.

Но применение этих трех приложений бесконечно, поэтому они имеют место во многих схемах.

Создание трансформаторов для более длинных последовательностей с методами разреженного внимания

Модели обработки естественного языка (NLP), основанные на преобразователях, такие как BERT, RoBERTa, T5 или GPT3, успешно справляются с широким спектром задач и составляют основу современных исследований NLP. Универсальность и надежность Transformers являются основными драйверами их широкомасштабного внедрения, что приводит к тому, что их легко адаптировать для разнообразного спектра задач, основанных на последовательностях — в качестве модели seq2seq для перевода, обобщения, генерации и других, или в качестве модели автономный кодировщик для анализа настроений, тегов POS, понимания машинного чтения и т. д.Ключевым нововведением в Transformers является введение механизма самовнимания, который вычисляет оценки сходства для всех пар позиций во входной последовательности и может оцениваться параллельно для каждого токена входной последовательности, избегая последовательной зависимости от повторяющихся нейронных сетей. сетей и позволяя трансформаторам значительно превосходить предыдущие модели последовательностей, такие как LSTM.

Ограничение существующих моделей Transformer и их производных, однако, состоит в том, что механизм полного самовнимания требует вычислений и памяти, квадратичных по отношению к длине входной последовательности.При общедоступном текущем оборудовании и размерах моделей это обычно ограничивает входную последовательность примерно до 512 токенов и не позволяет напрямую применять Transformers к задачам, требующим большего контекста, таким как ответы на вопросы, обобщение документов или классификация фрагментов генома. Возникают два естественных вопроса: 1) Можем ли мы достичь эмпирических преимуществ квадратичных полных трансформаторов, используя разреженные модели с требованиями к вычислениям и памяти, которые масштабируются линейно с длиной входной последовательности? 2) Можно ли теоретически показать, что эти линейные трансформаторы сохраняют выразительность и гибкость квадратичных полных трансформаторов?

Мы обращаемся к обоим этим вопросам в недавней паре статей.В «ETC: Кодирование длинных и структурированных входов в трансформаторах», представленном на EMNLP 2020, мы представляем расширенную конструкцию трансформатора (ETC), которая представляет собой новый метод для рассеянного внимания, в котором используется структурная информация для ограничения количества вычисляемых пар. оценок сходства. Это уменьшает квадратичную зависимость от входной длины до линейной и дает сильные эмпирические результаты в области НЛП. Затем, в «Большой птице: преобразователи для более длинных последовательностей», представленной на NeurIPS 2020, мы представляем еще один метод разреженного внимания, называемый BigBird, который расширяет ETC на более общие сценарии, где предварительные знания предметной области о структуре, присутствующей в исходных данных, могут быть недоступны.Более того, мы также показываем, что теоретически предложенный нами механизм разреженного внимания сохраняет выразительность и гибкость квадратичных полных трансформеров. Предлагаемые нами методы позволяют достичь нового уровня в решении сложных задач, связанных с длинными последовательностями, включая ответы на вопросы, обобщение документов и классификацию фрагментов генома.

Внимание как график
Модуль внимания, используемый в моделях Transformer, вычисляет оценки сходства для всех пар позиций во входной последовательности.Механизм внимания полезно рассматривать как ориентированный граф, в котором токены представлены узлами, а оценка сходства вычисляется между парой токенов, представленной ребром. С этой точки зрения модель полного внимания представляет собой полный график. Основная идея, лежащая в основе нашего подхода, состоит в том, чтобы тщательно разрабатывать разреженные графы, чтобы можно было вычислить только линейное количество оценок сходства.

Расширенная конструкция трансформатора (ETC)
Для задач НЛП, требующих длинных и структурированных входных данных, мы предлагаем структурированный механизм разреженного внимания, который мы называем расширенной конструкцией трансформатора (ETC).Чтобы добиться структурированного распределения внимания к себе, мы разработали механизм глобального-локального внимания . Здесь вход в преобразователь разделен на две части: глобальный вход , , где токенам не ограничено внимание, и длинный вход , , где токены могут относиться только к глобальному входу или к локальному соседству. Таким образом достигается линейное масштабирование внимания, что позволяет ETC значительно масштабировать длину ввода.

Для дальнейшего использования структуры длинных документов ETC объединяет дополнительные идеи: представление позиционной информации токенов относительным образом, а не с использованием их абсолютного положения в последовательности; использование дополнительной цели обучения помимо обычной маскированной языковой модели (MLM), используемой в таких моделях, как BERT; и гибкое маскирование токенов, чтобы контролировать, какие токены могут обслуживать другие токены.Например, при длинном выделении текста к каждому предложению применяется глобальный токен, который соединяется со всеми токенами в предложении, а глобальный токен также применяется к каждому абзацу, который соединяется со всеми токенами в одном абзаце.

При таком подходе мы сообщаем о последних результатах в пяти сложных наборах данных НЛП, требующих длинных или структурированных входных данных: TriviaQA, Natural Questions (NQ) , HotpotQA , WikiHop и OpenKP .

BigBird
Расширяя работу ETC, мы предлагаем BigBird — механизм разреженного внимания, который также является линейным по количеству жетонов и является общей заменой механизма внимания, используемого в Transformers.В отличие от ETC, BigBird не требует каких-либо предварительных знаний о структуре исходных данных. Редкое внимание в модели BigBird состоит из трех основных частей:

• Набор глобальных токенов, относящихся ко всем частям входной последовательности
• Все токены, относящиеся к набору локальных соседних токенов
• Все жетоны, относящиеся к набору случайных жетонов

В статье BigBird мы объясняем, почему рассеянного внимания достаточно для аппроксимации квадратичного внимания, частично объясняя, почему ETC был успешным.Важное наблюдение заключается в том, что существует внутреннее противоречие между тем, сколько оценок сходства вычисляется, и потоком информации между разными узлами (то есть способностью одного токена влиять друг на друга). Глобальные токены служат каналом для информационного потока, и мы доказываем, что механизмы разреженного внимания с глобальными токенами могут быть такими же мощными, как и модель полного внимания. В частности, мы показываем, что BigBird столь же выразителен, как и оригинальный Transformer, универсален в вычислительном отношении (следуя работе Юна и др.и Perez et al.) и является универсальным приближением непрерывных функций. Кроме того, наше доказательство предполагает, что использование случайных графов может еще больше помочь облегчить поток информации, мотивируя использование компонента случайного внимания.

Этот дизайн масштабируется до гораздо большей длины последовательности как для структурированных, так и для неструктурированных задач. Дальнейшее масштабирование может быть достигнуто за счет использования контрольных точек градиента путем компромисса между временем обучения и длиной последовательности. Это позволяет нам расширить наши эффективные разреженные преобразователи, включив в них генеративные задачи, требующие кодировщика и декодера, такие как обобщение длинных документов, в которых мы достигаем нового уровня техники.

Более того, тот факт, что BigBird является универсальной заменой, также позволяет распространять ее на новые домены без ранее существовавших знаний о домене. В частности, мы представляем новое приложение моделей на основе Transformer, где полезны длинные контексты — извлечение контекстных представлений геномных последовательностей (ДНК).Благодаря более длительному предварительному обучению языковой модели с масками BigBird достигает высочайшего уровня производительности в последующих задачах, таких как прогнозирование промоторной области и прогнозирование профиля хроматина.

Основная идея реализации
Одним из основных препятствий на пути широкомасштабного внедрения скудного внимания является тот факт, что редкие операции довольно неэффективны в современном оборудовании. Как за ETC, так и за BigBird, одним из наших ключевых нововведений является эффективная реализация механизма рассеянного внимания.Поскольку современные аппаратные ускорители, такие как графические процессоры и TPU, превосходно используют операции объединенной памяти, которые загружают блоки смежных байтов одновременно, неэффективно иметь небольшие спорадические поиски, вызванные скользящим окном (для локального внимания) или запросами случайных элементов (случайные внимание). Вместо этого мы преобразуем разреженное локальное и случайное внимание в плотные тензорные операции, чтобы в полной мере использовать современные аппаратные средства с одной инструкцией и несколькими данными (SIMD).

Для этого мы сначала «блокируем» механизм внимания, чтобы лучше использовать графические процессоры / TPU, которые предназначены для работы с блоками.Затем мы преобразуем вычисление механизма разреженного внимания в плотный тензорный продукт с помощью ряда простых матричных операций, таких как изменение формы, вращение и сборка, как показано на анимации ниже.

Недавно «Арена дальнего действия: эталон для эффективных трансформаторов» предоставила эталонный тест из шести задач, требующих более длительного контекста, и провела эксперименты по тестированию всех существующих преобразователей дальнего действия.Результаты показывают, что модель BigBird, в отличие от своих аналогов, явно снижает потребление памяти без ущерба для производительности.

Заключение
Мы показываем, что тщательно разработанное рассеянное внимание может быть столь же выразительным и гибким, как исходная модель полного внимания. Наряду с теоретическими гарантиями мы обеспечиваем очень эффективную реализацию, которая позволяет нам масштабироваться на гораздо более длительные затраты. Как следствие, мы достигаем самых современных результатов при ответах на вопросы, обобщении документов и классификации фрагментов генома.Учитывая общий характер нашего скудного внимания, этот подход должен быть применим ко многим другим задачам, таким как синтез программ и ответы на вопросы в открытой предметной области. Мы открыли исходный код как для ETC (github), так и для BigBird (github), оба из которых эффективно работают для длинных последовательностей как на графических процессорах, так и на TPU.

Выражение признательности
Это исследование стало результатом сотрудничества с Амром Ахмедом, Джошуа Эйнсли, Крисом Альберти, Вацлавом Цвичеком, Авинавой Дубей, Закари Фишером, Гуру Гуруганешем, Сантьяго Онтаньоном, Филипом Фамом, Анирудх Равангулой, Кьюфангом Санитаном , Манзил Захир, соавтор статей EMNLP и NeurIPS.

Бесконечное использование конечных средств! — Мостафа Дехгани,

 Спасибо Stephan Gouws за его помощь в написании и улучшении этого сообщения в блоге. 

недавно стали конкурентоспособной альтернативой RNN для ряда задач моделирования последовательности. Они устраняют существенный недостаток RNN, то есть их по своей сути последовательное вычисление , которое предотвращает распараллеливание между элементами входной последовательности, в то же время решая проблему исчезающих градиентов через механизм самовнимания.

Фактически, Трансформеры полностью полагаются на механизм самовнимания для вычисления серии контекстно-зависимых представлений символов в векторном пространстве во входных данных (см. Это сообщение в блоге, чтобы узнать больше о деталях Трансформера). Это приводит к двум основным свойствам трансформаторов:

• Прямое распараллеливание : Нет соединений по времени, как в случае с RNN, что позволяет полностью распараллелить посимвольные вычисления.
• Глобальное восприимчивое поле : представление каждого символа напрямую зависит от представлений всех других символов (в отличие от e.грамм. сверточные архитектуры, которые обычно имеют ограниченное поле восприятия).

Хотя трансформаторы продолжают добиваться значительных улучшений во многих задачах, у них есть некоторые недостатки:

• Преобразователь не является полным по Тьюрингу : Хотя преобразователь выполняет общее количество операций, масштабируемых с размером входных данных, количество последовательных операций постоянно и не зависит от размера входных данных, определяемых исключительно количеством слоев. Предполагая конечную точность, это означает, что Трансформатор не может быть универсальным в вычислительном отношении.Интуитивным примером являются функции, выполнение которых требует последовательной обработки каждого входного элемента. В этом случае для любого заданного выбора глубины T можно построить входную последовательность длиной N> T , которая не может быть правильно обработана преобразователем:

• Отсутствие условных вычислений: Преобразователь применяет одинаковый объем вычислений ко всем входам (а также ко всем частям одного входа). Однако не для всех входных данных требуется одинаковый объем вычислений, и это может быть обусловлено сложностью входных данных.

Универсальные трансформаторы (УТ) устраняют эти недостатки. В следующих частях мы поговорим больше о UT и его свойствах.

: модель параллельной-рекуррентной последовательности

Универсальный трансформатор является расширением моделей трансформаторов, которые объединяют распараллеливание и глобальное поле восприятия модели трансформатора с рекуррентным индуктивным смещением N , который, по-видимому, лучше подходит для ряда алгоритмических задач и задач понимания естественного языка от последовательности к последовательности.Кроме того, как следует из названия, в отличие от стандартного трансформатора, при определенных допущениях можно показать, что универсальный трансформатор универсальный в вычислительном отношении .

Как работает UT?

В стандартном трансформаторе у нас есть «фиксированный» стек блоков трансформатора, где каждый блок применяется ко всем входным символам параллельно. Однако в универсальном преобразователе вместо фиксированного количества слоев мы итеративно применяем блок универсального преобразователя (механизм самовнимания, за которым следует рекуррентное преобразование) для уточнения параллельных представлений всех позиций в последовательности, за произвольное количество шагов (что возможно из-за повторяемости).

Фактически, Universal Transformer — это повторяющаяся функция (не по времени, а по глубине), которая развивает скрытые состояния каждого символа параллельно, основываясь на каждом шаге на последовательности предыдущих скрытых состояний.В этом смысле UT похож на такие архитектуры, как Neural GPU и Neural Turing Machine. Это дает UT привлекательной вычислительной эффективностью оригинальной модели трансформатора с прямой связью, но с добавленным рекуррентным индуктивным смещением RNN.

Обратите внимание, что при работе с фиксированным числом шагов универсальный трансформатор эквивалентен многослойному трансформатору со связанными параметрами на всех уровнях.

Универсальный трансформатор с динамической остановкой

В системах обработки последовательности некоторые символы (например,грамм. некоторые слова или фонемы) обычно более неоднозначны, чем другие. Следовательно, для этих более неоднозначных символов разумно выделить больше ресурсов обработки.

Как указывалось ранее, стандартный преобразователь применяет одинаковое количество вычислений (фиксированное количество слоев) ко всем символам на всех входах. Для решения этой проблемы универсальный преобразователь с динамической остановкой модулирует количество вычислительных шагов, необходимых для динамической обработки каждого входного символа, на основе скалярного значения , которое прогнозируется моделью на каждом шаге.Значения для размышления — это в некотором смысле оценка модели того, сколько дальнейших вычислений требуется для входных символов на каждом этапе обработки.

Универсальный трансформатор с динамической остановкой использует механизм адаптивного времени вычисления (ACT), который изначально был предложен для RNNS, чтобы обеспечить условное вычисление.

Точнее, универсальный трансформатор с динамической остановкой добавляет механизм динамической остановки ACT к каждой позиции входной последовательности.Как только повторяющийся блок для каждого символа останавливается (что указывает на достаточное количество ревизий для этого символа), его состояние просто копируется на следующий шаг, пока все блоки не остановятся или мы не достигнем максимального количества шагов. Конечный результат кодировщика — это последний уровень представлений, созданных таким образом:

Универсальность и связь с другими моделями

В отличие от стандартного трансформатора, который не может быть универсальным в вычислительном отношении, поскольку количество последовательных операций постоянно, мы можем выбрать количество шагов как функцию длины входа в универсальном трансформаторе. Это справедливо независимо от того, используется ли адаптивное время вычисления или нет, но предполагает непостоянное, даже если возможно детерминированное, количество шагов. Обратите внимание, что , динамическое изменение количества шагов после обучения возможно в универсальных преобразователях, поскольку модель разделяет веса между своими последовательными шагами вычислений.

При достаточном объеме памяти универсальный трансформатор является универсальным в вычислительном отношении — то есть он принадлежит к классу моделей, которые могут использоваться для моделирования любой машины Тьюринга (вы можете проверить это сообщение в блоге на тему «Что такое полнота Тьюринга?»).

Чтобы показать это, мы можем уменьшить Neural GPU (который является Turing Complete) до универсального преобразователя: давайте проигнорируем декодер и параметризуем модуль самовнимания (то есть самовнимание с остаточной связью) как функцию идентичности.Теперь предположим, что функция перехода представляет собой свертку. Затем, если мы установим общее количество повторяющихся шагов T равным длине ввода, мы получим точно Neural-GPU.

Обратите внимание, что последний шаг — это то, чем универсальный преобразователь принципиально отличается от обычного преобразователя, глубина которого не может динамически масштабироваться с размером входа. Аналогичные отношения существуют между универсальным преобразователем и нейронной машиной Тьюринга, чьи отдельные операции чтения / записи на шаг могут быть выражены глобальными версиями параллельного представления Универсального преобразователя.

Отличная особенность универсального трансформатора заключается в том, что он не только теоретически привлекателен (полный Тьюринг), но и в отличие от других вычислительно универсальных моделей, таких как Neural-GPU, которые хорошо работают только с алгоритмическими задачами, универсальный трансформатор также достигает конкурентоспособных результатов на реалистичных задачи на естественном языке, такие как LAMBADA и машинный перевод. Это сокращает разрыв между практическими моделями последовательностей, конкурентоспособными для крупномасштабных задач, таких как машинный перевод, и вычислительно универсальными моделями, такими как нейронные графические процессоры.

Универсальные преобразователи для понимания и рассуждения языка

Мы применили Universal Transformer к множеству алгоритмических задач и разнообразному набору крупномасштабных задач понимания языка. Эти задачи были выбраны потому, что они сложны в разных аспектах. Например, для задач bAbI, отвечающих на вопросы и логических рассуждений с 1k обучающими выборками, требуется эффективных моделей данных , которые способны выполнять многоэтапные рассуждения. Аналогично, набор алгоритмических задач, таких как копирование, обратное, сложение и т. Д.предназначены для оценки возможностей модели обобщения длины (путем обучения на коротких примерах и оценки на гораздо более длинных примерах). Задача согласования подлежащего и глагола требует моделирования иерархической структуры , которая требует повторяющегося индуктивного смещения. LAMBADA — это сложная задача языкового моделирования, которая требует захвата широкого контекста . И, наконец, МП — очень важная масштабная задача, которая является одним из стандартных тестов для оценки моделей языковой обработки.Результаты по всем этим задачам представлены в статье.

Здесь мы просто приводим некоторый анализ задачи «Вопрос-ответ bAbI» в качестве примера. В заданиях bAbI цель состоит в том, чтобы ответить на вопрос с учетом ряда фактов, образующих историю. Цель состоит в том, чтобы измерить различные формы понимания языка, требуя определенного типа рассуждений по лингвистическим фактам, представленным в каждой истории.

Стандартный трансформатор не дает хорошего обобщения для этой задачи, как бы сильно вы ни настраивали гиперпараметры и модель.Тем не менее, мы можем разработать модель на основе универсального трансформатора, которая обеспечивает самые современные результаты (SOTA) на bAbI. Чтобы закодировать ввод, мы сначала кодируем каждый факт в истории, применяя изученную мультипликативную позиционную маску к встраиванию каждого слова, а затем суммируя все вложения. Затем мы таким же образом вставляем вопросы и кормим UT этими вставками фактов и вопросов. Оба UT с / без динамической остановки достигают результатов SOTA с точки зрения средней ошибки и количества неудачных задач как в режиме обучения 10K, так и в режиме 1K.

Вот визуализация распределения внимания по нескольким шагам обработки UT в одном из примеров из набора тестов в задаче 2:

Пример из задачи 2 : (требуется два подтверждающих факта для решения)

Рассказ:

 Джон пошел в коридор. 
 Джон вернулся в ванную. 
 Джон взял там молоко. 
 Сандра вернулась в офис. 
 Сандра прошла на кухню.
 Сандра принесла яблоко. Сандра уронила яблоко туда. Джон уронил молоко. 

Вопрос:

 Где молоко? 

Выпуск модели:

 ванная 

Визуализация распределения внимания при кодировании вопроса: «Где молоко?» .

В этом примере и фактически в большинстве случаев распределение внимания начинается очень равномерно, но на последующих этапах становится все более резким (пиковым) вокруг правильных подтверждающих фактов, которые требуются для ответа на каждый вопрос, что действительно очень похоже. к тому, как люди решат задачу (т.е. от крупного до мелкого).

Вот визуализация времени обдумывания каждого символа для входной выборки, обработанной UT с адаптивной остановкой:

Как видно, сеть учится больше обдумывать соответствующие факты по сравнению с фактами в истории, которая не поддерживает ответ на вопрос.

Рекуррентное индуктивное смещение, эффективность данных и понятие состояния в глубине

Следуя интуиции, лежащей в основе распределения веса в CNN и RNN, UT расширяют трансформатор с помощью простой формы распределения веса модели, которая обеспечивает эффективный баланс между индуктивным смещением и выразительностью модели .

Распределение весов в глубине сети приводит к повторению в модели. Эта повторяющаяся индуктивная предвзятость, по-видимому, имеет решающее значение для изучения универсальных решений некоторых задач, например тех, которые требуют моделирования иерархической структуры входных данных или фиксации зависимостей в более широком контексте. Помимо этого факта, глубокое разделение веса приводит к лучшей производительности UT (по сравнению со стандартным Transformer) на очень маленьких наборах данных и позволяет UT быть очень эффективной моделью данных, что делает ее привлекательной для областей и задач с ограниченными доступными данными. .

Был проведен длинный путь исследований RNN, и многие работы следовали идее повторения во времени для улучшения обработки последовательностей. UT — это повторяющаяся модель, в которой повторение происходит глубоко, а не во времени. Итак, есть понятие состояния в глубине модели, и одним из интересных направлений является , чтобы взять идеи, которые работают для RNN, «перевернуть их по вертикали» и посмотреть, могут ли они помочь улучшить поток информации в глубине модели. Например, мы можем углубленно ввести память / состояние с шлюзами забывания, просто используя LSTM в качестве функции повторяющегося перехода:

Многие из этих идей уже реализованы и готовы к изучению (например, проверьте UT с LSTM в качестве функции перехода здесь).

Что еще узнать?

Код , используемый для обучения и оценки универсальных трансформаторов, можно найти здесь:

https://github.com/tensorflow/tensor2tensor

Код для обучения, а также для визуализации времени внимания и размышления задач bAbI можно найти здесь:

https://github.com/MostafaDehghani/bAbI-T2T

Более подробную информацию о модели, а также результаты и анализ по всем задачам можно найти в документе:

• М.Дехгани, С. Гоус, О. Виньялс, Дж. Ушкорейт и Л. Кайзер. «Универсальные трансформаторы ». Международная конференция по обучающим представлениям (ICLR’19).

«запросов», «ключей» и «значений» снова и снова — Data Science Blog

Это третья статья из моей серии статей под названием «Инструкции по преобразователю для людей, не относящихся к области НЛП, но с примерами НЛП. . »

В прошлой статье я объяснил, как механизм внимания работает в простых моделях seq2seq с RNN, и он в основном вычисляет соответствия скрытого состояния на каждом временном шаге со всеми выходами кодировщика.Однако я бы сказал, что механизмы внимания моделей RNN seq2seq используют только один стандарт для их сравнения. Для понимания языков недостаточно использовать только один стандарт, особенно когда вы изучаете иностранный язык. Иногда бывает трудно объяснить, как перевести слово с вашего языка на другой язык. Даже если пара языков очень похожа друг на друга, их перевод не может быть простым переключением словарного запаса. Обычно один токен на одном языке связан с несколькими токенами на другом языке, и наоборот.То, как они соотносятся друг с другом, зависит от нескольких критериев, например, «что», «кто», «когда», «где», «почему» и «как». Легко представить, что нужно сравнивать токены по нескольким критериям.

была впервые представлена ​​в оригинальной статье под названием «Внимание — все, что вам нужно», и из названия вы можете легко увидеть, что механизм внимания играет важную роль в этой модели. Когда вы узнаете о модели Transformer, вы увидите рисунок ниже, который используется в оригинальной статье о Transformer.Это упрощенная общая структура одного слоя модели трансформатора, и вы складываете этот слой N раз. В одном слое Transformer есть три multi-head focus , которые отображаются в виде прямоугольников оранжевого цвета. Это те самые части, которые сравнивают токены по нескольким стандартам. Я сделал главу этой серии статей, вдохновившись этим механизмом внимания с несколькими головами.

Рисунок ниже также взят из оригинальной статьи о компании Transfromer. Если вы можете понять, как работает механизм многоголового внимания, с объяснениями в документе, и если у вас нет проблем с пониманием кодов в официальном руководстве по Tensorflow, я должен сказать, что эта статья не для вас.Однако я уверен, что это не так для большинства людей, и мне нужна по крайней мере одна статья, чтобы четко объяснить, как работает внимание с несколькими головами. Имейте в виду, что в этой статье рассматриваются только архитектуры, представленные на двух рисунках ниже. Однако механизмы внимания с несколькими головами являются важными компонентами модели Transformer, и на протяжении всей этой статьи вы не только увидите, как они работают, но и получите некоторый контроль над ними на уровне реализации.

1 Механизм многоголового внимания

При изучении модели Transformer рекомендую в первую очередь обратить внимание на многоголовое внимание.И когда вы изучаете многоголовое внимание, прежде чем увидеть, что такое масштабированное скалярное внимание, вы должны понять всю структуру многоголового внимания, которая представлена ​​в правой части рисунка выше. Как я сказал в прошлой статье, чтобы подсчитать внимание с помощью «запроса», «вы сравниваете« запрос »с« ключами »и получаете баллы / веса для« значений ». Каждый балл / вес вкратце соответствие между «запросом» и каждым «ключом». И вы повторно взвешиваете «значения» с помощью оценок / весов и суммируете повторно взвешенные «значения».«Рано или поздно вы заметите, что я буду просто повторять эти фразы снова и снова на протяжении всей статьи, разными способами.

* Даже если вы не уверены, что означает «переориентация» в данном контексте, продолжайте читать. Я думаю, вы постепенно поймете, что это значит, особенно в следующем разделе.

Общий процесс вычисления внимания нескольких голов, показанный на рисунке выше, выглядит следующим образом (пожалуйста, продолжайте читать. Пожалуйста, не думайте слишком много.): Сначала вы разделяете V: «значения», K: «ключи» , и Q: «запросы», а во-вторых, вы преобразуете эти разделенные «значения», «ключи» и «запросы» с помощью плотно связанных слоев («Линейный» на рисунке).Затем вы вычисляете веса внимания и повторно взвешиваете «значения», суммируете повторно взвешенные «значения» и объединяете полученные суммы. В конце вы передаете сцепленные «значения» через другие плотно связанные слои. Механизм масштабированного внимания с помощью скалярного продукта — это просто вопрос того, как конкретно рассчитать это внимание и переоценить «ценности».

* В прошлой статье я кратко упомянул, что «ключи» и «запросы» могут быть на одном языке.Они могут даже быть одним и тем же предложением на одном языке, и в этом случае результирующее внимание называется самовниманием , которое мы в основном увидим. Я думаю, что большинство людей подсчитывают «внимание к себе» бессознательно, когда они говорят. Вы постоянно заботитесь о том, что «она», «это», «то» или «то» относится к вашему собственному предложению, и мы можем сказать, что самовнимание — это то, как реализуются эти повседневные процессы.

Давайте рассмотрим весь процесс расчета внимания с несколькими головами на небольшом абстрактном уровне.С этого момента мы рассмотрим пример расчета самовнимания с несколькими головами, в котором вводится предложение: «Энтони Хопкинс восхищался Майклом Бэем как великим режиссером». В этом примере количество токенов равно 9, и каждый токен кодируется как 512-мерный вектор внедрения. И количество голов — 8. В этом случае, как вы можете видеть на рисунке ниже, вводное предложение «Энтони Хопкинс восхищался Майклом Бэем как великим режиссером». реализован в виде матрицы. Сначала вы разбиваете каждый жетон на размерность, всего 8 векторов, как я раскрасил на рисунке ниже.Другими словами, входная матрица разделена на 8 цветных блоков, которые являются матрицами, но каждая цветная матрица выражает одно и то же предложение. И вы вычисляете самовнимание входного предложения независимо в 8 заголовках, и вы повторно взвешиваете «ценности» в соответствии с вниманием / весами. После этого вы складываете сумму повторно взвешенных «значений» в каждой цветной головке и объединяете уложенные друг на друга жетоны каждой цветной головы. Размер каждого цветного фрагмента не меняется даже после изменения веса токенов.По словам Ашиша Васвани, изобретателя модели Transformer, каждый руководитель сравнивает «запросы» и «ключи» по каждому стандарту. Если модель Transformer имеет 4 слоя с 8-головками и несколькими головками, по крайней мере, у ее кодировщика есть головки, поэтому кодировщик изучает отношения токенов ввода по 32 различным стандартам.

Думаю, теперь у вас есть приблизительное представление о том, как рассчитывать внимание нескольких голов. В следующем разделе я собираюсь объяснить процесс изменения веса токенов, то есть, наконец, я собираюсь объяснить, что собой представляют эти красочные линии на изображении головы в этой серии статей.

* Каждая голова инициализируется случайным образом, поэтому они учатся сравнивать токены с разными критериями. Стандарты могут быть простыми, например, «что» или «кто», или, возможно, намного более сложными. В механизмах внимания при глубоком обучении вам не нужна функциональная инженерия для установления таких стандартов.

2 Расчет внимания и переоценка «ценностей»

Если вы прочитали последнюю статью или если вы в какой-то степени понимаете механизм внимания, вы уже должны знать, что механизм внимания рассчитывает внимание или релевантность между «запросами» и «ключами».В прошлой статье я показал идею весов как гистограммы, и в этом случае «запрос» был скрытым состоянием декодера на каждом временном шаге, тогда как «ключи» были выходными данными кодировщика. В этом разделе я собираюсь объяснить механизм внимания более абстрактным образом, и мы рассмотрим сравнение более общих «токенов», а не конкретных выходов определенных сетей. В этом разделе каждый обозначает токен, который на практике обычно является вектором внедрения.

Пожалуйста, запомните эту мантру механизма внимания: «вы сравниваете« запрос »с« ключами »и получаете баллы / веса для« значений ».Короче говоря, каждая оценка / вес — это релевантность между «запросом» и каждым «ключом». И вы повторно взвешиваете «значения» с помощью оценок / весов и суммируете повторно взвешенные «значения» ». На рисунке ниже показан обзор случая, когда «Майкл» является запросом. В этом случае вы сравниваете запрос с «ключами», то есть с введенным предложением «Энтони Хопкинс восхищался Майклом Бэем как великим режиссером». и вы получите гистограмму внимания / веса. Важно отметить, что сумма весов 1. С учетом только что рассчитанного внимания вы можете повторно взвесить «значения», которые также обозначают то же входное предложение.После этого вы можете, наконец, суммировать повторно взвешенные значения. И вы пользуетесь этим суммированием.

* Я повторял фразу «повторное взвешивание« ценностей »с вниманием», но на практике вы вычисляете сумму этих повторно взвешенных «ценностей».

Предположим, что по сравнению с токеном «запроса» «Майкл», веса «ключевых» токенов «Энтони», «Хопкинс», «восхищаются», «Майкл», «Бэй», «как», «а», «Отлично» и «режиссер». равны соответственно 0,06, 0,09, 0,05, 0,25, 0,18, 0,06, 0,09, 0.06, 0,15. В этом случае сумма повторно взвешенного токена составляет 0,06 ″ Энтони »+ 0,09 ″ Хопкинса» + 0,05 ″ восхищенных »+ 0,25 ″ Майкла» + 0,18 ″ Залива »+ 0,06 ″ as» + 0,09 ″ a »+ 0,06 ″ великих» 0,15. ″ Директор. ”, И эта сумма — то, что мы на самом деле используем.

* Конечно, на практике токены являются встраиваемыми векторами. Вы вычисляете повторно взвешенный вектор в реальной реализации.

Вы повторяете этот процесс для всех «запросов». Как вы можете видеть на рисунке ниже, вы получаете суммирование 9 пар повторно взвешенных «значений», потому что вы используете каждый токен входного предложения «Энтони Хопкинс восхищался Майклом Бэем как великим режиссером.»Как« запрос ». Вы складываете сумму повторно взвешенных «значений», как матрица, выделенная пурпурным цветом на рисунке ниже, и это результат работы одной головы с несколькими головами.

3 Произведение с точками

Этот раздел посвящен только линейной алгебре. Может быть, это даже не так сложно, как линейная алгебра. Вам просто нужно выполнить множество операций, подобных Excel. Учебник по Transformer от Джея Аламмара также является очень хорошим учебным материалом для понимания этой темы с более простыми примерами.Я старался изо всех сил, чтобы вы могли четко понимать внимание нескольких голов на более математическом уровне, и все, что вам нужно знать, чтобы прочитать этот раздел, — это как вычислить произведения матриц или векторов, которые вы увидите в первых страницы учебников по линейной алгебре.

Мы видели, что для расчета внимания с несколькими головами мы подготовили 8 пар «запросов», «ключей» и «значений», которые я показал 8 разными цветами на рисунке в первом разделе. Мы вычисляем внимания и повторно взвешиваем «ценности» независимо в 8 разных заголовках, и в каждом заголовке повторно взвешенные «значения» вычисляются с помощью этой очень простой формулы масштабированного скалярного произведения:.Давайте рассмотрим пример вычисления масштабированного скалярного произведения в синей головке.

В левой части рисунка ниже приведен рисунок из оригинальной статьи о Трансформаторе, который объясняет внимание одной головы несколькими головами. Если вы уже прочитали эту статью, рисунок справа будет более понятным. Вы делите входное предложение на 8 частей матриц и независимо складываете эти фрагменты в восемь заголовков. В одном заголовке вы преобразуете входную матрицу тремя различными полностью связанными слоями, что на рисунке ниже «Линейно», и подготавливаете три матрицы, которые являются «запросами», «ключами» и «значениями» соответственно.

* Вне зависимости от того, в какой цветовой головке находится внимание, все процессы одинаковы.

* Вы делите на в формуле. Согласно исходной статье известно, что изменение масштаба на значение оказалось эффективным. Я не буду обсуждать в этой статье, почему.

Как вы можете видеть на рисунке ниже, вычисление фактически представляет собой просто умножение трех матриц одинакового размера (хотя транспонируется только K). Результирующая матрица — это результат работы головы.

рассчитывается, как показано на рисунке ниже.Функция softmax упорядочивает каждую строку масштабированного продукта, и результирующая матрица представляет собой своего рода тепловую карту самовнимания.

Процесс сравнения одного «запроса» с «ключами» выполняется простым умножением вектора и матрицы, как вы можете видеть на рисунке ниже. Вы можете получить гистограмму внимания для каждого запроса, и результирующий 9-мерный вектор представляет собой список внимания / веса, который представляет собой список синих кружков на рисунке ниже. Это означает, что в модели Transformer вы можете сравнивать «запрос» и «ключ» только путем вычисления внутреннего продукта.После повторного масштабирования векторов путем их деления и регуляризации с помощью функции softmax вы складываете эти векторы, и сложенные векторы представляют собой тепловую карту внимания.

Вы можете изменить вес «ценностей» с помощью тепловой карты самовнимания с помощью простого умножения. Было бы проще, если бы вы рассматривали транспонированное масштабированное скалярное произведение. Это также должно быть легко понять, если вы знаете основы линейной алгебры.

Один столбец результирующей матрицы () может быть вычислен простым умножением матрицы на вектор, как вы можете видеть на рисунке ниже.Это соответствует процессу «суммирования повторно взвешенных« значений »», который я повторял. И я хотел бы, чтобы вы запомнили, что вы получили эти (синие) кружки с весами, сравнивая «запрос» с «ключами».

Снова и снова давайте вместе повторять мантру механизма внимания: «вы сравниваете« запрос »с« ключами »и получаете баллы / веса для« значений ». Каждая оценка / вес вкратце — это релевантность между« запросами ». ‘и каждый’ ключ ‘. И вы повторно взвешиваете «значения» с помощью оценок / весов и суммируете повторно взвешенные «значения».«Если вы проявили достаточно терпения, чтобы следовать моим объяснениям, держу пари, у вас есть четкое представление о том, как работает механизм многоголового внимания.

Мы видели случай с синей головой, но вы можете выполнять одни и те же процедуры в каждой голове в одно и то же время, и это то, что позволяет распараллеливать механизм внимания с несколькими головами. Вы объединяете выходные данные всех головок и пропускаете объединенную матрицу через полностью связанные слои.

Если вы читаете эту статью с самого начала, я думаю, что этот раздел также демонстрирует ту же идею, которую я повторил, и держу пари, что более или менее у вас нет более четкого представления о том, как работает механизм многоголового внимания.В следующем разделе мы увидим, как это реализовано.

4 Реализация многоголового внимания Tensorflow

Давайте посмотрим, как множественное внимание реализовано в официальном руководстве Tensorflow. Если вы уже прочитали эту статью, это не должно быть так сложно. Я также добавил коды для отображения тепловых карт внимания к себе. С помощью кодов на этой странице Github вы можете отображать тепловые карты самовнимания для любых вводимых предложений на английском языке.

Механизм многоголового внимания реализован, как показано ниже.Если вы в какой-то мере разбираетесь в кодах Python и Tensorflow, я думаю, что эта часть относительно проста. Часть внимания с несколькими головами реализована как класс, потому что вам нужно тренировать веса некоторых полностью связанных слоев. Тогда как масштабируемое скалярное произведение — это просто функция.

* Я собираюсь объяснить функции create_padding_mask () и create_look_ahead_mask () в следующих статьях. На этот раз они вам не понадобятся.

Давайте рассмотрим случай использования механизма внимания с несколькими головами на входном тензоре размером (1, 9, 512), который мы рассматривали в этой статье.Первая ось (1, 9, 512) соответствует размеру пакета, поэтому этот тензор фактически представляет собой тензор размера (9, 512), и это означает, что входные данные состоят из 9 512-мерных векторов. В приведенных ниже результатах вы можете увидеть, как изменяется форма входного тензора после каждой процедуры вычисления внимания с несколькими головами. Также вы можете видеть, что вывод многоголового внимания такой же, как и ввод, и вы получаете матрицу тепловых карт внимания каждой головы внимания.

Я полагаю, что наиболее сложной частью этой реализации выше является функция split_head (), особенно если вы не понимаете тензорную арифметику.Эта часть соответствует разделению входного тензора на 8 матриц разного цвета, как на одном из рисунков выше. Если вы не можете понять, что происходит в функции, я рекомендую вам подготовить образец тензора, как показано ниже.

Это простой тензор размера (1, 9, 512) с последовательными целыми элементами. Первая строка (1, 2,…., 512) соответствует первому входному токену, а (4097, 4098,…, 4608) — последнему. Вам следует попробовать преобразовать этот образец тензора, чтобы увидеть, как реализовано внимание нескольких голов.Например, вы можете попробовать описанные ниже действия.

Эти операции соответствуют разделению ввода на 8 голов, все размеры которых равны (9, 64). А вторая ось полученного (1, 8, 9, 64) тензора соответствует индексу голов. Таким образом, sample_sentence [0] [0] соответствует первому заголовку, синей матрице. Некоторые функции Tensorflow позволяют выполнять линейные вычисления в каждой голове внимания независимо, как в приведенных ниже кодах.

Очень важно, что мы рассматривали только случаи вычисления самовнимания, когда все «запросы», «ключи» и «значения» исходят из одного предложения на одном языке.Однако, как я показал в прошлой статье, обычно «запросы» написаны на другом языке, нежели «ключи» и «значения» в задачах перевода, а «ключи» и «значения» — на одном языке. И, как вы понимаете, обычно «запросы» имеют разное количество токенов от «ключей» или «значений». Вы также должны понять этот случай, который не учитывает самовнимание. Если вы до сих пор читали эту статью, этот случай для вас не так уж и сложен. Давайте вкратце рассмотрим пример, в котором входное предложение на исходном языке состоит из 9 токенов, а выходное — из 12 токенов.

Как я уже упоминал, одним из выходных данных каждого класса внимания с несколькими головами является матрица тепловых карт внимания, которые я отображал в виде матрицы, состоящей из синих кружков в последнем разделе. Для реализации в официальном руководстве Tensorflow я добавил коды для отображения фактических тепловых карт любых вводимых предложений на английском языке.

* Если вы хотите попробовать отобразить их самостоятельно, загрузите или просто скопируйте и вставьте коды на этой странице Github. Пожалуйста, создайте каталог «наборов данных» в том же каталоге, что и код.Загрузите «spa-eng.zip» с этой страницы и разархивируйте его. После этого поместите «spa.txt» в каталог «datasets». Кроме того, загрузите папку «checkpoints_en_es» по этой ссылке и поместите ее в тот же каталог, что и файл на странице Github. В следующих статьях вам понадобятся аналогичные процессы для запуска моих кодов.

После запуска кодов на странице Github вы можете отображать тепловые карты самовнимания. Давайте введем предложение: «Энтони Хопкинс восхищался Майклом Бэем как великим режиссером.«Вы получите такую ​​тепловую карту.

Фактически, моя игрушечная реализация не может обрабатывать имена собственные, такие как «Энтони» или «Майкл». Затем давайте рассмотрим простое предложение: «Он восхищался ею как великим режиссером». На каждом слое вы соответственно получаете 8 тепловых карт самовнимания.

Я думаю, что мы видим некоторые тенденции на этих тепловых картах. Тепловые карты на ранних слоях, которые близки к входу, размыты. И распределения тепловых карт более или менее концентрируются по диагонали.В конце, предположительно, они учатся обращать внимание на начало и конец предложения.

Вы наконец-то дочитали эту статью. Поздравляю.

Вы должны гордиться тем, что проявили терпение и прошли самую утомительную часть изучения модели Transformer. Вы должны быть готовы к созданию игрушечного англо-немецкого переводчика в следующих статьях. Также я уверен, что вы поняли, что Майкл Бэй великий режиссер, что бы ни говорили люди.

* Ганнибал Лектер, я имею в виду Этони Хопкинс, также написал письмо сотрудникам «Во все тяжкие» и сказал им, что телешоу позволило ему восстановить свою страсть.Он в некотором роде восхищается окружающими, и я немного беспокоюсь, что он может стать дряхлым. Он сыграл роль отца, забывающего о дочери, в своем новом фильме «Отец». Я должен увидеть это, чтобы проверить, действительно ли это игра или нет.

[Ссылки]

[1] Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Лайон Джонс, Эйдан Н. Гомес, Лукаш Кайзер, Илья Полосухин, «Внимание — все, что вам нужно» (2017)

[2] «Модель преобразователя для понимания языка», Tensorflow Core
https: // www.tenorflow.org/overview

[3] «Нейронный машинный перевод с вниманием», Tensorflow Core
https://www.tensorflow.org/tutorials/text/nmt_with_attention

[4] Джей Аламмар, «Иллюстрированный трансформер»,
http://jalammar.github.io/illustrated-transformer/

[5] «Стэнфордский CS224N: НЛП с глубоким обучением | Зима 2019 | Лекция 14 — Трансформеры и внимание к себе », stanfordonline, (2019)
https://www.youtube.com/watch?v=5vcj8kSwBCY

[6] Цубои Юта, Унно Юя, Судзуки Джун, «Профессиональная серия по машинному обучению: обработка естественного языка с глубоким обучением», (2017), стр.91-94
坪井 祐 太 、 海 野 裕 也 潤 著, 「機械 プ ッ シ ョ ナ ル シ リ ー ズ 学習 に よ る, (2017), стр. 191-193

[7] ”Стэнфордский CS224N: НЛП с глубоким обучением | Зима 2019 | Лекция 8 — Перевод, Seq2Seq, Внимание », stanfordonline, (2019)
https://www.youtube.com/watch?v=XXtpJxZBa2c

[8] Розмари Росси, «Энтони Хопкинс сравнивает« гения »Майкла Бэя со Спилбергом, Скорсезе», yahoo! развлечения, (2017)
https://www.yahoo.com/entertainment/anthony-hopkins-transformers-director-michael-bay-guy-genius-010058439.html

* Я делаю учебные материалы по машинному обучению , спонсируемые DATANOMIQ. Я делаю все возможное, чтобы мой контент был как можно более простым, но максимально точным. Я включаю все свои справочные источники. Если вы заметите какие-либо ошибки в моих материалах, в том числе грамматические, сообщите мне (электронная почта: [email protected]). И если у вас есть какие-либо советы по тому, как сделать мои материалы более понятными для учащихся, я был бы признателен вам их услышать.

Ясуто Тамура

Стажер по науке о данных в DATANOMIQ.По специальности информатика. В настоящее время изучаю математические аспекты глубокого обучения, такие как плотно связанные слои, CNN, RNN, автоэнкодеры, и создаю на них учебные материалы. Также начал ориентироваться на байесовские алгоритмы глубокого обучения.

Поиск оптимизированных наножидкостей на основе трансформаторного масла путем исследования механизма модификации нанодиэлектриков

Выяснение конкретных характеристик и механизма модификации нанодобавок в наножидкостях на основе трансформаторного масла очень желательно и очень важно для практических приложений.Систематическое изучение микроморфологии, размеров (D) и свойств нанодобавок может помочь нам более непосредственно изучить принцип их модификации. Здесь мы конструируем и синтезируем гомогенные наночастицы Co ₃ O ₄ наночастиц (NP), наноленты (NB) и нанолисты (NS) с использованием гидротермального метода и равномерно диспергируем их в минеральном масле SKALN 25X (MO). с небольшим количеством добавки. Поскольку одномерные наноматериалы имеют наибольшее соотношение размеров частиц (отношение длины к ширине), искажение электрического поля, вызванное НЧ в сильном электрическом поле, меньше, чем искажение, вызванное НЧ из результатов моделирования в COMSOL Multiphysics.По сравнению с чистым маслом среднее напряжение пробоя переменного тока (BDV) MO / NP, MO / NB и MO / NS увеличилось на 63,7%, 77% и 61,6% соответственно. Это означает, что улучшение выше, чем у большинства наножидкостей на основе трансформаторного масла (8–45%). Co ₃ O ₄ оказалась новой магнитной нанодобавкой с превосходным модифицирующим эффектом. Эта работа обеспечивает эффективную стратегию раскрытия всего механизма модификации и может быть полезна при исследовании масштабируемости таких жидкостей для приложений.

У вас есть доступ к этой статье

Механизм повреждения оптоволоконного трансформатора тока на основе метода обработки сигналов

Волоконно-оптический трансформатор тока (FOCT) с модуляцией синусоидальной волны широко используется в проекте передачи постоянного тока, а его частота отказов намного выше, чем у электромагнитного тока. трансформатор, который серьезно угрожает безопасной работе электросети.Чтобы исследовать механизм неисправности FOCT, создается модель выходного сигнала фотодетектора FOCT, и анализируются его основные методы модуляции и демодуляции, чтобы исследовать факторы влияния метода обработки сигнала, используемого при вычислении измеренного тока. Установлено, что уменьшение составляющей второй гармоники на выходе фотодетектора является основной причиной неисправности FOCT, а оптический путь, амплитуда сигнала модуляции и измеренный ток являются важными факторами, влияющими на составляющую второй гармоники.Закон влияния трех факторов на составляющую второй гармоники рассчитан путем моделирования и приведены характерные различия между ними. Наконец, в лаборатории было проведено моделирование неисправности интенсивности света FOCT и схемы модуляции, и результаты подтверждают правильность теоретического анализа. Исследования в этой статье служат справочными материалами для анализа неисправностей и повышения надежности FOCT.

1. Введение

В последние годы строительство линии электропередачи постоянного тока сверхвысокого напряжения (UHVDC) ускоряется.В Китае действует более 30 преобразовательных подстанций, которые составляют магистральную сеть междугородной и межрегиональной передачи электроэнергии [1–3]. В качестве основного датчика сбора аналоговых данных для системы управления и защиты трансформатор постоянного тока в технике постоянного тока оказывает непосредственное влияние на безопасность и стабильность энергосистемы, и исследования механизма его неисправности также становятся все более актуальными.

По принципу работы трансформатор постоянного тока можно разделить на два типа: нулевой и фотоэлектрический [4, 5], причем последний включает в себя активные и пассивные электронные трансформаторы тока, типичными представителями которых являются фотоэлектрические трансформаторы тока на основе по принципу шунта и волоконно-оптическому трансформатору тока (ВОСТ) на основе магнитооптического эффекта Фарадея соответственно [6–8].Многие исследователи проанализировали аномальные рабочие характеристики различных типов трансформаторов постоянного тока, которым было уделено большое внимание. Байесовский метод используется для оценки рабочего состояния лазеров источника питания фотоэлектрического трансформатора тока путем измерения тока источника питания БУ [9]. Предложены методы мониторинга состояния и диагностики неисправностей в FOCT с использованием модели, основанной на дисперсии Аллана, и результаты экспериментов показывают, что методы диагностики точны и эффективны для выявления особенностей неисправности [10].Создана динамическая имитационная модель FOCT в реальном времени, проанализировано влияние температуры на постоянную Верде и волновую пластину оптического волокна, дан всесторонний анализ моделирования ошибок и экспериментальная проверка FOCT, когда температура колеблется, и конкретные меры температурной компенсации предложены [11, 12]. В соответствии с топологией преобразовательной подстанции построена конфигурационная матрица трансформатора постоянного тока, предложен метод диагностики аномального состояния трансформатора в реальном времени с использованием причинно-следственной сети, а моделирование аномального состояния трансформатора доказывает эффективность метода [13 ].Анализ влияющих факторов на выходной сигнал детектора оптоволоконного трансформатора тока исследуется путем установления выхода детектора FOCT, а расчет и моделирование выполняются для изучения закона влияния факторов [14].

Однако вышеупомянутое исследование в основном сосредоточено на анализе неисправности трансформатора постоянного тока или его погрешности измерения при определенном влияющем факторе (например, температуре), в то время как мало что было сделано для выявления механизма неисправности на основе его метода обработки сигналов. .В этой статье создается модель выходного сигнала фотодетектора FOCT с синусоидальной модуляцией для исследования механизма его неисправности, а факторы, влияющие на метод обработки сигнала, дополнительно анализируются для изучения причины неисправности. Обнаружено, что составляющая второй гармоники на выходе фотодетектора является ключевым параметром для расчета измеренного тока, а влияние оптического пути, амплитуды сигнала модуляции и измеренного тока на составляющую второй гармоники рассчитывается путем моделирования и проверяется экспериментально. .

2. Принцип работы FOCT

FOCT измеряет первичный ток путем обнаружения интерференционной разности фаз двух поляризованных световых лучей при магнитооптическом эффекте Фарадея [15, 16]. Принципиальная схема на Рисунке 1 показывает принцип работы FOCT. Управляемый схемой управления источником СИД, световой сигнал от источника СИД входит в поляризатор, чтобы сформировать линейно поляризованный свет после прохождения через ответвитель. После разделения 45 ° слияния линейно поляризованный свет превращается в два перпендикулярных линейно поляризованных света по оси x- и y- , которые все еще остаются ортогональными друг другу после фазовой модуляции и передачи в поддерживающем поляризацию оптоволокне.Проходя через волновую пластину, два луча ортогонально поляризованных источников света соответственно преобразуются в свет с левой и правой круговой поляризацией и попадают в измерительный контур, где они генерируют фазовый сдвиг Фарадея, пропорциональный измеренному первичному току под действием Магнитооптический эффект Фарадея. В отражателе состояния поляризации двух лучей меняются местами, и магнитооптический эффект Фарадея магнитного поля снова проявляется в чувствительной петле.Фазовый сдвиг между двумя световыми лучами с круговой поляризацией удваивается, и два луча восстанавливаются до перпендикулярных источников света после волновой пластины, которые затем интерферируют друг с другом и попадают в фотодетектор после точки слияния 45 °. Наконец, интенсивность света с информацией о токе отправляется в детектор через ответвитель, усиливается усилителем, преобразуется преобразованием A, / D и обрабатывается блоком обработки сигналов для вычисления первичного тока.