НЕЙРОННЫЕ СЕТИ

♦September 2013 ♦

Искусственные нейронные сети (ИНС) — математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма.

Нейронные сети практически не используются при решении задач алгоритмической музыки, чаще для решения проблем распознавания образов, однако мы все–таки кратко опишем данную область, как и единственную математическую модель для генерации музыки, созданную на основе нейронов.

Мозг состоит из очень большого числа (приблизительно 10,000,000,000) нейронов, соединенных многочисленными связями. Нейроны — это специальные клетки, способные распространять электрохимические сигналы. Нейрон обладает разветвленной структурой ввода информации (дендритами), ядрами и разветвляющимся выходом (аксоном). Аксоны клетки соединяются с дендритами других клеток с помощью синапсов. При активации нейрон посылает электрохимический сигнал по своему аксону, и через синапсы этот сигнал достигает других нейронов, которые могут в свою очередь активироваться. Нейрон активируется тогда, когда суммарный уровень сигналов, пришедших в его ядро из дендритов, превысит определенный уровень (порог активации).

Интенсивность сигнала, получаемого нейроном (а, следовательно, и возможность его активации) сильно зависит от активности синапсов. Каждый синапс имеет протяженность и специальные химические вещества передают сигнал вдоль него. Один из самых авторитетных исследователей нейросистем, канадский нейропсихолог Дональд Хебб, высказал постулат, что обучение заключается в первую очередь в изменениях "силы" синаптических связей.

Нейронные сети являются альтернативным подходом к традиционной вычислительной теории, основанной по большей части на фон Неймановской архитектуре. Вместо процессора и памяти, в нейронных сетях применяется распределенная система связанных единиц, не использующих запрограммированные правила, переведенные в инструкции. Главным их преимуществом является возможность обучаться на специальных примерах.

модель биологического нейрона

модель биологического нейрона

Схема простой нейронной сети. 1 — входные нейроны, 2 — скрытые нейроны, 3 — выходной нейрон.

Схема простой нейронной сети. 1 — входные нейроны, 2 — скрытые нейроны, 3 — выходной нейрон.

Математическая модель искусственного нейрона была предложена американским нейропсихологом У. Маккалоком вместе с моделью сети, состоящей из этих нейронов. Автор показали, что сеть на таких элементах может выполнять числовые и логические операции. Практически сеть была реализована американсим ученым Фрэнком Розенблаттом в 1958 году в виде компьютерной программы, и впоследствии электронного устройства — перцептрона. Первоначально нейрон мог оперировать только сигналами логического нуля и логической единицы, поскольку был построен на основе биологического прототипа, который может пребывать только в двух состояниях — возбужденном или невозбужденном. Развитие нейронных сетей показало, что для расширения области их применения необходимо, чтобы нейрон мог работать не только с бинарными, но и с непрерывными (аналоговыми) сигналами.

персептрон: модель искусственного нейрона

персептрон: модель искусственного нейрона

В модели персептрона искусственный нейрон обладает определенным числом входных соединений, напоминающих синапсы настоящего нейрона. Каждое соединение имеет назначенное весовое значение, служащее параметром масштабирования для входного значения. Возможны как положительные, так и отрицательные весовые значения. Нейрон суммирует масштабированные входные значения и посылает сумму передаточной функции:

Передаточная функция определяет выходное значение нейрона на основании входящих значений.

Передаточная функция определяет выходное значение нейрона на основании входящих значений.

Первые подходы в нейронных сетях с одним слоем нейронов, налагали серьезные ограничения на их возможности вплоть до начала 80–х, когда впервые были описаны многослойные нейронные сети. Входящий слой служит в этой сети в качестве глаз и ушей человека, а выходной дает результаты. Но между этими слоями может содержаться несколько скрытых, состоящих из узлов, не имеющих внешних соединений.

В музыкальной генерации нейронные сети практически не используются в чистом виде, чаще в качестве промежуточного или вспомогательного звена, например, как оценщик фитнесс–функции в генетических алгоритмах. В качестве примера использования ИНН можно привести подход американского ученого-когнитивиста Питера Тодда для генерации одноголосых мелодий.

Он описал рекуррентную сеть Джордана с тремя слоями. Выходные значения сети — ноты с ассоциированной информацией о высоте и продолжительности. Плановые узлы - это нейроны, определяющие мелодию, которая обрабатывается в данный момент, контекстные узлы содержат ноты, которые были сгенерированы ранее. Выходные узлы генерируют текущие ноты, каждому нейрону на выходе назначен контекстный нейрон. Нейроны скрытого слоя соединены с плановыми и контекстными узлами, точно так же, как и с выходным слоем, набором обученных, весовых соединений.

♦ ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ: ♦

  • Архитектура фон Неймана — архитектура вычислительной машины, в которой адресные пространства программ и данных объединены в единое адресное пространство.
  • Уоррен Маккалок (англ. Warren Sturgis McCulloch; 1898 — 1969) — американский нейропсихолог, нейрофизиолог, теоретик нейросетей и один из отцов кибернетики.
  • Фрэнк Розенблатт (англ. Frank Rosenblatt, 1928 — 1971) — известный американский учёный в области психологии, нейрофизиологии и искусственного интеллекта.
  • Питер Тодд – профессор информатики, профессор психологии и когнитивных наук Стэнфордского Университета.
  • Сеть Джордана — вид нейронных сетей, который получается из многослойного перцептрона, если на его вход подать, помимо входного вектора, выходной с задержкой на один или несколько тактов.
  • ♦ ИСТОЧНИКИ: ♦

  • An Exploration of Monophonic Instrument Classification Using Multi-Threaded Artificial Neural Networks - A Thesis Presented for the Master’s of Science Degree of Computer Science The University of Tennessee, Knoxville - Marc Joseph Rubin - December 2009
  • P. M. Todd. A connectionist approach to algorithmic composition. Computer Music Journal, 13(4), 1989, pp. 27{43