Быстрый старт с нейроинтерфейсом

Что вы узнаете:

  • Технические характеристики нейроинтерфейса
  • Как установить необходимое программное обеспечение?
  • Как подключить нейроинтерфейс к роботу?
  • Как управлять робоплатформой через нейроинтерфейс?

Технические характеристики нейроинтерфейса

Нейроинтерфейс - это образовательное аппаратно-программное устройство, предназначенное для анализа мозговой активностью, управления роботами. Например, можно управлять направлением и скоростью робоплатформы или захватывать предметы клешней из набора расширений.


Снятие, предварительная обработка и анализ сигналов производится на аппаратной части нейрогарнитуры. Передача управляющих команд происходит через Bluetooth в приложении Robbo Neuro (пока только для Android). Нейроинтерфейс передает считанные сигналы на процессор, где происходит их обработка и последующая передача управляющих команд. Акселерометр, гироскоп и магнитометр, которые встроены в чип процессора, позволяют определять поворот и угол наклона головы пользователя. 

Технические характеристики:

  • количество каналов измерения: 2;
  • частота дискретизации исходного сигнала: 250 Гц;
  • разрядность АЦП: 24 бит;
  • время автономной работы: 4 часа;
  • отслеживание положения головы в пространстве;
  • встроенная гальваническая изоляция;
  • беспроводная связь: Bluetooth 4.2 (BLE).

Пользовательский интерфейс программы Robbo Neuro

Главная страница программы:

В приложении можно отслеживать следующие показатели:

Величина

Диапазон значений

Описание

Pitch

-180…+180

Наклон вперёд-назад

Yaw

-180…+180

Пока не используется

Roll

-180…+180

Наклон налево-направо

Alpha

0…100 %

Alpha-ритм

Beta

0…100 %

Пока не используется

Teta

0…100 %

Пока не используется

Eyes blink left

0...255

Пока не используется

Eyes blink right

0...255

Пока не используется

Signal quality

0…100 %

Качества сигнала Bluetooth

Left

0…120

Значение на левом колесе

Right

0…120

Значение на правом колесе

Claw

0…120

Угол открытия клешни

Как установить необходимое программное обеспечение?

В различных версиях Android могут быть разные меню настроек, но ход установки идентичен.
Шаг 1. Скачайте .apk файл Robbo Neuro:
  • версия с возможностью подключения робоплатформы и других беспроводных устройств;
  • версия, в которой доступны только сведения о мозговой активности.
Шаг 2. В открывшемся окне, дайте разрешение на установку программы. Ваш телефон предупреждает, что вы скачиваете файл не с GooglePlay. 
В открывшемся окне нажмите Настройки.
Откроется окно настроек вашего телефона. Разрешите установку из этого источника.
Шаг 3. Запустите скачанный .apk файл. В открывшемся окне нажмите Установить.

Как подключить нейроинтерфейс к роботу?

В инструкции описано подключение к нейроинтерфейсу робоплатформы и набора расширений к робоплатформе. Если вы впервые пользуетесь набором расширений для робоплатформы, воспользуйтесь инструкцией первого запуска для набора.
Шаг 1. Нажмите кнопку включения нейроинтерфейса.

Когда нейроинтерфейс включится, на нем будет гореть красный светодиод:

Шаг 2. Включите Bluetooth на вашем телефоне.

Шаг 3. Зайдите в меню Bluetooth на телефоне и нажмите поиск устройств.
                    
Шаг 4. К робоплатформе подключите клешню. Коричневый провод должен идти в GND, красный - в 5V, оранжевый - в D13.


Шаг 5. Вставьте аккумулятор в слот робоплатформы. Рекомендуем использовать литиевую АКБ Крона на 9В. 

Bluetooth робоплатформы готов к сопряжению, если светодиод на робоплатформе мигает. 
Шаг 6. Зайдите в меню Bluetooth на телефоне и подключите ROBBO_neuro. Для этого может понадобиться нажать Обновить, чтобы совершить поиск устройств. 

 

Шаг 7.  В меню Bluetooth на телефоне подключитесь к робоплатформе - устройство вида ROB-R-X-XX-X.
Серийный номер робоплатформы также написан на обратной стороне устройства.

Шаг 8. Наденьте нейроинтерфейс на голову, датчики должны касаться кожи и плотно прилегать к ней, зажим закрепите на мочке уха.
Шаг 9. Откройте приложение Robbo Neuro.

Шаг 10. Нажмите на, чтобы совершить поиск устройств.

Шаг 11. Разрешите приложению доступ к местоположению устройства.

Шаг 12. Подключитесь к RobboNeuro.
Если в списке найденных устройств нет RobboNeuro, перезагрузите нейроинтерфейс.

Шаг 13. Нажмите на CONNECT TO ROBOT и введите МАС адрес робоплатформы.



Шаг 14. После подключения робоплатформы, нажмите Start!
                       

Принцип работы нейроинтерфейса и статистики в ROBBO NEURO

Как управлять робоплатформой через нейроинтерфейс?

В этой инструкции вы сможете узнать принцип работы нейроинтерфейса и как с помощью разных сигналов мозга управлять робоплатформой. Данный принцип подходит для всех роботизированных устройств.

В нейроинтерфейсе установлен MPU9250, который включает в себя гироскоп, акселерометры, магнетометры. Гироскоп управляет робоплатформой - он реагирует на повороты головы. В приложении значение Pitch считывает движения головы вниз-вверх, значение Roll считывает наклоны головы вправо-влево.


Шаг 1. В приложении ROBBO NEURO подключите нейроинтерфейс и робоплатформу.


Шаг 2. Наденьте нейроинтерфейс на голову.


Шаг 3. Поставьте робоплатформу на пол. 


Шаг 4. Удерживайте голову прямо. Робоплатформа не будет двигаться.

                 

Шаг 5. Наклоните голову прямо-вниз, чтобы робоплатформа проехала примерно 30см. После этого зафиксируйте голову прямо, чтобы остановить робоплатформу.

               

Шаг 6. Наклоните голову направо. Робоплатформа будет поворачиваться направо. 

Если движение не происходит, нужно немного наклонить голову вниз и вправо.

Положение головы прямо-направо:

 

            

Шаг 7. Наклоните голову налево. Робоплатформа будет поворачиваться налево. 

Если движение не происходит, нужно немного наклонить голову вниз.

Положение головы прямо-верх:

  


Шаг 8. Поворачивайте голову как показано на рисунке ниже, чтобы робоплатформа проехала восьмерку. 

 

Шаг 9. Управление клешней с помощью Альфа-ритмов.

Альфа-ритмы могут регистрироваться только у 85%-95% здоровых взрослых. Наибольшую амплитуду альфа-ритм имеет в состоянии бодрствования, когда у вас закрыты глаза и вы находитесь в затемнённом помещении. Альфа-ритм блокируется и ослабляется при повышении внимания, в особенности зрительного, или мыслительной активности.

Чтобы клешня закрылась, нужно расслабится, закрыть глаза и глубоко дышать. 

Вот некоторые советы как увеличить амплитуду альфа-ритма:

  • попробуйте закрыть глаза и представить, как рисуете мелом на доске знак бесконечности; попробуйте начертить другой знак в уме - пока вы тренируете воображение, нервная система настраивается на альфа-режим;

  • опустите веки, прикройте глаза ладонями на несколько минут и представьте солнечный пейзаж - идеальные условия - это тепло и темнота;

  • соедините пальцы рук перед грудью, чтобы ладони не соприкасались;

  • закройте глаза, дышите глубоко и спокойно, думая о хорошем;

  • закройте глаза, положите указательный и средний пальцы к виску, нащупайте пульс и отслеживайте их ритм;

  • закройте глаза, дышите глубоко, на вдохе поднимайте кончик языка к нёбу, на выдохе опускайте его. 

Удачи в использовании! 
Обращаем внимание, если ваш телефон перейдет в режим сна, приложение перестанет принимать данные с нейроинтерфейса.