Дипломной практике по теме: «Разработка программного обеспечения для моделирования комплекса многокамерной автоматизированной съемки и видеотрансляции»

Кафедра «Информационно-коммуникационные технологии»

Отчёт о преддипломной практике

по теме:
«Разработка программного обеспечения для моделирования комплекса многокамерной автоматизированной съемки и видеотрансляции»

Шубин С. С.

С-105

Куприянов Ю. В.

26.03.2012

Москва 2012

Оглавление

Анализ задания

Данный комплекс перекладывает на себя операторскую и частично режиссёрскую работу: выбор планов, настройки камеры, их движение. Для реализации такой системы необходим программный продукт, позволяющий запоминать различные модели человеческого поведения и впоследствии использовать их для машинного обучения.

В качестве графической среды для обучения комплекса предложено спроектировать программное обеспечение со следующими функциями:

• 
  моделирование сцены съемки;
  
• 
  настройка виртуальной видеоаппаратуры;
  
• 
  составление сценария мероприятия;
  
• 
  визуализация процесса съемки.
  

1. 
   Взаимодействие с системой обучения автоматизированного комплекса видеосъёмки с помощью следующих потоков информации:
   

2. 
   Демонстрация процесса съёмки мероприятия.
   
   

Обзорно-аналитическая часть

Анализ актуальности

Требования к программному продукту

Так как содержимое видеопотоков должно соответствовать таковому с реальных камер, то это накладывает следующие ограничения на виртуальное моделирование:

• 
  детализация помещений должна быть достаточна, чтобы на изображении с камеры явно различалась мебель в помещении;
  
• 
  детализация самой модели персонажа (человекоподобного манекена) должна быть достаточна, чтобы программа распознавания образов принимала его за реального человека;
  

• 
  его анимация приближена к реальному поведению людей.
  

Анализ аналогичных решений

Autodesk 3ds Max и Autodesk Maya

Официальный сайт 3ds Max: http://www.autodesk.ru/3dsmax

Официальный сайт Maya: http://www.autodesk.ru/maya

Graphisoft Archicad

Данный редактор предоставляет богатые средства для моделирования сцены съёмки, но он не позволяет смоделировать персонажей на этой сцене и сам процесс съёмки.

Официальный сайт: http://www.graphisoft.com/products/archicad/

Пример работы: http://www.youtube.com/watch?v=SP9cqy9rvtA

The Sims

Ключевая особенность симулятора персонажей – точность в контролировании хода действий персонажей: детализация действий на уровне «подошёл к столу», «включил телевизор», но детализация уровня «поднял руку», «сделал три шага вперёд» отсутствует.

Официальный сайт: http://thesims.com/ru_ru/home

Пример работы в редакторе:

The Movies

Официальный сайт: http://lionhead.com/Games/TheMovies/

Пример готовой работы: http://www.youtube.com/watch?v=vcLSrv6SH5Q

Игровые 3D-движки

Примеры:

Движок	Пример работы
Unreal Engine 3	http://www.youtube.com/watch?v=uxjhvPj6FlA
CryEngine 3	http://www.youtube.com/watch?v=v0o_hLYLOrU
Source Engine	http://www.youtube.com/watch?v=MpeBR8iBilw
Unity 3D	http://www.youtube.com/watch?v=5wxe1IUu5QA
OGRE 3D	http://www.youtube.com/watch?v=woHZRUlOQqo

Анализ графических движков. Возможность передачи потокового видео.

• 
  бесплатность;
  
• 
  поддержка форматов данных популярных трёхмерных редакторов;
  
• 
  возможность вывода потокового видео во внешнюю программу;
  
• 
  наличие широкой аудитории разработчиков и готовых решений;
  
• 
  доступность средств реализации графического интерфейса пользователя.
  

Таким образом, платформа для программного продукта выбирается из свободных решений. К свободно распространяемым движкам относится серия id Tech, на которых были сделаны серии игр Doom и Quake. Но у него узкая аудитория разработчиков и практическое отсутствие поддержки.

Из других известных движков имеется OGRE 3D. Он уже удовлетворяет всем указанным требованиям.

Выбор средств разработки

Технологическая часть

Обзор OGRE 3D

Этот движок поддерживает низкоуровневые операции с графикой, в частности, он позволяет вывести изображение с внутриигровой камеры на текстуру, после чего с ней можно оперировать, как с набором данных – сохранять в файл и отправлять по сети.

Среди дополнительных материалов OGRE 3D есть средства для импорта моделей, материалов, текстур, частиц и анимации из редакторов трёхмерной графики – Blender и Autodesk Maya. Также присутствует дополнительный модуль для реализации графического интерфейса пользователя – CEGUI. Для создания сетевого взаимодействия в потоковой передаче видео может использоваться пакет сетевых библиотек OgreSocks.

Выбор данного графического движка является одним из условий для выбора редактора трёхмерной графики в смежной дипломной работе «Разработка технологии анимации виртуальных персонажей и сцен для моделирования процесса многокамерной автоматизированной съемки».

Обзор дополнительных компонентов для графического движка

Для экспорта моделей, материалов, текстур и анимации используется редактор Autodesk Maya 2011 с плагином Ogre-Maya Exporter.

Обзор среды разработки MS Visual Studio Express

Разработка

Создание среды для визуализации

Рабочий цикл OGRE-приложения

1. 
   Создание корневого объекта (Root).
   
2. 
   Определение ресурсов, используемых приложением.
   
3. 
   Выбор и настройка системы рендеринга (DirectX, OpenGL).
   
4. 
   Создание окна для рендеринга (RenderWindow).
   
5. 
   Инициализация ресурсов, которые будут использоваться.
   
6. 
   Создание сцены с использованием этих ресурсов.
   
7. 
   Настройка сторонних библиотек и плагинов.
   
8. 
   Создание обработчиков кадров, одного или нескольких (Frame Listener).
   
9. 
   Запуск цикла рендеринга.
   

Подготовительные процедуры

mRoot = new Ogre::Root(mPluginsCfg);

В рабочем каталоге с приложением должен лежать конфигурационный файл, содержащий пути к ресурсам, которые могут быть использованы в программе. Список ресурсов должен быть получен и обработан приложением перед использованием.

OgreApplication::OgreApplication(void)

: mRoot(0),

mResourcesCfg(Ogre::StringUtil::BLANK),

mPluginsCfg(Ogre::StringUtil::BLANK)

...

cf.load(mResourcesCfg);

Базовая версия OGRE 3D поддерживает две системы рендеринга – OpenGL и DirectX. Так как приложение ориентировано на семейство операционных систем Windows, то предпочтительнее использование DirectX.

RenderSystem *rs = mRoot->getRenderSystemByName("Direct3D9 Rendering Subsystem");

mRoot->setRenderSystem(rs);

rs->setConfigOption("Full Screen", "No");

rs->setConfigOption("Video Mode", "800 x 600 @ 32-bit colour");

Окно для рендеринга RenderWindow содержит в себе выводимое изображение.

mWindow = mRoot->initialise(true, "Ogre Render Window");

Необходимо определить, какие ресурсы будут подгружены и использованы в программе:

// Set default mipmap level (note: some APIs ignore this)

Ogre::TextureManager::getSingleton().setDefaultNumMipmaps(5);

// initialise all resource groups

Ogre::ResourceGroupManager::getSingleton().initialiseAllResourceGroups();

Создание сцены

1. 
   Создание менеджера сцены (SceneManager).
   
2. 
   Создание камеры (Camera).
   
3. 
   Создание порта просмотра (Viewport).
   

mSceneMgr = mRoot->createSceneManager("DefaultSceneManager");

Камеры (одна или несколько) используются для вывода изображения, попадающего в их объектив, на порт просмотра Viewport, который необходимо ассоциировать с окном рендеринга RenderWindow.

mCamera = mSceneMgr->createCamera("PlayerCam");

mCamera->setPosition(Ogre::Vector3(0,0,80));

mCamera->lookAt(Ogre::Vector3(0,0,-300));

Ogre::Viewport* vp = mWindow->addViewport(mCamera);

vp->setBackgroundColour(Ogre::ColourValue(0,0,0));

mCamera->setAspectRatio(Ogre::Real(vp->getActualWidth()) / Ogre::Real(vp->getActualHeight()));

На сцену необходимо добавить предварительно созданную модель аудитории:

Ogre::Entity* scene = mSceneMgr->createEntity("Scene", "504.mesh");

Ogre::SceneNode* sceneNode = mSceneMgr->getRootSceneNode()->createChildSceneNode();

sceneNode->attachObject(scene);

Запуск цикла рендеринга

void Root::startRendering(void)

{

assert(mActiveRenderer != 0);

clearEventTimes();

mQueuedEnd = false;

while( !mQueuedEnd )

{

WindowEventUtilities::messagePump();

break;

}

При рендере каждого кадра обновляются состояния объектов и вызываются методы, требующие обработки на каждом кадре:

{

if(!_fireFrameStarted())

if (!_updateAllRenderTargets())

return false;

return _fireFrameEnded();

}

Данных действий достаточно, чтобы получить модель сцены в движке (см. рис. 1).

Реализация протокола передачи команд управления виртуальными камерами из внешней программы

mStrLsnr = new StreamListener(mCamera);

Перед использованием OgreSocks необходимо инициализировать:

OgreSocks::OgreSocksManager::GetSingleton()->Initialise();

mRemoteControl = NULL;

Описываются методы, которые будут вызваны в случае сетевых событий:

try

{

OgreSocks::OgreSocksManager::GetSingleton()->CreateSocket(mRemoteControl, LISTENING_PORT);

mRemoteControl->SetReceiveListener(OgreSocks::MakeReceiveCallback(StreamListener, RemoteReceive));

mRemoteControl->SetDisconnectListener(OgreSocks::MakeDisconnectCallback(StreamListener, RemoteDisconnect));

}

catch(OgreSocks::OgreSocksException& e)

MessageBox(NULL, "Caught OgreSocks Exception!", e.getFullDescription().c_str(), MB_OK);

}

Здесь LISTENING_PORT – порт, на котором работает данный сервер. Если на этот порт приходят данные, они разбиваются на символы и обрабатываются: