Торрент-рендер (3ds max) torrender.net, идея, концепция и реализация Опции

[1асс]

Пришла эта мысль в голову и не вылазит. Хочу обсудить с сообществом полезность и целесообразность. Основную часть технических подробностей пока опускаю, но сделать сие вполне реально либо в качестве плагина (SDK), либо даже скрипта (MAXScript).

Итак, смысл в том, чтобы бесплатно (или не очень) использовать чужие компы для рендера своих сцен. Есть система рейтинга, т.е. нельзя долго рендерить свое ("качать"), но не рендерить чужое ("раздавать"). Для тех, кто боится, что его сцены или текстуры будут использовать чужие нехорошие люди, предусмотрена защита - координаты всех объектов сцены изначально обнуляются, правильные координаты шифруются и передаются на рендер отдельным файлом, текстуры бьются на маленькие квадратики и собираются в одну тоже только перед рендером. Показ самой визуализации (VFB) можно отключить, т.е. человек даже не видит, что он рендерит. Аналогичные действия происходят и после рендера - изображение автоматически разбивается на кусочки (либо просто перемешиваются пиксели по какому-то закону) и собрать его правильно можно только на стороне автора сцены. Для альтруистов есть возможность отключения защиты, т.е. сцена с барахлом передается в свободном доступе. Защита может быть и другая, и вообще все что я пишу еще до конца не обдумано - только варианты.

Как это выглядит для пользователей, которые рендерят другие сцены (рендер-пир):
При запуске макса автоматом запускается (либо отключить автомат и запускать вручную) рендер-клиент со списком job'ов от других пользователей. Есть автофильтрация по версии макса, рендера и т.п. (т.е. если vray не установлен, работу, в которой он используется, клиент выполнить не сможет). Пользователь выбирает понравившиеся job'ы и жмет кнопку рендера, остальное делает рендер-клиент, а именно качает архив с исходными данными, рендерит, бьет на кусочки и отсылает по нужному адресу (например, заливает на ftp - кто не в курсе, maxscript может заливать файлы на ftp с помощью стороннего приложения, управляемого командной строкой).

Как это выглядит для авторов сцен, которые отправляют свои сцены на рендер (рендер-сид):
Автор загружает свою сцену, жмет в клиенте кнопку "Собрать" - сцена собирается для рендер-клиента в job'у, потом "отправить" - job'а заливается в инет, потом выкладывает сгенерированный файл *.render-torrent в сеть и идет отдыхать. Через некоторое время можно посмотреть статистику, отображаемую клиентом - сколько отрендерено, кто из пиров в очереди и т.п. Также в любой момент можно отменить job'у и скачать уже готовые отрендереные изображения.

Откуда пиры берут файлы ".render-torrent" с описанием job'ы? - да хоть с этого форума, а вообще с любого места, куда автор его зальет. В этом файле в зашифрованном виде находятся все данные для торрент-рендера - откуда брать, куда заливать, что и как рендерить, как распаковывать текстуры и расставлять объекты и как шифровать полученные картинки. Содержимое файла может прочитать только рендер-клиент и только рендер-клиент автора может собрать и расшифровать отрендеренные кусочки картинки в нужное автору изображение.


Ну вот в общем как-то так, прошу не кидаться помидорами, и, если велосипед я не изобрел, то обсудим, насколько вообще жизнеспособна эта идея.

------------------------------------------------------------------------------------------------------------------------
Сайт проекта torrender.net

Сообщение отредактировал ECXIMER - 25/04/2013, 10:34

[ECXIMER]

хм.. хм...
мне кажется это весьма жизнеспособная идея!
браво!
пока звучит очень гладко
готов поучаствовать безвозмездно, то есть даром
и лучше все-таки на Сишке писать - ну его этот медленный МС ф топку
Просо если сцена очень тяжелая и куча хайрезных битмапов - то подготовка джобы на отправка будет дольше чем сам рендер... имхо?

Сообщение отредактировал ECXIMER - 01/12/2010, 13:05

[ECXIMER]

1. Как быть с плагинами?
2. Огромные объемы информации. 5 часов приннимаем - 2 минуты рендерим.
3. У всех разные конфиги, оси и версии макса (пакет по вкусу).
4. Это подходит только для анимации.

1 - как и на рендерфермах - устанавливаются отдельно по письменной просьбе...
2 - с этим да в + тот у кого канал широкий - но с фильмами тоже самое - качаем 10 часов - смотрим 2 часа )))...
3 - не проблема думаю...
4 - почему только? а если мне нужно быстро, но одну картинку на 35к..? разбиваем на страйпы и вуаля... )

Сообщение отредактировал ECXIMER - 01/12/2010, 13:09

[1асс]

1. В клиенте набор галочек, которые ставит автор (либо автоматом ставятся). Галка соответствует тому, что должно быть на машине пира. Все-таки самые популярные плагины довольно широко распространены и если пользоваться рендером будет много народу - найдется пир с нужной конфой. Ну и в конце концов рано или поздно доски скупят всех плагопроизводителей и тогда вообще проблем не будет.
2. Да лан, далеко не всегда, инет ускоряется год от года ну и ессна подразумевается, что время рендера не две минуты.
3. Макскрипту на это пофигу.
4. Да, именно так. Зато каждый теперь сможет рендерить тонны катающихся зеркальных шаров по клетчатому полу.

А, еще забыл - кусочить картинки можно тоже сторонним приложением через командную строку - Imagemagic, очень быстрая штучка.

Сообщение отредактировал 1асс - 01/12/2010, 13:11

[ECXIMER]

кусочить картинки можно тоже сторонним приложением

имхо не юзабилити - устанавливать ещё дюжину стороннего софта... думаю алгоритмы есть в сети - если сишка все же будет, то можно и свой кусочкователь написать )

Сообщение отредактировал ECXIMER - 01/12/2010, 13:20

[eggor]

только недавно наткнулся на старую тему о такой штуке, и тут на тебе

вообщем автор удачи! идея отличная

[1асс]

2 ECXIMER: Во-первых они при установке клиента тоже запустятся и установятся, во-вторых, только две сторонние софтинки - одна кусочить, другая работать с фтп. В любом случае не страшно. Ессна, если клиент писать на C, то можно все алгоритмы сделать самостоятельно, но лично я тогда буду отдыхать, ибо на C писать не умею.

2 eggor: дык отличных идей полно, кто бы сделал, эту идею лично я готов отдать на аутсорс, потому и тему создал. Тему линкни, не читал.

З.Ы. если никто не сподобится реализовывать, поставлю к себе в очередь.

Сообщение отредактировал 1асс - 01/12/2010, 13:30

[Медонозза]

Тема-тема. Где скачать?

Главное чтобы время "залива" было адекватно среднестатистическому времени убойного архивиза.

Адд. Возможность рендера одной каринки "вмногером" реальна? что-то из описания ничерта не понял.

Сообщение отредактировал Медонозза - 01/12/2010, 13:34

[ECXIMER]

эту идею лично я готов отдать на аутсорс
ибо на C писать не умею

я даже могу угадать кто может этим заняться вплотную...

Сообщение отредактировал ECXIMER - 01/12/2010, 13:33

[Prayer]

1 участник будет 1 пикчу рендерить, или все-же 10 участников могут 1? (ну как собственно по аналогии с раздачей. 10 скачали 10 раздают).

[AzaZeo AinAmart]

Это всё облака + распределённые вычисления.
Посмотрите тут - http://www.vswarm.com/ - что-то подобное, как понимаю

[RGhost]

А смысл, не проще ли использовать какой нибудь deadline. Нужно просто объединиться. Проблема лишь в том что бы завести ratio что бы не получалось как с пожертвованиями (когда все берут но никто не жертвует).

Но привлекательность такой free render farm будет imho в привлечении людей не из 3d сообщества с мощными компами, ибо у 3Дшника как обычно комп редко простаивает. А вот тут и будут проблемы, нужен пряник...

edit: а на тему торрентов... как много людей будет "раздавать" если можно тырить трафик обходя идентификацию... или меня ip

Сообщение отредактировал RGhost - 01/12/2010, 14:04

[bdancer]

Можно просто выставить рендер-ноду (спавнер или стендалон в сервер моде) в сеть и немного заморочиться с раздачей текстур (опенвпн к примеру заюзать). Выгода такого решения очевидно - главное чтобы ноды не отваливались. Под это можно и центральную систему распределения накодить (с рейтингами и прочим). Не все пользуют макс (а стендалон к примеру можно с любым пакетом юзать как ноду), а тут будет передаваться готовая для рендера сцена (не привязанная к плагинам).
Если уж именно в открытом виде кидать сцену (как файл) то стендалон и тут лучше будет - в его формат из любого вирея можно сцену сделать. Опять таки отвязка от плагинов и от пакета. Самому подтверждать чего рендерить наверное не гут - участвуешь так участвуй и рендерь чего система прислала, да и проще так - оставил комп на ночь/выходные/отпуск и оно само там крутиться.

Сообщение отредактировал bdancer - 01/12/2010, 14:27

[1асс]

Возможность рендера одной картинки вмногером реальна.

Основная идея - чтобы это все работало именно как торрент, чтобы многократно экономить время и чтобы никто один не заморачивался с поиском желающих порендерить или организацией серверов и прочего, поэтому я не знаю как комментировать bdancer'а, т.е. системы как таковой нет, только форум с торрентами ну и публичный фтпшник какой-нить как максимум. Инфа о рейтингах может храниться у юзеров на компе зашифрованная, ну и вообще, я думаю, тут можно разрулить любое мошенничество. Единственная разница с торрентами - тут раздача сразу закрывается и удаляется после окончания (ну или подтверждения от автора, что мол все "тему можно закрывать").

[AnTonG]

тема уже поднималась на форуме, и я давал ссылки на готовое решение на С кажется, ребята в одном университете делали такое.


вопрос о совместимости обходится довольно просто, надо юзать то что будет у всех, а именно, врей де факто рендер номер один
значит надо юзать VRSCENE, т.е. вреевский формат сцены для передачи данных, таким образом пофиг какой у кого макс и какие плагины, вообще макс можно не пользовать, а пользовать врей стэндалон (эту тему больше знает bdancer).