Какво ще стане, ако различни скулптори са направили тази скулптура? Използване на Drones да разберете - 💡 Fix My Ideas

Какво ще стане, ако различни скулптори са направили тази скулптура? Използване на Drones да разберете

Какво ще стане, ако различни скулптори са направили тази скулптура? Използване на Drones да разберете


Автор: Ethan Holmes, 2019

"Няма начин!" Е повече или по-малко точна, но по-малко светска версия на това, което казах, когато направих първата си фотограма. Може би първата оформена фотограма някога. Не смеех да се надявам, че ще успее. Изглеждаше необичайно невероятно. И тогава го направи. И беше страхотно.

Току-що нахраних само 17 снимки от тотемния полюс на моето детско мини голф игрище чрез един от стилните филтри на популярното мобилно приложение Prisma. След това хранех тези 17 нови изображения във втора програма, направена от Autodesk, наречена ReMake.

Резултатът е фотограма - 3D модел, генериран от фотографски изображения. Беше лошо, несъвършено и неизползваемо според настоящите ми стандарти. Но определено беше тотемният стълб. Освен че изглеждаше като карикатура, благодарение на Prisma.

Ето един подарък от 13-те от 17-те снимки, след Призма. Бяха премахнати 4 детайла с детайли, за да се запази цикличността, за справка.

А анимацията на въртящия се диск на получената 3D мрежа

Ето списък с песни от стилизирани фотограми, които направих, тъй като наистина разбрах повече от това, което правех (миналия месец)

И това е. Това наистина е всичко, което правите. Вземете куп снимки, обграждащи обект, който виждате в GIF, ги пускайте през Prisma или любимото ви приложение за трансфер на стил (моето е Painnt), а след това отново чрез ReMake или любимия си софтуер за фотограметрия. Свършен. Излезте напред! Бъди свободен! Фотограм всички неща! Стилизирайте всички фотограми!

Разбира се, ако бихте искали да се научите как да го правите добре, както и как да звучите супер умни, когато го обяснявате на другите, след това прочетете ...

Нека първо се заемем с мозъчната част, тъй като завесата е била най-вече вдигната. Тези неща са прости, от практическа гледна точка. Направете няколко снимки, обработете ги в един софтуерен пакет, преработете ги в друг, и вие сте добре дошли. Но не се заблуждавайте, технологиите, с които работите, наистина живеят на крака, който се случва в момента. Нека да го разделим.

фотограметрия

Добре, този е действително стар. Фотограметрията, която е процес на измерване на разстоянието между точките, използвайки поредица от снимки, съществува от повече от век. Първоначално използван главно за проучване и картографиране, тъй като компютърната мощност се увеличава, по-късно фотограметрията намери дом сред разработчиците на игри и Visual FX артистите, като начин за бързо и евтино генериране на висококачествени 3D активи за техните игри и филми.

Изкуствен интелект / машинно обучение

Е, знаеш ли какво? Това също е старо. Всички неща, които се случват с AI днес, наистина имат своите корени в работата, извършена през 50-те и 60-те години. Подобно на фотограметрията, напредъкът в изчислителната мощ прави възможни нови приложения в изкуствения интелект и машинното обучение.

Например не пиша тази статия. Говоря директно в таблета си чрез Google документи. Това не е перфектно, но най-вече работи и не би било възможно без машинно обучение. Същото важи и ако използвате Alexa или Siri или Google Now. Списъкът продължава. Тези неща сега са навсякъде.

Някои от най-съзнанието за огъване на ума идват от специфична дисциплина в изследванията на ИИ, невронните мрежи. Още по-конкретно, стиловият трансфер на невронни мрежи.

Стилови трансферни невронни мрежи

Ааа и излизам на умните неща тук. Проблемът с разговорите за интелигентни неща, когато сте по-малко умни от тези, за които говорите, е, че рискувате да станете очевидни. Но ако трябваше да хвърля заровете на този гамбит, вероятно щях да промъкна нещо за конволюционните невронни мрежи и машинно и компютърно зрение. С увереност бих казал „TensorFlow“, ако няма контекст, за да знаете, че знам, че това е нещо, което хората използват. За AI неща. С невронните мрежи. От Google. Определено ще говоря за това, как кодът за трансфер на невронни мрежи е свободен и има свой собствен GitHub хранилище.

Но наистина, всичко, което трябва да знаете е, че невронните мрежи за трансфер на стил ви позволяват да прехвърляте почти неограничен асортимент от артистични и естетически стилове към вашите снимки и видеоклипове. И фотограми!

Търтеите

Внезапно влизане! Тези привлекателни летящи роботи правят всичко - от снемането на нашите снимки и доставянето на нашите потребителски стоки, до убийствата на едро, извършени в нашите имена. Определено е най-кървавата от нашата безочлива технология.

Досега не съм споменавал безпилотни самолети и от техническа гледна точка няма да имате нужда от такъв. Но ако, подобно на мен, искате да създадете вашите фотограми на открито, вероятно ще искате да получите безпилотен самолет. Видът на фотографията.

Всичко това заедно

Нека да вземем това, което сме научили досега, да го намалим до шум от модни думи и да създадем 100% истинско изявление. VC и издателите на игри - за ваше внимание:

- Откакто получих дрона си, моята работа по фотограметрия се издигна до съвсем друго ниво. Моите фотограми са били с лошо качество, защото са направени само от няколко дузини снимки, но сега е лесно и забавно да заснемете 100-250 снимки, от които се нуждая. Резултатите са превъзходни. А системите за бордовото машинно зрение в безпилотния апарат означават, че не е нужно да се тревожа за срив в нещата. Говорейки за машинна и компютърна визия, истинският начин, по който AI току-що е избухнал моя тръбопровод за създаване на активи, е чрез невронни мрежи за трансфер на стил. Използвал съм ги за предварителна обработка на фотограметрия, а резултатите не са нищо повече от удивителни. Отворена е безброй възможности за проекта за ВР, по който работя… Също така, TensorFlow. ”

Специфични съвети: Фотограметрия

1 - Вземете безпилот, триножник или масивни каре. Размазани или непоследователни снимки ще доведат до лоши фотограми. Дроните и стативи произвеждат добри, стабилни снимки. Използвай ги. Ако слезете по ръчния маршрут, вземете под внимание: ще правите много клякания, за да уловите по-ниските ъгли. Както, количеството на кляканията, които затворниците правят, така че не се тормозят в двора. Това много клякам. Краката ти ще крещят от болка на следващия ден. И следващото. Предполагам, че в даден момент бедрата ви ще станат като две огромни бутала, изрязани от лазер. Не знам. Вместо това си купих дрон.

2 - Гледайте сенките си. Гледай си светлината. Текстурите на вашите мрежи ще бъдат „изпечени“, както и всякакви сенки. Дръжте светлината равномерна и равна. Ако снимате навън, най-доброто време за снимане е в облачно време, когато слънцето е над главата. Ако, като мен, живеете в Тихоокеанския северозапад, поздравления! Твоите мрачни зими просто станаха детска площадка. Но се пази от дъжда. Дъждът не играе добре с фотограметрията.

3 - Това каза, ако няма да има много динамично осветление, използвано в крайния ви продукт, изпечени в сенки, може да бъде много полезно и драматично. Ако обаче снимате навън, трябва да имате предвид, че времето е от съществено значение. Вземете твърде дълго време за заснемане на вашата сцена и ще забележите непоследователни, „размазани“ сенки, причинени от движението на слънцето по небето. Дори по-лошо, това може да обърка фотограметричния алгоритъм, което води до дупки или деформации във вашата мрежа. Още по-лошо, ако нередностите в сянка са твърде тежки, фотограметричното обработване може просто да се провали изцяло. Не фотограм за вас! Отново, един дрон наистина е полезен за смекчаване на тези ситуации.

Когато избирате предмети, играйте за силните страни на фотограметрията и избягвайте нейните слабости. Камък, дърво, обикновени тъкани, изтощена или износена кожа, отливка и изветрен метал. Фотограметрията обича тези материали. По принцип, всичко, което е неподвижно, тъпо, повърхностно и топологично и текстово разнообразно, трябва да работи.

Избягвайте: Предмети с много равни, равномерни или силно правилни повърхности, прави ъгли и прави линии Високоотражателни (лъскави) повърхности като стъкло, полирани метали, лъскави пластмаси или течности Несъвместимо осветление или сенки сложни обекти Високозападни обекти - ако много неща са на пътя на обекта, който се опитвате да заснемете, ще бъде трудно да получите добри резултати

Забележка: Трудно е, но не и невъзможно да се получат висококачествени фотограми от живи обекти, без да се прибягва до скъпи, непрактични настройки за няколко камери. Дървета и растенията са геометрично сложни и се люшкат на вятъра. Хората дишат и бликват и се променят неусетно. Животните и децата не приемат посоката много добре. Това е основното предизвикателство за манекен. Ако смятате, че обектът и условията на снимане отговарят на задачата, направете го. Но не се изненадвайте, ако резултатите се разочароват.

4 - Мислете пространствено. Не забравяйте да получите всичките си ъгли. Това е истинска неприятност, ако разберем, че сте забравили да вземете достатъчно снимки на върха на нещо (винаги е върховете на нещата), или не успяхте да вземете някое от онези парчета, които се стекоха по този странен начин ( винаги е върховете на нещата, с изключение на случаите, когато това е една странна надвиснала част, която сте забравили да вкарате).

5 - Ако камерата ви поддържа режим HDR, използвайте го. Не използвайте функцията за увеличение. Автоматичното фокусиране е ОК. Автоматичен фокус е вашият приятел.

6 - Вземете кръгов поляризиращ филтър за обектива. Това ви дава малко повече свобода на действие при огледални обекти.

7 - уверете се, че вашите снимки имат много припокривания. Прекаляването е наред. Получавам добри резултати със снимки, направени на интервали от 8 до 14 градуса. Това означава, че ще имате около 26 до 45 снимки, докато правите една 360-градусова революция около даден обект.

8 - вероятно искате да направите повече от един оборот около обект. Едно добро правило е една революция, която се върти около центъра на обекта, една революция от или близо до основата на обекта, един оборот в или близо до върха на обекта, и няколко от по-горе (и по-долу, когато е възможно). ), още няколко за покриване на тези трудно достъпни места и дори още няколко подробности, които наистина искате да извикате на мрежата си.

В тези изображения можете да видите точките, където са направени всички снимки, които съдържат тези фотограми. Тези три платонически идеални ротации около вашия обект обикновено дават път на нещо, което изглежда малко по-разпръснато. Това е добре.

9 - Направете правилния брой снимки. ReMake, софтуерът за фотограметрия, който използвам напоследък, може да приеме до 250 снимки. Сложните сцени или обекти могат да изискват много или повече, но имайте предвид, че наличието на голямо количество изходни снимки, от които да се извлече, е меч с двойно острие. Да имаш изобилие от снимки може да доведе до невероятна 3-D мрежа с висока прецизност или ужасна 3-D бъркотия. Още снимки означава повече подробности, но също така създава повече шансове за грешка и прави по-трудно да се ловува за тази проблемна снимка в партидата. Лично аз открих фотограметрично сладко място за повечето обекти, за да бъде в диапазона от 100-130 снимки. По-сложните обекти естествено ще изискват повече.

10 - Изберете софтуера на фотограметрията, който най-добре отговаря на вашите нужди. Харесва ми ReMake, защото софтуерът е мъртъв и обработката се извършва в облака, като по този начин се премахва необходимостта от специален хардуер. Каквато и да е тяхната настройка, те винаги ще могат да обработват повече снимки по-бързо от повечето самотни ентусиасти. Освен това, ако това е техният хардуер, който пресича всичките ви снимки, това освобождава вашия собствен хардуер за други задачи за разработка.

Не се страхувайте да разгледате софтуера, който най-добре отговаря на вашите нужди. Със сигурност няма недостиг на пакети за фотограметрия, от които да избирате.

Специфични съвети: стил трансфер

Съветите тук са доста тънки на земята. Просто не е минало много време. Както много от вас, излизането на Prisma миналото лято беше първото ми въведение в трансфера на стил. Мислех само да направя първия си фотографски експеримент в началото на септември, а след това чаках изключително нетърпеливо до средата на декември за безпилотния, който веднага поръчах след успеха на този експеримент. Това беше досадно, но също така и полу-случайно, защото нямаше лесен начин да се обработват партиди от файлове в тъмните дни на септември 2016 г. и знаех, че ще трябва да обработя стотици, ако не и хиляди наведнъж. Аз обмислях идеи за кокосово изкуство като разпространяването на работата (сравнително) евтино и бързо чрез механичен турчин. Радвам се, че никога не трябваше да го спазвам. Както и да е, първите ми фотографи, заснети с хеликоптер, бяха създадени на 20 декември. Качеството беше по-голямо от всички фотограми, които бях създал преди, стилизирани или по друг начин.

Както казах, ето какво научих досега:

1 - Не всички стилови филтри ще работят добре с софтуер за фотограметрия. Стиловете, които използват изключително тъмни тонове, може да не дадат на софтуера на фотограметрия достатъчно информация, с която да работят, което да доведе до неуспешни проекти или фотограми с нежелани деформации.

По същия начин има цяла класификация на стиловете, които няма да работят добре с фотограмите по дефиниция. Вероятно има име, описващо специфичен тип невронна мрежа, но в момента нямам познания, за да ви кажа какво е то. Докато разглеждате стиловете, ще намерите няколко, които ще направят вашата фотограма да изглежда като обекти. Този, който се откроява в съзнанието ми, беше стил, който правеше снимките да изглеждат като оформени от редици спретнато подредени домати. Друг ги караше да изглеждат като мозайка, оформена от редовно оформени керемиди.

Причината, поради която доматеният филтър се провали, е, че невронната мрежа търси някакъв праг за „домати“. Тъй като перспективата се променя от снимка на снимка, това прави и стойността за „домати“. Така че всяка снимка може да бъде пълна с редици перфектни домати, но те не винаги са едни и същи от снимка до снимка. Това обърква софтуера и води до неуспешни или лоши фотограми. Филтърът за керемиди на басейна се провали, защото плочките винаги са изправени директно към камерата, като перфектни малки правоъгълници, непроменени от снимка към снимка чрез промяна на перспективата. Така че по принцип, потърсете филтри, които се противопоставят на правилата на перспективата. Ако откриете такива, избягвайте ги.

Това каза, всичко не е загубено. Случи се фоточувствителност, а понякога снимките просто трябва да се изпълняват втори път. Или може би има една или две снимки, които просто трябва да бъдат премахнати, за да се получи добър резултат. В един или два случая успях да получа добри резултати от стилове, за които трябваше да се откажа. Например филтърът за стил на плочки за пул е неуспешен, но не изцяло. Може все още да има надежда. Може би.

Бонус: лошите фотограми обикновено завършват с визуално завладяване по някакъв начин. Може да не искате да ги използвате, но може да получите хихикане или две в процеса. Също така, от време на време кошмар.

2 - Има такова нещо като твърде много и твърде малко стил! Prisma, където проведох първоначалния си експеримент, използвах само за извеждане на изображения с максимална резолюция от 1080 пиксела. Получените мрежи бяха ниски и груби, а текстурите дори по-груби. Прекалете се близо до мрежата си и ще забележите много алиаси и пикселизиране.

Когато се преместих в софтуера на Painnt за моя стил, първоначално обработих снимките си с размера, който първоначално са направили, 12 мегапиксела. Получените фотограми бяха толкова разочарование! Геометрията на мрежата беше перфектна, но текстурната карта на модела беше кална и неясна. Най-малкото това си мислех отначало. Оказва се, че в действителност текстурите са твърде фини, за да може човешкото око да се вдигне от разстояние. Можете ясно да ги видите, ако сте много близо до вашия модел. В крайна сметка стилните снимки, представени с около шест мегапиксела, изглежда живеят в сладко място за точност, острота и прецизност. Това се превърна в моята резолюция за извеждане на стилизирани снимки в повечето случаи.

Но това все още е нещо компромисно. Разликата, според мен, е разликата между ниво на детайлност и резолюция на изображението. Понастоящем в двете части на софтуера, които оценявам (Prisma и Painnt), тези две понятия са едни и същи. Липсват ми знания, за да кажа окончателно дали те дори могат да бъдат разделени. Ако могат, това наистина отваря вратата за по-добри и по-драматично оформени фотограми.

За да покажа какво имам предвид, тук са две изображения. И двете дръпват от една и съща снимка на източника и използват същия стил. Първият обаче беше представен при ниска резолюция, докато вторият беше рендиран в оригиналния си размер от 12 мегапиксела, след което беше намален, за да съответства на размерите на първия. Вижте колко различни са те!

Това, от което наистина се нуждая е начин за извеждане на изображения, които изглеждат като първите, но имат (оригиналната) резолюция на втория. Ако планирате да направите свои собствени фотограми, в крайна сметка ще искате и това. Оригиналната библиотека с код за прехвърляне на стил е свободно достъпна, така че ако някой благороден програмист търси страхотен проект, това би било чудесно място за започване. (Подсказка)

3 - Експеримент! Ако прочетете тази статия и направите своя собствена фотограма, поздравления! Вероятно вече сте един от най-големите световни експерти по оформени фотограми. Браво, добре. Сега отидете и създайте фотограма, подобна на която светът никога не е виждал.

Всъщност не би трябвало да е толкова трудно. Софтуерът на Painnt, който използвам, вече има 180 + филтри в стил, а други се добавят всяка седмица. Аз лично вероятно съм използвал може би 20% от тях досега, върховете. Някои от любимите ми стилове са онези, които обработвах на чучулига, мислейки, че или те биха могли да се поддадат или да не успеят напълно. Работата е там, че няма да разберете, докато не опитате. Така че опитайте!

И говорейки за експериментиране:

4 - Да, можете да свържете стилове. Обработката на набор от снимки в един стил, а след това повторно обработване на тези нови изображения във втори, или дори трети стил, изглежда работи доста добре. Това е вълнуващо! Той обаче отваря вратата за намалена прецизност на мрежите, така че имайте това предвид. Ако приемем, че много хора ще направят фотограми в стил скоро, привързаните стилове са страхотен начин да направите мрежите визуално и естетически различни. Използваи го!

Ето три видеоклипа с 30 секунди, които илюстрират окован стил. Първият видеоклип е оригиналната, ненагласена мрежа. Второто видео е драматично оформена каша, а последното видео въвежда малко по-изтънченост, като изпълнява втория стил над първата драматично оформена мрежа, а последното видео въвежда малко по-изтънченост, като изпълнява втория стил над първия:

5 –

Тъй като първоначалните ми очаквания, когато създадох първата си стилова фотограма, бяха много, много ниски по отношение на шанса за успех, аз също се опитах директно да оформям текстурната карта на един от моите фотограми, сигурен, че няма да работи. Резултатите бяха… интересни. Не е малко използваема, но интересна.

Ето какво е - възможността за директно оформяне на текстурна карта би била наистина, наистина добра. Това вероятно ще подобри производителността и ефективността на активите ми 100 пъти или повече (и имайте предвид, че този процес вече е супер зареждан!). В същото време вече не е необходимо да се генерира нова мрежа за всяка оформена фотограма. Трябва само да направите много и много стилизирани текстурни карти и да ги приложите към същия модел. Така че е много важно.

Освен това, въпреки че експериментът ми с стилизираните карти с текстури не се изплъзваше, съм сигурен, че това е област, в която опитен кодер може да създаде инструмент, който прави това възможно. Вярвам, че това е вярно, защото всъщност се прави сега. Вижте този видеоклип за прехвърляне на стил в реално време, който се прилага към триизмерни обекти:

Очевидно това е предстоящият продукт на Adobe, наречен StyLit. Изглежда, че ще бъде невероятно и дори има демо, което можете да опитате.

6 - По-малко е повече. Открих, че ключът към създаването на най-драматично оформените фотограми е намаляването на набора от данни (използваните снимки) до възможно най-малкото, необходимо за производството на висококачествена мрежа. В много случаи фините детайли, които бихте предпочели да запазите на вашия модел, се усредняват от софтуера за фотограметрия, тъй като анализира всичките ви снимки. Намаляването на броя на снимките в играта е чудесен начин да възвърнете част от тази загубена подробност, поне докато някой не разплита въпроса за нивото на детайлност и резолюция. Няма фиксиран „правилен“ номер за това, така че ще трябва да експериментирате.

7 - Там няма много софтуерни пакети за прехвърляне на стил. Наистина работих само с Prisma и Painnt. Prisma добави много много добре дошли функции, откакто последно го използвах, но Painnt е наличен за Windows и Mac, докато Prisma се предлага само за Android и iOS. Това направи Painnt ясния избор за мен за ежедневна употреба. Като се има предвид, Prisma има няколко от любимите ми стилове. Вероятно и аз ще го използвам, поне в някои случаи.

В идеалния случай бих използвал софтуер за прехвърляне на стил, направен специално със стилизирани фотограми. Друга идея за благородния кодер.

Специфични съвети: Drones

Използвах само един дрон и само за последния месец. Няма да имам много съвети за безпилотни за вас. Но ще кажа това: DJI, производителят на Mavic Pro drone, който притежавам, и ясен лидер в бранша, ми струваше буквално 20 часа от почивката ми в капан в обслужването на клиенти. Това беше ръцете на най-лошия опит за поддръжка на клиенти, който някога съм срещал, и с малка разлика. Ще кажа също така, също толкова категорично: Mavic Pro е абсолютно изключителен безпилотен самолет. Лесно и забавно е да се лети, прави страхотни снимки и се сгъва във форма, толкова малка, че се побира в чантата на камерата. Искаш този дрон!

Така че, накратко: DJI !!! Вземете къщата си в ред! Няма оправдание за това, през което съм преминал!

DJI Mavic Pro дизайнерски и инженерен екип !!! Обичам те. Обичаш ли ме?

По-конкретни съвети:

1 - за операторите в Съединените щати, ще трябва да регистрирате вашия дрон с FAA. Цената е пет долара и трябва да се подновява на всеки четири години. Също така ще трябва да поставите регистрационния код на FAA, който получавате някъде на вашия дрон.

2 - Ако вашият безпилотен самолет тежи повече от половин килограм и възнамерявате да извършвате търговска работа с вашия безпилотен самолет в САЩ, за фотограми или нещо друго, ще трябва да получите лиценз за търговски дронов оператор от FAA. Това изисква тест. Ще трябва да го изучите. Вие също трябва да планирате време, за да го вземете с FAA, когато сте готови. Това също ще изисква проверка на фона. Ще има и такса за това и ще трябва да го подновявате на всеки две години.

3 - Прочетете указанията на FAA за безопасна експлоатация на дистанционно управляеми въздухоплавателни средства и упражнявайте добра преценка по време на полет. Стойте далеч от населените места и се уверете, че сте в клас въздушно пространство, което ви позволява да летите. Винаги стойте под 400 фута и осъзнайте, че може да се наложи да получите разрешение от контрола на въздушното движение във вашия район, за да лети на някои места.

Летящи, докато желаете да изпълните някое от тях, ви поставя в противоречие със закона. В някои случаи срещу вас могат да бъдат налагани големи глоби. Контрапункт: това също така ще ви накара да изгубите някакъв зле с измамник летящ робот. Аз буквално не мога да мисля за нещо, което звучи по-хладно от това. Все пак следвайте закона. Добро е за теб.

Хей, Вие никога не ни дадохте преглед на софтуера!

Нищо от това не е трудно, но това е най-лесната част от всичко това. По принцип кликнете върху един бутон, добавите снимките си и можете да отидете. Досега вече сте практически експерт по оформени фотограми. Когато приключите да четете това, е напълно възможно да сте прочели всичко, което може да се знае по темата. Част от новия софтуер няма да ви разпръсне. Вярвам в теб. Ще се справиш.

заключение

С настоящото заключавам, че оформените фотограми са страхотни! Трябва да ги направите! След това трябва да ми кажете какво сте направили и какво сте научили. Покажи ми също. Може да сме единствените хора, които правят това, затова трябва да споделяме истории.

Създадох група от Facebook, специално насочена към Styled Photogrammetrists, като теб и аз. Нашата първа цел на бизнеса може да бъде да помислим за по-добро име, което да се наричаме. Появява се подреда, веднага след като новата ми сметка под името Solipsystems получи достатъчно време и време за това.

Потърси ме. Искам да чуя от вас за вашите приключения в Styled Photogrammetry, можете да ме намерите във Facebook



Може Да Се Интересувате

Марка: телевизионен процес

Марка: телевизионен процес


Как да вторник: Поглед назад към моите проекти от 2008 година

Как да вторник: Поглед назад към моите проекти от 2008 година


Добре дошли в MAKE ... Направете: телевизионно покритие в мрежата

Добре дошли в MAKE ... Направете: телевизионно покритие в мрежата


Уикипедия над DNS

Уикипедия над DNS