

{"id":126,"date":"2024-04-01T09:35:26","date_gmt":"2024-04-01T09:35:26","guid":{"rendered":"https:\/\/bemjax.com\/blog\/?p=126"},"modified":"2024-04-01T09:59:06","modified_gmt":"2024-04-01T09:59:06","slug":"ideje-za-konfu","status":"publish","type":"post","link":"https:\/\/bemjax.com\/blog\/ideje-za-konfu\/","title":{"rendered":"Ideje za konfe"},"content":{"rendered":"\n<h2 class=\"wp-block-heading has-black-color has-text-color has-link-color wp-elements-013e34408f5e1512cfbb3a28c29ff343\" style=\"margin-top:var(--wp--preset--spacing--xx-large)\">1. Napravite svoj Midjourney <\/h2>\n\n\n\n<p>Uzeti grafi\u010dki dio koji su kolege radile u prija\u0161njim sessionima kao uvod i sada objasniti na tehni\u010dkom nivou &#8211; kako napraviti isto na svom modelu, na svom kompu ali bez ikakvih restrikcija.<br>Vjerujem da je ovo svima zanimljivo i lak\u0161e za pratiti jer je sadr\u017eaj grafi\u010dki a i radi se u grafi\u010dkom su\u010delju, osim toga bang-for-buck je fenomenalno\u2026ne moras \u010dekati, besple je, neograni\u010deno i najva\u017enije nema nikakvih restrikcija.<br>Ovo je najbr\u017ei na\u010din za \u010dovjeka bez puno specifi\u010dnog AI tehni\u010dkog znanja da dotrenira neki moderni AI model i ima instant value. <br>Nakon \u0161to pogleda ovaj uvod svaki od posjetitelja ( ukoliko znaju poslati email ) \u0107e mo\u0107i reproducirati vi\u0111eno doma.<br><br><strong>Alati <\/strong>: ra\u010dunalo sa instaliranim python\/conda, pip i primjerenom grafi\u010dkom karticom<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u0160to je StableDiffusion<br>Objasniti spregu llm-a i diffusera bez puno matematike, objasniti kako se dobija tekst embeding prompta i kako se njim se uz pomo\u0107 diffusera stvara slika<\/li>\n\n\n\n<li>Performanse <br>Kako ga upogoniti i koji su benefiti lokalne instalacije te \u0161to mo\u017eemo o\u010dekivati od kojeg hw,pokazati omjere cijena  i brzine renderiranja za nekoliko suvremenih kartica<\/li>\n\n\n\n<li>Featuri diffusion modela <br>Tehni\u010dki background featura koje vide u Midjourneyu i Daleeu, \u0161to su steps, seed, inpainting&#8230;<\/li>\n\n\n\n<li>Alati <br> predstaviti ukratko UI alati koji olak\u0161avaju rad sa sirovim modelima (comfy vs automatic1111)<\/li>\n\n\n\n<li>Instalacija <br>U\u017eivo pro\u0107i instalaciju na lokalnom windows ra\u010dunalu ( vjerovatno automatic1111 )<\/li>\n\n\n\n<li>Embeddings<br>objasniti word embedinge u kontekstu SD kroz u\u017eivo kloniranje umjetni\u010dkog stila ili osobe<\/li>\n\n\n\n<li>Dodatni featuri Automatic11111<br>CLIP, navo\u0111enje modela sa poseNetom ili 3d sadr\u017eajem , mo\u017eda u\u017eivo pokazati interior design \/ visualisation<\/li>\n\n\n\n<li>LoRa<br>upotreba i stvaranje LoRa, downloadati i loadati loru sa civit.ai, izrenderirati neki prompt za usporedbu<\/li>\n\n\n\n<li>Final <br> stvaranje svog chekpointa \/ pakiranje i merganje napravljenog u svoj model ( ne vjerujem da bi ovo zadnje stigli )<br><\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading has-black-color has-text-color has-link-color wp-elements-d80b4c5b97e6763fc9282bea25a9b6f9\" style=\"margin-top:var(--wp--preset--spacing--xx-large);margin-bottom:0\">2. Napravite svoj Google search<\/h2>\n\n\n\n<p>Iz nule document indexing sustav pogonjen modernim NLP tehnikama i alatima ( Lanchain Ragatoile \/ ColBert za Information retrival\/RAG )<br>Ovo je dosta suhoparno, pisalo bi se puno po tipkovnici i slicno, ali je isto atraktivno jer bi ljudima objasnilo kako radi Google.<br>Ne vjerujem da bi mogli sti\u0107i sve, pa mozda neki dio ovoga<\/p>\n\n\n\n<p><strong>Alati <\/strong>: sna\u017eno ra\u010dunalo sa instaliranim python\/conda, pip, langchain <br><br><\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-4-3 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe loading=\"lazy\" title=\"RAG From Scratch: Part 14 (ColBERT)\" width=\"500\" height=\"375\" src=\"https:\/\/www.youtube.com\/embed\/cN6S0Ehm7_8?start=137&#038;feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u0161to su word vektori i povijest embedinga <br>bow, word2vec (objasniti da se rijeci, recenice i tekstovi mogu izraziti kao fixed length vektori koji se dalje tretiraju matematicki i onda opet renderiraju u tekst)<\/li>\n\n\n\n<li>\u0160to je IR, indexing, RAG <\/li>\n\n\n\n<li>Arhitektura modernog sustava<br>objasniti arhitekturu IR sustava (u videu je dijagram)<\/li>\n\n\n\n<li>Indexing<br>napraviti bota koji surfa netom i internet stranice razbije na tokene i indexira s Lanchain Ragatoile<\/li>\n\n\n\n<li>Su\u010delje<br>search sucelje (input i button) koje \u0161alje na api &#8220;search&#8221;;<\/li>\n\n\n\n<li>Retrival \/ query<br>api implementacija Lanchain Ragatoile za IR;<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading has-black-color has-text-color has-link-color wp-elements-bb8aa96aa19c931adaa3038bf11030af\" style=\"margin-top:var(--wp--preset--spacing--xx-large)\">3. AI Audio sa Warp-om<\/h2>\n\n\n\n<p> Demonstriramo SOTA audio modele i mogu\u0107nopsti Warp-a u edge pipeline-ima kroz stvaranje potpuno automatiziranog sustava za generaciju audio drama. <br>Za konfu se izradi posebni profil ili aplikacija koju posjetitelji mogu potra\u017eiti unutar warp-a i sami koristiti neko vrijeme pojedine alate\/aplikacije nakon eventa, besplatno ( one koje ce im biti najzanimljivije, kloniranje glasa npr. ).<\/p>\n\n\n\n<p><strong>Alati <\/strong>: ra\u010dunalo sa instaliranim modernim preglednikom<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u0160to je Warp<br>Kako pristupiti, \u0161to su Inspectori i Brandovi <\/li>\n\n\n\n<li>Speech to text<br>pokazati nekoliko nivoa kvalitete speech2text, demonstrirati alat za Whisper<\/li>\n\n\n\n<li>Razbijanje teksta na strukturirani kod sa govornicima (dieratisation) sa cgpt<br>Uzeti kratki tekst ( ili dugi pa razbiti na context window length ) i promptati cgptu da vrati json sa govornicima<br>napraviti brand &#8220;AudioDrama&#8221; za ovu strukturu<\/li>\n\n\n\n<li>Stvaranje heuristi\u010dkog glumca \/ govornika<br>Napraviti JS objekt i brand &#8220;Actor&#8221; koji imlpementira .speak() metodu, ima property name, za svakog govornika iz &#8220;AudioDrama&#8221; -e <\/li>\n\n\n\n<li>Kloniranje glasa<br> Demonstrirati u\u017eivo snimanje i kloniranje za &#8220;Actore&#8221; sa 11labs ili styletts2 ( ak mi je server live) <\/li>\n\n\n\n<li>Generiranje pozadinskih zvukova sa AudioLM<\/li>\n\n\n\n<li>Generiranje glazbe sa StableAudio<\/li>\n\n\n\n<li>Final<br>napraviti renderer za &#8220;AudioDrama&#8221; koji izrenderira JSON strukturu u audio timeline sa govornicima i pozadinskim zvukovima <\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>1. Napravite svoj Midjourney Uzeti grafi\u010dki dio koji su kolege radile u prija\u0161njim sessionima kao uvod i sada objasniti na tehni\u010dkom nivou &#8211; kako napraviti isto na svom modelu, na svom kompu ali bez ikakvih restrikcija.Vjerujem da je ovo svima zanimljivo i lak\u0161e za pratiti jer je sadr\u017eaj grafi\u010dki a i radi se u grafi\u010dkom [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-126","post","type-post","status-publish","format-standard","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/posts\/126","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/comments?post=126"}],"version-history":[{"count":14,"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/posts\/126\/revisions"}],"predecessor-version":[{"id":141,"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/posts\/126\/revisions\/141"}],"wp:attachment":[{"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/media?parent=126"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/categories?post=126"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bemjax.com\/blog\/wp-json\/wp\/v2\/tags?post=126"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}