Fráze „provozuj si vlastní AI přítelkyni“ zní, jako by šlo o jeden program. V praxi jsou to tři části, které spolu komunikují, a pochopit, která dělá co, ušetří většinu frustrace.
Tři části
Co s čím mluví v typickém lokálním řešení.
Front-end je to, co vidíš: okna chatu, postavy, avatary, nastavení. SillyTavern je standardní volba pro chat s postavami. Běží v prohlížeči, ukládá postavy a chaty jako soubory na tvém disku a umí se připojit skoro k jakémukoli back-endu. Text sám negeneruje.
Back-end načte model a generuje odpovědi. KoboldCpp je jediný program bez instalace, oblíbený pro hraní rolí, protože zpřístupňuje každé nastavení generování. Ollama je nejsnazší způsob, jak model spustit pár příkazy. LM Studio je desktopová aplikace s přívětivým prohlížečem modelů. Každý z nich nabízí model na lokální adrese, ke které se front-end připojí.
Model je velký soubor, obvykle ve formátu GGUF, stažený z Hugging Face. Jeho velikost v parametrech (8B, 12B, 24B) a kvantizace rozhodují o tom, jak je dobrý a jaký hardware potřebuje.
Otázka hardwaru
O tom, jestli model běží dobře, rozhoduje paměť grafické karty (VRAM). Model se do ní musí vejít a ještě zbýt místo pro samotnou konverzaci. Kvantizace modely zmenšuje, aby se vešly: „Q4_K_M“ je běžný kompromis mezi velikostí a kvalitou.
| Velikost modelu | Přibližná paměť při Q4 | Typický hardware | Co čekat |
|---|---|---|---|
| 7–8B | 5–6 GB | Grafická karta s 8 GB | Souvislý, rychlý, v dlouhých scénách zapomíná detaily |
| 12–14B | 9–10 GB | Karta s 12 GB | Znatelně lepší postavy a próza |
| 22–24B | 14–16 GB | Karta s 16–24 GB | Blízko dobrým hostovaným aplikacím pro hraní rolí |
| 70B | 40 GB+ | Dvě karty nebo Mac s velkou pamětí | Výborný, pomalý a drahý |
Tato čísla jsou přibližná: delší kontext potřebuje navíc další paměť. Macy s Apple Silicon sdílejí paměť mezi procesorem a grafikou, takže MacBook s 32 GB může spouštět modely, které karta s 12 GB nezvládne. Model, který se nevejde, přeteče na hlavní procesor a zpomalí se na plazení: pokud odpovědi chodí rychlostí pár slov za sekundu, přejdi na menší model, než zkusíš tvrdší kvantizaci. Menší model v dobré kvalitě obvykle porazí větší příliš stlačený.
Co získáš
- Soukromí, které nezávisí na zásadách. Nic neopouští stroj. Žádná doba uchování, žádné trénování, žádný přístup zaměstnanců, nic, co bys později mazal.
- Žádný filtr kromě vlastního v modelu. Model si vybíráš ty, včetně těch laděných přímo pro hraní rolí. Zákonné dno obsahu platí i pro tebe, ale žádný provozovatel k tomu nepřidává pravidla.
- Žádné předplatné ani kredity. Generuj, kolik chceš.
- Postavy, které vlastníš. Karty postav jsou obyčejné obrázky PNG s vloženým popisem postavy. Přesouvají se mezi front-endy a aktualizace je nemůže sebrat.
- Stabilita. Model, který dnes funguje, bude fungovat stejně za pět let. Nikdo ti ho nemůže vyměnit pod rukama, což je riziko popsané v článku když se tvůj AI společník přes noc změní.
Čeho se vzdáš
- Čas na nastavení. Počítej s jedním večerem na první funkční chat a týdny ladění, pokud tě to baví.
- Paměť je tvoje práce. Hostované aplikace o tobě tiše shrnují a ukládají fakta. Lokálně to řídíš pomocí lorebooků, shrnutí a poznámek postavy v SillyTavern: stejné tři mechanismy vysvětlené v článku jak funguje paměť AI společníka, jen s odkrytým ovládáním.
- Obrázky a hlas jsou samostatné projekty. Generování obrázků potřebuje vlastní model a obvykle víc paměti grafiky; hlas potřebuje nástroje na rozpoznávání a syntézu řeči. Všechno je možné, nic není automatické.
- Mobil je nepohodlný. Front-end můžeš otevřít z telefonu na domácí Wi-Fi. Používat ho mimo domov znamená vystavit počítač internetu, což chce opatrnost.
- Strop kvality. Nejlepší hostované modely jsou větší než cokoli, co většina lidí doma spustí, zejména co se týče dlouhodobé konzistence.
Střední cesta a její háček
Mnoho lidí provozuje SillyTavern na vlastním stroji, ale připojuje ho k placenému cloudovému API místo lokálního modelu. Dostaneš ovládání front-endu a soubory postav, mnohem větší modely a ceny za zprávu, které mohou být při malém používání levné.
Soukromé to ale není. Každá zpráva jde poskytovateli API podle jeho pravidel logování, uchování a obsahu, často přísnějších k obsahu hraní rolí než specializované aplikace se společníkem. Je to jiný kompromis, ne lokální řešení.
Základy bezpečnosti
- Stahuj software jen z oficiálních stránek projektů na GitHubu nebo z webu samotného projektu.
- Modely stahuj od známých uploaderů na Hugging Face a upřednostňuj soubory GGUF, které obsahují data modelu, ne kód.
- Přečti si licenci modelu. Některé omezují komerční použití, několik omezuje určitý obsah.
- Nech SillyTavern navázaný na tvůj vlastní stroj nebo domácí síť, pokud sis nenastavil heslo a nechápeš, co vystavuješ.
SillyTavern se vyvíjí otevřeně na GitHubu.
Pro koho to je
Provozuj společníka lokálně, pokud je tvou hlavní starostí soukromí, už máš výkonný hardware, nebo tě konfigurace baví stejně jako používání. Zůstaň u hostované aplikace, pokud chceš hlas, obrázky a dlouhou paměť fungující hned, nebo hlavně chatuješ v telefonu. Tuto cestu pokrývá náš průvodce výběrem první aplikace. Spousta lidí skončí s oběma: hostovanou aplikací pro pohodlí a lokálním řešením pro konverzace, které by raději nikde neukládali.