Postavi vlastiti poslužitelj (Pro)
S Murmel Pro umjesto iPhonea transkribira tvoj vlastiti Whisper poslužitelj. To se isplati kod dijalekta poput švicarskog njemačkog. Murmel radi sa svakim poslužiteljem koji nudi OpenAI sučelje za transkripte, primjerice speaches s modelom faster-whisper-large-v3-turbo. Snimka ide samo na taj poslužitelj, zajedno s jezikom koji je odabran u aplikaciji Murmel.
- Na računalu s Dockerom izradi datoteku compose.yaml kao u nastavku. Pokraj nje izradi datoteku .env s jednim retkom API_KEY= i dugom nasumičnom vrijednošću, recimo iz „openssl rand -hex 32“.
- Pokreni s „docker compose up -d“. Jednom učitaj model: curl -X POST -H "Authorization: Bearer TVOJ_API_KEY" http://localhost:8000/v1/models/deepdml/faster-whisper-large-v3-turbo-ct2
- U aplikaciji Murmel pod Postavke > Vlastiti poslužitelj dodirni „Dodaj poslužitelj“. Unesi naziv, adresu i kao token vrijednost API_KEY, zatim odaberi model i spremi.
- Pod Postavke > Snimka > Transkribiranje odaberi poslužitelj.
- U kućnoj mreži unosiš LAN adresu računala, primjerice http://192.168.1.20:8000. Ako poslužitelj treba biti dostupan i izvan kuće, treba mu https adresa, recimo preko Cloudflare tunela ili obrnutog proxyja. Tada u aplikaciji Murmel piše primjerice https://whisper.example.com.
- Računalo bi trebalo imati 4 jezgre s AVX2 i 8 GB radne memorije. Ako Murmel odbija token, API_KEY i token u aplikaciji se ne podudaraju. Ako Murmel ne prikazuje model, model još nije učitan na poslužitelju.
services:
speaches:
image: ghcr.io/speaches-ai/speaches:latest-cpu
restart: unless-stopped
environment:
API_KEY: ${API_KEY}
WHISPER__TTL: "-1"
ports:
- "8000:8000"
volumes:
- hf-hub-cache:/home/ubuntu/.cache/huggingface/hub
volumes:
hf-hub-cache: