Määritä oma palvelin (Pro)
Murmel Pron avulla oma Whisper-palvelimesi litteroi iPhonen sijaan. Se kannattaa murteiden, kuten sveitsinsaksan, kanssa. Murmel toimii minkä tahansa palvelimen kanssa, joka tarjoaa OpenAI:n litterointirajapinnan, esimerkiksi speaches ja malli faster-whisper-large-v3-turbo. Äänitys menee vain tälle palvelimelle yhdessä Murmelissa valitsemasi kielen kanssa.
- Luo Dockeria käyttävälle tietokoneelle alla olevan kaltainen compose.yaml-tiedosto. Luo sen viereen .env-tiedosto, jossa on yksi rivi API_KEY= ja sen perässä pitkä satunnainen arvo, esimerkiksi komennosta ”openssl rand -hex 32”.
- Käynnistä komennolla ”docker compose up -d”. Lataa malli kerran: curl -X POST -H "Authorization: Bearer OMA_API_KEY" http://localhost:8000/v1/models/deepdml/faster-whisper-large-v3-turbo-ct2
- Avaa Murmelissa Asetukset > Oma palvelin ja napauta ”Lisää palvelin”. Syötä nimi, osoite ja tokeniksi API_KEY:n arvo, valitse sitten malli ja tallenna.
- Valitse palvelin kohdassa Asetukset > Äänitys > Litterointi.
- Kotiverkossa syötät tietokoneen LAN-osoitteen, esimerkiksi http://192.168.1.20:8000. Jos palvelimen pitää olla tavoitettavissa myös liikkeellä, se tarvitsee https-osoitteen, esimerkiksi Cloudflare-tunnelin tai käänteisen välityspalvelimen kautta. Murmelissa lukee silloin esimerkiksi https://whisper.example.com.
- Tietokoneessa kannattaa olla 4 ydintä AVX2-tuella ja 8 Gt muistia. Jos Murmel hylkää tokenin, API_KEY ja apin token eivät täsmää. Jos Murmel ei näytä mallia, mallia ei ole vielä ladattu palvelimelle.
services:
speaches:
image: ghcr.io/speaches-ai/speaches:latest-cpu
restart: unless-stopped
environment:
API_KEY: ${API_KEY}
WHISPER__TTL: "-1"
ports:
- "8000:8000"
volumes:
- hf-hub-cache:/home/ubuntu/.cache/huggingface/hub
volumes:
hf-hub-cache: