Mitä AI-musiikki oikeasti on

Oppitunti 0001 · AI-musiikin tuotanto · ~8 min lukuaikaa

Ydinajatus tähän oppituntiin: AI-musiikki ei ole "tietokone säveltää". Se on tilastollinen malli siitä, miten ääni yleensä seuraa toista ääntä. Kaikki muu — promptit, tyylisanat, kontrollisäätimet — ovat tapoja ohjata tätä tilastollista prosessia.

1. Kolme arkitehtuuria, kolme mental mallia

Nykyään tuotannossa on kolme selkeästi erilaista lähestymistapaa. Niiden ymmärtäminen erottaa sinut ihmisistä, jotka vain kirjoittavat "make a cool song" ja toivovat parasta.

Transformer + tokenit

Käyttävät: Suno, Udio, HeartMuLa

Ääni pilkotaan pieniksi "sanoiksi" (tokeneiksi) — sama idea kuin GPT tekee tekstille. Malli oppii todennäköisyydet sille, mikä tokeni seuraa mitäkin. Sama arkkitehtuuri kuin kielimalleissa, mutta sanaston muodostavat äänifragmentit eivät kirjaimet.

Diffuusio spektrogrammissa

Käyttävät: Stable Audio, Riffusion, monet uudet

Spektrogrammi on kuva äänestä (aika × taajuus, väri = voimakkuus). Malli oppii luomaan tämän kuvan lisäämällä ja poistamalla kohinaa — sama idea kuin Stable Diffusion kuvilla. Lopuksi kuva muunnetaan takaisin ääneksi.

Autoregressiivinen EnCodec (Meta)

Käyttävät: MusicGen, AudioGen

EnCodec on neuroverkko, joka pakkaa äänen diskreeteiksi koodeiksi (kuten MP3, vain neuroverkon oppima). Näitä koodeja syötetään kielimallille, joka arvaa seuraavan. Nopea, pieni, kontrolloitava.

Miksi tämä jako on tärkeä?

2. Spektrogrammi — yhteinen kieli

Kaikki kolme arkkitehtuuria operoivat jollain tasolla spektrogrammin päällä, vaikka eivät suoraan. Siksi spektrogrammin ymmärtäminen on yksi hyödyllisimmistä taidoista.

Taajuus (kHz)
  20 ┤            ▓▓▒▒░░           (laulu: keskiäänet)
  10 ┤      ▓▓▓▓▓▓▓▓▓▓▓▓▓          (rummut: leveä kaista)
   5 ┤  ▒▒▒░░░░░░░░░░░░░░░         (kitara: keskitaajuudet)
   1 ┤▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓         (basso: matalat)
     └──────────────────────── aika
       0s   5s   10s  15s  20s

Mitä tämä kertoo? Pystyakseli = taajuus (Hz, ihmiskorva kuulee ~20 Hz – 20 kHz). Vaaka-akseli = aika. Väri = voimakkuus kullakin hetkellä. Tummempi = kovempi.

Laulu näkyy kapeana vyöhykkeenä keskitaajuuksilla (200 Hz – 4 kHz). Rummut ovat leveitä pystyviivoja — transientteja. Basso on matalalla, kitarat keskellä. Kun opit "lukemaan" spektrogrammia, ymmärrät miksi tietty prompti tuottaa "ohuen" tai "täyteläisen" soundin.

3. Mitä tämä tarkoittaa sinulle

Jos valitsisit vain yhden asian muistettavaksi tästä oppitunnista, muistaisit tämän:

AI-musiikin laatu ei ole pelkkä mallin laatu — se on ohjauksen laatu. Sama MusicGen tuottaa taidetta tai kuraa riippuen siitä, miten tarkasti kuvaat haluamasi äänimaailman sanoin. Sama Suno tuottaa hitin tai roskaa riippuen siitä, miten jäsennät rakenteen.

Tämä on hyvä uutinen: taito on opeteltavissa, ei syntyjään. Ja se on tämän kurssin koko pointti.

4. Mitä seuraavaksi?

Seuraavassa oppitunnissa (0002) katsotaan konkreettisesti, miltä spektrogrammi näyttää oikeasta äänestä — otamme Suno-kappaleen ja piirrämme sen spektrogrammin, jotta opit tunnistamaan peruselementit silmällä.

Sitä ennen sinulla on yksi tehtävä:

  1. Avaa suno.com (ilmaisella tilillä) ja luo yksi kappale millä tahansa suomenkielisellä kuvauksella
  2. Kuuntele se loppuun
  3. Kirjoita vastauksesi alla oleviin kenttiin ja paina Kopioi vastaukset — liitä ne sitten tähän keskusteluun.

Lähteet