Skip Navigation

Posts
58
Comments
702
Joined
3 yr. ago

  • Deres seneste apache 2.0-licenserede model hedder Mistral Small: https://mistral.ai/news/mistral-small-3-1

    Den kan hentes manuelt via Huggingface eller på listen i Jan under titlen "Mistral-Small-3.2-24B-Instruct-2506". Bemærk, at den fulde model kræver ~44 GB VRAM, så du bliver nødt til at køre en kvantiseret (nedskaleret) variant, for at du kan trække den.

    Det er en nogenlunde model til mindre ting.

  • I en anden tråd blev der spurgt om, hvordan man kan køre AI modeller lokalt - og hvad det kræver.

    Selvom det er længe siden, jeg fulgte Pewdiepie aktivt, vil jeg alligevel anbefale hans seneste video. Et underholdende og nørdet take på, hvordan han har givet sig i kast med lokale sprogmodeller.

  • det kræver nok en del stål for at det skal køre fornuftigt.

    Afhængigt af modellen, og hvad den skal kunne, ja. De kan kvanticeres (altså gøres mindre) til en vis grad, men som udgangspunkt kræver det et high-end grafikkort for at kunne trække "mellemgode" modeller til generel chat/instrukser.

    Eksempelvis OpenAI's open source lille model på 20B parametre kan køres på grafikkort med minimum 16 GB VRAM, hvis jeg forstår det ret.

    Pewdiepie, af alle, har sjovt nok lavet en video om emnet for få dage siden: https://feddit.dk/post/17021894

  • Ja, jeg kan anbefale Jan for at komme let i gang.

    Efter installationen vælger du en model fra en liste, som dit grafikkort kan håndtere. Forvent ikke samme kvalitet som proprietære modeller.

  • Vi har netop opgraderet/migreret fra MS Navision til MS Dynamics 365. Så vi kunne ikke oprette fakturaer i går 🙃

  • Derfor har jeg meldt mig ud af kirken.

    -0,9% i skat 😗

  • 'Ingen er så konfrontatoriske overfor Rusland som Danmark'

    Og det skal vi være stolte af.

  • Fra "Langsomme Samtaler"-Podcast med Rune Lykkeberg fra Information.

    Den er et lyt værd.

  • Jeg kan anbefale antennapod til podcasts (også dem der ellers kun er på dr/lyd.) Og, newpipe, som alternativ frontend til youtube, selvfølgelig uden reklamer.

    +1 til begge. Vil også slå et slag for @dolle's drpodcast.nu, hvor alle RSS til alle DRs podcasts kan hentes (og uden forsinkelse).

  • +1 til Qwant og europæisk søgeindeks

  • Bruger Simply, men ved ikke nok om dem til at kunne give en ordentlig anbefaling.

  • Man når aldrig i mål :) Der er altid mere.

    😱

    Jeg får aldrig sådan et kæmpe magisk setup med et rack og den slags. [...] Jeg køber brugt hardware på dba, og bygger ud lidt ad gangen.

    Det lyder magisk nok til mig.

    Tænker også at jeg ender med Docker... Skal bare lige... Lære det først.

    Tak for self-host indblik her i ulvetimen.

    God fredag aften!

  • Fedt. Det er et helt drømme-setup. Med en lille pige selv og begrænset machine learning viden ved jeg slet ikke hvor, jeg skal starte for at bygge et lignende setup.

    Jeg har en enkelt raspberry pi 5 opsat med Home Assistant OS til hhv. lys i hjemmet og Jellyfin medieserver. Men har helt sikkert ikke sat det mest effektivt op.

    Hvordan startede du selv, og hvordan bar du dig ad med at nå i mål?

    Og hvilken type Minecraft server(e), hvis jeg må spørge? Bare vanilla? Min datter nyder, når vi spiller MC sammen (dvs, jeg styrer det meste af tiden, og hun fortæller, hvad der skal ske), og der kommer nok en dag, hvor jeg skal rammesætte det med en server til hende.

    Note til selv: Undersøg hvad Frigate er.

  • Hvad self-host'er du på? Altså, hvad er dit setup? Overvejer selv at skifte til Immich.

  • Jeg dør 🫠❤️

  • Sora 2

    Jump