Künstliche Intelligenz und deren Möglichkeiten

Die Hintergründe zu Softbank & Trump sind auch ganz interessant:

Trump said the investments in building artificial intelligence infrastructure would create 100,000 jobs, twice the 50,000 promised when Son pledged $50 billion in U.S. investments after Trump’s victory in 2016.

Sie haben 50 Milliarden investiert. Aber alles in private Firmen. Fraglich, ob der Deal mit Trump irgendeinen Effekt hatte, außer PR. Darunter waren aber auch die fast 20 Milliarden für WeWork, die Softbank verloren hat.

SoftBank also invested in the failed robot pizza-making company Zume. Son is canny: SoftBank-related spending on lobbying and donations to U.S. politicians and parties runs into the billions of dollars. And both times Trump was elected, Son was quick to show his support.

Gab es damals 50k neue Jobs? Weiß keiner.

Whether all that money has translated into the promised 50,000 jobs is difficult to determine. SoftBank would not provide an estimate of how many jobs it has created in the U.S. since Son’s pledge. Because the majority of the Vision Fund’s investments have gone to private companies, public data is not available, making it hard to hold Son accountable for his promise.

Softbank investiert da also sicher nicht um AI voranzutreiben oder OpenAI zu helfen. Sondern einzig und allein um Geld zu machen. Das passt zu dem Projekt Stargate halt 0.

Trump and Son said the $100 billion that SoftBank has promised to invest will go to building AI infrastructure, but the nature of that spending remains unclear. The eventual impact of AI on jobs remains an open question, but much of its infrastructure is based on energy-guzzling data processing centers that are likely to employ relatively few people once they are built.

Die, nennen wir’s mal populärjournalistische Berichterstattung über das KI-Thema ist so lästig. das Chinesische Modell verwendet „nur 2000 Chips“. Okay. Danke.

Zudem schreibt die Financial Times, es gebe noch gar keine ausgearbeiteten Pläne, weder zur Finanzierung, noch zur Umsetzung. Äußern wollten sich die betroffenen Unternehmen nicht. Dabei hatte nicht zuletzt Sam Altman, CEO von OpenAI, gesagt, das Projekt werde die Führungsrolle der USA im Bereich KI sichern. Nun klingt es eher, als ob es die Vorherrschaft OpenAIs unterstützen solle.

Ist halt einrfach der perfekte Zeitpunkt für Trumps Stargate-Müll. Haben ja jetzt auch noch einen Bildgenerator.

Und Alibaba kommt jetzt auch mit der neuen Version ihrer KI um die Ecke: Qwen2.5-VL

Totaler Schwachsinn, dass deepseek bzw. deren Optimierungen zu einem Rückgang der Nachfrage an GPUs führen soll. Bisher hat noch jede Optimierung (und da gab es viele) dazu geführt, dass noch größere Modelle auf noch mehr Daten trainiert wurde. Die Optimierungen von deepseek sind ja auch bis auf eine Ausnahme nicht neu in dem Sinne, sondern wurden halt alle noch nich zusammen in einem Modell genutzt bzw. nutzbar gemacht.

Wie es um die Marktführerschaft von OpenAI gestellt ist bleibt abzuwarten. Man darf skeptisch gegenüber Modellen aus China sein, es gab in der jüngeren Vergangenheit auch die Qwen Modelle aus China welche in den Benchmarks sehr gut waren aber den „vibe check“ nicht bestanden haben. Zuzutrauen ist es China aber trotzdem weil sie unbestritten sehr gute Researcher haben die zunehmend auch in China bleiben oder dorthin zurückkehren.

2 Like

Was ist denn ein „vibe check“?

Wird so genannt mangels konkreter Methodik. Meiner Meinung nach setzt sich das zusammen aus:

  • Wie gut wird es adaptiert von der open source Gemeinde. Da es dort für die vielfältigsten Zwecke eingesetzt wird, reicht es nicht, das Modell auf den gängigsten Benchmarks zu optimieren.

  • Die kumulierten Erfahrungen auf Twitter/BlueSky zum direkten Interagieren mit dem Modell. Das lässt sich einfach schlecht messen mit Benchmarks.

  • Leaderboards wie Chatbot Arena https://lmarena.ai/

Eine andere Modellfamilie, die auch bekannt dafür ist gut in Benchmarks zu sein aber den vibe check nicht besteht ist Phi von Microsoft.

4 Like

gibt es noch viel mehr an daten? ich habe jetzt schon öfter gelesen, dass schon praktisch alles was elektronisch an daten existiert zum trainieren verwendet wird. jetzt trainiert man auf den eigenen outputs etc.

glaube das problem ist, so lange kein modell sich dauerhaft merklich von allen anderen abhebt, verdient niemand so richtig geld. openai verliert milliarden jedes jahr und das war vor deepseek.

es gibt wahrscheinlich hunderte oder tausende startups, die wahrscheinlich hunderttausende gpus gekauft oder in der cloud gemietet haben und demnächst ihren investoren erkären müssen, ob sie jemals mit deepseek etc. konkurrieren und überhaupt geld verdienen können.

glaub da könnten auch viele gpus frei werden. :sweat_smile:

Ja, aus den aktuellen Datenquellen wird man die Trainingsdaten noch ein paar mal verdoppeln können, vorallem weil aktuell noch stark nach Qualität gefiltert wird. Auch wird bei LLMs aktuell jeder Datenpunkt nur einmal verwendet, obwohl klar ist, dass man sie im Training auch wiederholt nutzen kann. Das kann man so 2-3 mal machen bevor der Trainingseffekt zu stark nachlässt.

Wir sind ja gerade mal bei Textdaten und Bildern. Videos/Audio werden nur sporadisch genutzt um „LLMs“ zu trainieren/verbessern und andere Modalitäten wie Sensor-/Mess-/Geo-/tabellarische Daten spielen praktisch noch garkeine Rolle im Erstellen von general purpose Modellen.

Gerade paar Videos gesehen, dass DeepSeek natürlich im Sinne des chinesischen Regimes Informationen zensiert :smiley:

Zum Tiananmen Massaker wird man dort nix finden

:pika:

Würde mich nicht wundern, wenn man bei openai bald auch nicht mehr richtig raus bekommt, was DTJ eigentlich für ne Sau ist.

oh the irony.

1 Like

Verbrecher wohin man schaut

1 Like

China vs USA das neue USA vs UDSSR

Nur dass China was Kamin Vergleich zum Bauernstaat

Wilde Autokorrektur hast du da, Bruderstaat. Vielleicht mal eine andere KI dafür testen :rjface:

Schon lustig. Gerade danach gefragt, da liefert er erst eine Zusammenfassung, doch dann ändert er den Post zu:

Sorry, that’s beyond my current scope

Wenn man dann nochmal danach fragt:

Ich kann keine Informationen zu diesem Thema bereitstellen. Wenn du Fragen zu anderen historischen Ereignissen oder Themen hast, stehe ich dir gerne zur Verfügung.

So ähnlich ging es mir mit ChatGTP, als er sich weigerte mir einen Film zusammenzufassen.
Das wollte er nicht, weil der Film explizite Gewaltszenen (ua. Vergewaltigung) beinhaltete.
Dann habe ich ihn zugelabert mit Kunstfreiheit und dass der Film gesetzlich nicht verboten ist. Da hat er sich weiterhin geweigert und auf seine Firmenrichtlinien verwiesen.
Als ich dann geschrieben hatte, dass er es doch unter Wahrung seiner Richtlinien zusammenfassen kann, hat er es dann wirklich getan.

Lustige Anekdote Ende. Und ja, fühle mich cool ne AI manipuliert und ausgetrickst zu haben