Life Pattern

Author: zimage

  • The Limits of Understanding?

    A few days ago I read this post on dvzer’s blog, about the recent AI advances in mathematics.

    He describes three ways of solving a mathematical problem: brute-forcing it, developing just enough understanding to find a solution, or understanding it deeply enough that the solution becomes almost obvious. All three may produce the correct answer, but only the last one really makes you a better mathematician.

    That stuck with me in some amorphous form, although I didn’t have anything specific to say at the time.

    I sometimes find myself in a similar situation at work. There’s a problem to solve, not nearly enough time, and I manage to get something working without fully understanding all the details. Then a colleague asks me to explain something about the solution, and I feel a bit like an impostor. Or a plagiarist, even though I haven’t actually plagiarized anything (other than the man pages) 🙂

    Of course, I’d prefer to understand everything thoroughly, be able to generalize what I’ve learned, reflect on it, perhaps even come up with some improvements. But the business reality is that there simply isn’t enough time. The thing works, there are other things to do, and I move on.

    Yesterday I stumbled upon this article in The Decoder, about OpenAI’s mathematical proofs and the criticism from mathematicians who question the methodology and how much actual understanding went into them.

    These are people much smarter than me, at least when it comes to mathematics, and they may well be right.

    But I keep thinking we’re making a mistake if we judge AI only by what it can do today, and implicitly assume that’s approximately what it will always be able to do.

    The GPT models of 2023 couldn’t have produced these proofs. Or done many of the rather impressive programming and other tasks that current models and agents routinely handle. Apparently, “never” can sometimes be as short as three years.

    There’s also a somewhat different question: what if AI eventually discovers things that humans simply cannot understand?

    Why should we assume that the human brain is capable of understanding everything, given enough education and effort? We readily accept our physical limitations. No amount of training is going to make me an Olympic sprinter. And probably no amount of studying will make me a world-class mathematician either.

    We’re also quite comfortable with machines being better than us at various things. Tractors, industrial machinery, calculators, computers… The mechanization of agriculture helped bring its share of employment down to 2% over the 20th century, while producing much more food.

    But those machines were mostly specialized tools. The tractor doesn’t decide what to grow. The calculator doesn’t invent new mathematics.

    AI is potentially different. It’s much broader, and perhaps eventually much deeper. What happens if it becomes better than us not just at solving problems, but also at deciding which problems are worth solving, developing new theories, and making discoveries?

    And what if some of those discoveries are beyond the cognitive capabilities of even the smartest humans?

    I can certainly see the problem: how do we verify something that nobody understands? What happens to scientific research, and to the people doing it? How do we retain control over something that may eventually understand the world much better than we do?

    I don’t have answers to those questions.

    But I also don’t see why we should expect human intelligence to remain the upper limit of what can be understood (is that even the right word?). Or why the shortcomings of today’s AI should tell us very much about what it will be capable of three years from now.

  • Дефлация на “интелигентността”

    Прави ли ви впечатление колко бързо вчерашните най-добри и най-скъпи модели се превръщат в нещо сравнително обикновено? Т.е. колко малко време отнема нещо, което днес е frontier capability, да слезе до нормалния workhorse модел. В момента това време изглежда подозрително кратко.

    Например Fable 5.1 излезе като top модел, само няколко седмици по-късно Opus 5.5 почти го настигна, а 27 дни по-късно Sonnet 5.5 вече е някъде около него по доста от измерванията.

    Може да е особеност на release цикъла им, припокриващи се training pipelines и т.н. Но ето сега OpenAI направиха почти същото: GPT-6 Astra излезе на 3 септември, а 26 дни по-късно, на 29-ти, GPT-6.1 Sol вече е на 52 точки в Artificial Analysis срещу 53 за Astra, при около 4.5 пъти по-ниска цена на задача. При coding резултатите Sol даже минава Astra на някои тестове.

    Разбира се, това не означава, че AI напредва едно поколение на всеки месец. Тези модели очевидно не са започнати един след друг, а и benchmarks си имат проблеми.

    Epoch пък намират, че цената за фиксирано ниво на capability пада с повече от порядък годишно — около 13 пъти.

    Отделно METR измерват нещо съвсем различно — колко дълга задача може един агент да довърши надеждно — и там историческият doubling time е около 7 месеца.

    Та май всъщност се случват няколко различни неща едновременно:

    • самият frontier се мести осезаемо на всеки няколко месеца;
    • agent horizon исторически се удвоява за около 7 месеца;
    • цената на едно и също ниво на capability пада с повече от порядък годишно;
    • а вчерашният frontier понякога слиза към евтините модели само за няколко седмици.

    Последното ми е най-интересно, защото SOTA модел за $50/M tokens може да е впечатляващо demo, но не е за простосмъртни. Същото нещо за $10 или по-малко след месец вече започва да променя какво реално се ползва масово.

  • Полу-на-море, полу-на-село

    Когато си на море, ама все едно си си отишъл на село, нещата се развиват по доста различен начин. Кое точно го определя така, не знам, но може би дългият престой и това, че се замъкнахме с целия катун, барабар с котката и прахосмукачката.

    Какво общо има дългият престой ли? Може би това, че когато сме за кратко, се опитваме да вземем колкото се може повече наведнъж — от сутрин до вечер на плажа, всеки ден злоупотреби с таверни, аху-иху…

    А когато сме за цял месец, то вече не е sustainable да прекарваме по 9+ часа на плажа и го раздаваме доста по-разнообразно и умерено. Не пропуснахме нито ден да се цопнем в любимото море, но повечето дни в такъв интервал и с такава продължителност, че (почти) не ползвахме слънцезащитен крем и пак не изгоряхме. Типично от 16:00 до залез (20:00+).

    Когато си за седмица, консумираш морето; когато си за месец+, то просто се превръща в средата, в която живееш.

    Даже изработих 6 remote смени по средата. Чувал съм да казват, че богат е този, който не просто има парите за цяло лято на море, ами и времето.

    То комай времето е единственият ни наистина ограничен и необратим ресурс.

    А при по-дълъг престой започваш да забелязваш неща, които за кратко остават невидими. Виждаш как се сменят — айде да не са чак сезоните — периодите. В средата на август плажовете бяха доста по-пълни, после постепенно опустяха. По едно време се появиха лястовички за десетина дни и после изчезнаха.

    Цикадите се поумълчаха. Гугутките не 🙂

    Освен обичайните лапини, барбуни и др. дребни риби попаднахме на раци (Ники даже без да иска изрови един от пясъка, докато си строеше нещо там), скат, лъвска риба (инвазивен вид) и хамелеон. Вечер пък се чуваше характерният вой/плач на чакалите. Ако не сте чували, звучи така (клипът не е мой).

    Между другото, понеже не искахме да ни чистят, за да не се стресира котката (или пък да избяга и да бере ядове с чакалите и другите твари), само вземахме чистите чаршафи и кърпи и връщахме употребяваните. Чистим си сами (с прахосмукачката).

    Жената, която ни ги носеше — γιαγιά Βούνα — все настояваше да чисти и да сменя, а ние все отказвахме. По едно време започна да ни носи от неиния личен (δικό μου!) зехтин в бутилки от минерална вода.

    Пък това да захранваш тренировката с крайпътни смокини (поредният spatial модел в главата ми — знам къде са повечето смокини в радиус 5 км около Ρωμανός), да я разнообразяваш с гледки като тази към Παραλία Βοϊδοκοιλιά и всякакви други „картички“ и да завършиш с плонж в морето е просто… безценно (за мен).

    Понякога, след плажен „тенис“, всякакви игри с топки и фризби (като напр. фризби с тръстикови копия), копане на дупки и канали, крепости, шнорхелинг… стигаме и до плажно мебелостроене — Ники си построи пейка да си гледа залеза, а аз плет, защото имаше тръстики.

    С цели дни не бяхме обличали други дрехи освен един бански, който се ~пере и съхне, докато си с „пижамата“. Спорт със същия бански 🙂 Имам и “официален” бански, с който ходя до φούρνος.

    Според Withings съм свалил малко над 0.5 кг, предимно мазнини. Може би има нещо вярно в това, че средиземноморската диета работи най-добре на Средиземно море.