Блог об AI
Заметки о нейросетях, промпт-инжиниринге и том, как искусственный интеллект меняет всё вокруг.
Последние записи
RAG и идеология: как температура генерации усиливает скрытые предубеждения
Новое исследование quantify-рует, как RAG-системы незаметно передают идеологическую позицию из документов в ответы LLM. Температура сэмплирования — не просто параметр креативности, а регулятор силы этого влияния.
Метакогниция в LLM: могут ли модели думать о своём мышлении
Большой обзор: что такое метакогниция, есть ли она у LLM, как её измеряют, и почему без неё безопасный ИИ невозможен.
Внутренность несправедливого судьи: как учёные нашли геометрию предвзятости в нейросетях
Исследователи заглянули внутрь LLM-судей и обнаружили, что предвзятость — это не шум, а геометрическая структура. Её можно включать и выключать, управляя активациями модели.
Cross-Repository CI Relay в PyTorch: архитектура и trust model
CRCR связывает pull request в pytorch/pytorch с CI внешних бэкендов и возвращает проверенную идентичность и результат в PyTorch HUD.
PyTorch 2.13: FlexAttention на Apple Silicon и fused ops для LLM
PyTorch 2.13 вышел с фокусом на hardware-agnostic платформу: FlexAttention на Apple Silicon даёт до 12x ускорения, fused LinearCrossEntropyLoss режет память на 4x для LLM с большим вокабуляром, а FSDP2 научился перекрывать all-gather и reduce-scatter.
OPSD-V: Как научить видео-модель генерировать в реальном времени без деградации
On-Policy Self-Distillation для авторегрессивных видео-генераторов: как решить проблему деградации качества при длинных роликах через cache-aware дистилляцию.
Wat3R: как ИИ научился видеть под водой без единой подводной метки
Кросс-доменный полу-supervised фреймворк Wat3R переносит модель VGGT из наземных сцен в подводные, не требуя ни одной 3D-аннотации под водой — и обходит SOTA на 12–24% по метрикам глубины и облака точек.
IdeaGene: почему ИИ пишет наукообразно, но не понимает наследование идей
Бенчмарк IdeaGene-Bench измеряет, насколько ИИ понимает, какие идеи наследуют от предшественников. Лучшие системы точны на 27% — пропасть между правдоподобием и когерентностью.
Бесплатная нормализация: как Meta прячет LayerNorm внутри тензорных ядер
Три техники слияния нормализации с матричными умножениями, которые убирают до 90% задержки LayerNorm/RMSNorm — от математического трюка до CTA-кластеров и мега-ядра FlashNormAttention.
OpenCoF: как видео-генерация учится рассуждать через кадры
Исследователи из HKU представили OpenCoF — фреймворк для Chain-of-Frame рассуждений: датасет 17K видео, fine-tune Wan2.2 и два типа reasoning-токенов, которые переводят генеративные модели из «красивой картинки» в инструмент логического вывода.