Блог об AI
Заметки о нейросетях, промпт-инжиниринге и том, как искусственный интеллект меняет всё вокруг.
Последние записи
SpectraReward: как MLLM становятся бесплатными судьями для генерации изображений
Китайские исследователи показали, что pretrained MLLM можно использовать как reward-модель для RL в генерации изображений — без разметки, без дообучения, просто проверяя, насколько хорошо картинка воспроизводит исходный промпт.
Requential Coding: как нейросети сжимают сами себя
Requential coding — метод сжатия, длина кода которого не зависит ни от числа параметров, ни от энтропии данных. Больше модель — меньше бит при том же loss. PAC-Bayes bound для миллиардных LLM.
RAG и идеология: как температура генерации усиливает скрытые предубеждения
Новое исследование quantify-рует, как RAG-системы незаметно передают идеологическую позицию из документов в ответы LLM. Температура сэмплирования — не просто параметр креативности, а регулятор силы этого влияния.
Метакогниция в LLM: могут ли модели думать о своём мышлении
Большой обзор: что такое метакогниция, есть ли она у LLM, как её измеряют, и почему без неё безопасный ИИ невозможен.
Внутренность несправедливого судьи: как учёные нашли геометрию предвзятости в нейросетях
Исследователи заглянули внутрь LLM-судей и обнаружили, что предвзятость — это не шум, а геометрическая структура. Её можно включать и выключать, управляя активациями модели.
Cross-Repository CI Relay в PyTorch: архитектура и trust model
CRCR связывает pull request в pytorch/pytorch с CI внешних бэкендов и возвращает проверенную идентичность и результат в PyTorch HUD.
PyTorch 2.13: FlexAttention на Apple Silicon и fused ops для LLM
PyTorch 2.13 вышел с фокусом на hardware-agnostic платформу: FlexAttention на Apple Silicon даёт до 12x ускорения, fused LinearCrossEntropyLoss режет память на 4x для LLM с большим вокабуляром, а FSDP2 научился перекрывать all-gather и reduce-scatter.
OPSD-V: Как научить видео-модель генерировать в реальном времени без деградации
On-Policy Self-Distillation для авторегрессивных видео-генераторов: как решить проблему деградации качества при длинных роликах через cache-aware дистилляцию.
Wat3R: как ИИ научился видеть под водой без единой подводной метки
Кросс-доменный полу-supervised фреймворк Wat3R переносит модель VGGT из наземных сцен в подводные, не требуя ни одной 3D-аннотации под водой — и обходит SOTA на 12–24% по метрикам глубины и облака точек.
IdeaGene: почему ИИ пишет наукообразно, но не понимает наследование идей
Бенчмарк IdeaGene-Bench измеряет, насколько ИИ понимает, какие идеи наследуют от предшественников. Лучшие системы точны на 27% — пропасть между правдоподобием и когерентностью.