Вам понадобятся железные нервы для работы с ИИ-агентами

Здесь речь больше пойдет про Composer 2.5 в Cursor. Возможно, этих проблем нет в opus-5.5 или gpt-6.1-sol-pro-max-ultra-thinking-fast. Но, например, в gpt-6.1-luna все из перечисленных проблем есть. И многие из этих проблем я наблюдал раньше в gpt-5.5 и opus-4.6. Есть ли они в новых ИИ моделях, которые вышли недавно, я не знаю.

Что мне нравится в Composer 2.5: лимиты и скорость.

Для сравнения возьмём 2 одинаковые подписки за 20$ в GPT и Cursor. 5-часовой лимит при использовании gpt-6.1-sol у меня заканчивается за несколько запросов. Если я прошу его поменять пару строк в readme файле, это расходует 10% лимита. Если я прошу его поменять что-то в большой кодовой базе, весь лимит заканчивается на прочтении десятков файлов даже без написания кода.

Но ведь в GPT есть тариф за $100, который даёт в 5 раз больше лимитов. И на сколько мне их хватит? У меня сложные монорепо проекты. Для правок в одном сервисе нужно прочитать десятки файлов в других и несколько скиллов. Если тариф за $20 расходуется на прочтении 20 файлов, то лимит за $100 закончится на чтении 100 файлов?

Поэтому я не использую Sol, а использую Luna. Но она очень медленная. В сравнении с Composer 2.5 она медленнее в десятки раз.

Поэтому я не использую GPT Luna, а использую Composer 2.5. Он очень быстрый и очень дешёвый. И за эту скорость и экономию я получаю трату своего времени и нервов. Какие-то из этих проблем я встречал в Deepseek и других открытых моделях. В каких-то моделях есть одни проблемы и нет других. Количество и частотность проблем меняются даже при использовании одной модели в зависимости от фазы луны.

Ниже приведён список проблем, которые я обнаружил за 100+ часов работы с Composer в Cursor.

Удаление

Агент пишет код, меняет десятки файлов. Я начинаю проверять код, и происходит такой диалог:

— Зачем здесь эта функция?
— Вы правы. Эта функция здесь не нужна. (Удаляет функцию и меняет много файлов)
— Зачем ты её удалил?
— Вы правы, я не должен был удалять эту функцию. Возвращаю обратно. (Опять меняет много файлов)

При этом ответ на вопрос, зачем нужна эта функция, я так и не получил.

Теперь, когда я хочу у него узнать что-то, мне приходится выключать агентский режим или явно указывать, чтобы он ничего не удалял. Но когда я забываю это сделать, то на обычный вопрос он начинает удалять что-то из кода.

А ещё бывает, что я трачу много времени на ревью кода и прошу изменить 1 функцию. Он меняет все файлы, которые уже прошли ревью. И эти изменения даже не относятся к той функции.

Он может вообще удалить всю работу, проделанную в этом чате. И не только в этом. Я прошу его сделать коммит, и он обнаруживает, что сюда попали изменения в других файлах. И он просто удаляет их. Хотя эта работа была проделана в соседних чатах.

Ещё если я его прошу сделать рефакторинг кода, например, переименовать метод в 50 файлах, он может удалить все комментарии, которые найдет в этих файлах. Что к рефакторингу метода вообще не имеет отношения.

И при этом он не удаляет то, что я прошу удалить. При изменении названия метода он оставляет прошлый метод и добавляет новый с новым названием. Это весь его процесс рефакторинга, чтобы не пришлось менять все файлы, в которых вызывался прошлый метод. Он просто добавит deprecated к старому методу и оставит его доступным. Если ему на это указать, то он всё же сделает рефакторинг, но оставит старое название метода в тестах и документации. Тесты перестанут проходить, а он скажет, что задача выполнена, рефакторинг метода сделан, но тесты не работают. Для него неработающие тесты не являются доказательством того, что задача не выполнена.

А ещё при выполнении задачи он может убрать важный параметр в конфиге или в методе, который вообще к задаче не относится. На вопрос, зачем он это убрал, он утверждает, что ничего не убирал. Нужно явно просить его посмотреть git diff, потому что сам он не догадается.

Просто сделай как в референсе

У меня уже есть готовый сервис, в котором прослушиваются события, затем меняются значения в базе данных и записываются в Redis. Прошу его сделать точно так же в другом сервисе.

Он делает, но забывает добавить запись в Redis. Или не меняет значения в базе. Или называет файлы и классы совсем по-другому. Или интерфейсы и типы кладёт не туда. После этого говорит, что всё готово. Я прошу его проверить всё, что он сделал. Он проверяет и ещё раз утверждает, что всё готово. И, конечно, все тесты у него зелёные, что подтверждает его вывод о готовности. Приходится сделать очень много циклов с указанием на каждую ошибку, чтобы он её исправил. При исправлении одной ошибки он допускает новые.

Я снова его прошу пройтись по коду и сделать так, чтобы было всё как в другом сервисе. Он меняет много файлов, пишет, что всё готово. Я открываю первый файл и вижу, что там всё не так. Снова пишу ему, он снова пишет, что всё готово. Открываю следующий файл, там такая же картина. Более того, можно даже в одном файле указывать ему на функции и объяснять, чем они отличаются от референса. Он исправляет, переходим к следующей функции, снова исправляет. Он не может даже 1 файл сделать как в референсе.

Вернёмся к сервису с прослушиванием событий. В нём есть общие переиспользуемые методы для работы с брокером сообщений. Агент даже делает всё правильно и использует их, а не дублирует методы. Но он забывает добавить типизацию, и я указываю ему на это. И вместо того, чтобы добавить интерфейсы, он зачем-то решает продублировать сотни строк кода общих методов.

Тестирование

С тестами у него вообще трудности. Я даю ему чёткие указания: сначала добавить тест, запустить тест, убедиться, что этот тест падает, написать мне причину падения, затем исправить код и снова запустить тесты, чтобы все тесты проходили.

Что делает ИИ агент: сразу меняет код. Затем создаёт тест, который не падает, и пишет мне, что задача выполнена. В итоге я не могу проверить, упал бы тест до исправления кода или нет. И исправил ли этот код что-то или нет.

Это повторялось так много раз, что я создал отдельную команду под это. И мне пришлось её много раз менять, чтобы он начал следовать указаниям. Но это работает не идеально. В рандомный момент в зависимости от расположения планет он снова сразу начинает править код без создания теста.

А иногда для создания падающего теста он использует хитрый способ. В чате уже есть диалог по парсеру JSON данных. Я ему отправляю новый небольшой JSON на 20 строк и прошу сначала написать падающий тест. Он добавляет входящие данные в тест и желаемый результат парсера. И чтобы тест упал, он просто меняет рандомное поле в ожидаемом результате и сообщает, что тест упал и теперь можно править код.

В проекте есть устоявшаяся структура тестов. Фикстуры для тестирования каждого метода парсера находятся в отдельных директориях. Когда нужно добавить новый метод в парсере, мы просто добавляем новую директорию с фикстурами и меняем код парсера. Тесты проходят по всем фикстурам и проверяют, что ничего не сломалось.

Это всё описано в скиллах и правилах для агента. И когда агент начинает делать тесты, я вижу, как он сначала читает эти скиллы. И в большинстве случаев он делает по этой структуре. Но в рандомный момент он перестаёт этому следовать и добавляет фикстуры прямо в код тестов. Мне приходится ему указывать на это, и он переносит их в отдельные файлы. Спустя несколько сообщений в этом же чате он снова допускает эту ошибку.

Если он добавляет какой-то параметр в API запросы, то при запуске тестов у него не проходит валидация схемы. Он использует ещё один хитрый приём: он просто выключает валидацию схемы или разрешает любые неизвестные параметры в схеме. И тесты снова проходят.

Был ещё такой случай. Я попросил агента написать тест на добавление данных через API запрос. Он долго что-то пытается сделать, но тесты у него никак не становятся зелёными. И он решает просто не вызывать API роут в тестах, а напрямую записать данные в базу. Тесты действительно начали проходить, данные добавляются в базу, но никакой API запрос не выполняется.

Невозможность поменять стиль ответов

В последние месяцы я всё чаще замечаю новый шаблон построения предложений. Вот примеры:

Есть разница между "я прочитал текст" и "я понял смысл текста".
Мы слишком часто принимаем "я привык к этому" за "мне это нравится".
Путь от "я боюсь ошибиться" до "я готов попробовать" может занять годы.

В каждом предложении два фрагмента в кавычках, построенных по одному стилистическому шаблону. Я не знаю, откуда появился этот шаблон, но я не видел его раньше. А сейчас так общаются нейросети, и я замечаю этот стиль в статьях и видео. Может, это улучшенная версия "Это не X, это Y"? Хотя здесь не совсем антитезы.

Сколько бы я ни пытался изменить правила и скиллы для агентов, они продолжают использовать этот приём. Более того, Composer взял худшее из этих двух приёмов и теперь пишет мне такое:

Это не "API не включается". Это "фронтенд не может подключиться".

Он использует кавычки почти в каждом ответе. Кавычки используются там, где их вообще не должно быть. Например, здесь:

Я "подключил API" к сервису.
Сервис "запускается", но не может "обработать" входящие запросы.
Я добавил "проверку состояния" перед отправкой запроса.

Я устал читать такой текст от него. А если указать ему на это, происходит такой диалог:

— В правилах запрещено использовать кавычки в тексте. Почему ты снова их использовал?
— Вы правы, я не должен был использовать кавычки. Теперь вы мне об этом указали, и я больше никогда не буду использовать кавычки.
— Но твоя память не переносится между чатами.
— Вы совершенно правы. Чтобы я всегда следовал этому правилу в новых чатах, его нужно перенести в самое начало списка.

Ок, переносим правило вверх. В следующем ответе прямо в этом же чате я снова получаю текст с кавычками.

Конец статьи

Теперь вы знаете, что вас ждёт, если вы захотите использовать Composer 2.5 в Cursor.

А чтобы таких проблем не было, вам просто нужно использовать новые передовые модели, которые вышли несколько дней назад, независимо от того, когда вы читаете эту статью.

You’ll need nerves of steel to work with AI agents

This post will focus mainly on Composer 2.5 in Cursor. These problems may not be present in opus-5.5 or gpt-6.1-sol-pro-max-ultra-thinking-fast. But gpt-6.1-luna, for example, has all the problems listed here. I’ve also encountered many of these problems before in gpt-5.5 and opus-4.6. I don’t know whether they’re present in the newer AI models released recently.

What I like about Composer 2.5: its usage limits and speed.

For comparison, let’s take two $20 subscriptions, one for GPT and one for Cursor. With gpt-6.1-sol, my 5-hour limit runs out after just a few requests. If I ask it to change a couple of lines in a readme file, that uses up 10% of the limit. If I ask it to change something in a large codebase, the entire limit gets used up just reading dozens of files, without writing a single line of code.

But GPT also offers a $100 plan with five times the usage limits. And how long would that last me? I work with complex monorepo projects. To make changes to one service, the agent has to read dozens of files in other services and several skills. If the $20 plan runs out after reading 20 files, will the $100 plan run out after reading 100 files?

That’s why I don’t use Sol, but use Luna instead. But it’s very slow. Compared to Composer 2.5, it’s dozens of times slower.

That’s why I don’t use GPT Luna, but use Composer 2.5 instead. It’s very fast and very cheap. And in exchange for that speed and savings, I end up wasting my time and getting stressed out. I’ve encountered some of these problems in Deepseek and other open models. Some models have certain problems but not others. The number and frequency of problems vary even when using the same model, depending on the phase of the moon.

Below is a list of problems I’ve encountered over 100+ hours of working with Composer in Cursor.

Removal

The agent writes code and changes dozens of files. I start reviewing the code, and the following conversation ensues:

— Why is this function here?
— You’re right. This function isn’t needed here. (Deletes the function and makes changes to many files)
— Why did you delete it?
— You’re right. I shouldn’t have deleted that function. I’m putting it back. (Makes changes to many files again)

And I still never got an answer to the question of why that function was needed.

Now, whenever I want to ask it something, I have to turn off agent mode or explicitly tell it not to delete anything. But when I forget to do that, it starts deleting parts of the code in response to a simple question.

Sometimes I spend a lot of time reviewing the code and ask it to change just one function. It changes all the files that have already been reviewed. And these changes don’t even relate to that function.

It might even delete all the work done in this chat. And not just in this one. I ask it to make a commit, and it finds changes to other files mixed in. And it just deletes them. Even though that work was done in other chats.

Also, if I ask it to refactor the code — for example, to rename a method in 50 files — it might delete all the comments it finds in those files. Which has absolutely nothing to do with refactoring the method.

And yet, it doesn’t delete what I ask it to delete. When changing a method’s name, it leaves the old method in place and adds a new one with the new name. That’s its entire refactoring process — so it doesn’t have to change all the files where the old method was called. It’ll simply mark the old method as deprecated and leave it accessible. If I point this out, it will finally do the refactoring, but leave the old method name in the tests and documentation. The tests will fail, and it will say the task is complete and the method has been refactored, but the tests are failing. As far as the agent is concerned, failing tests don’t count as evidence that the task is incomplete.

Also, while working on a task, it might remove an important parameter from the config or from a method that has nothing to do with the task at all. When asked why it removed the parameter, the agent claims it didn’t remove anything. You have to explicitly ask it to check the git diff, because it won’t think to do that on its own.

Just do it like the reference

I already have a working service that listens for events, then updates values in the database and writes them to Redis. I ask the agent to do exactly the same thing in another service.

It does it, but forgets to write to Redis. Or it doesn’t update the values in the database. Or it names files and classes completely differently. Or it puts interfaces and types in the wrong places. After that, it says everything is done. I ask it to check everything it’s done. It checks and once again insists that everything is done. And, of course, all the tests are green, which confirms its conclusion that everything is done. I have to go through many rounds, pointing out each mistake so it can fix it. While fixing one mistake, it introduces new ones.

I ask it again to go through the code and make sure everything matches the other service. It changes a lot of files and says everything is done. I open the first file and see that it’s all wrong. I write to it again, and it replies that everything is done. I open the next file, and it’s the same story. What’s more, I can even point out specific functions in a single file and explain how they differ from the reference. It fixes one, we move on to the next function, and it fixes that one too. It can’t even make a single file match the reference.

Let’s go back to the service that listens for events. It has shared, reusable methods for working with the message broker. The agent even does everything right and uses those methods instead of duplicating them. But it forgets to add types, and I point this out. And instead of adding interfaces, for some reason it decides to duplicate hundreds of lines of code from the shared methods.

Testing

It has trouble with tests in general. I give it clear instructions: first, add a test; run the test; make sure it fails; tell me why it failed; then fix the code and run the tests again so that all of them pass.

What the AI agent does: it immediately changes the code. Then it creates a test that does not fail and tells me the task is complete. As a result, I can’t verify whether the test would have failed before the code was fixed. Or whether the code actually fixed anything.

This has happened so many times that I created a separate command for it. And I had to modify it many times before the agent started following the instructions. But it still doesn’t work perfectly. At some random point, depending on the alignment of the planets, it starts editing the code again without creating a test first.

And sometimes, to create a failing test, it uses a clever trick. There’s already a discussion in the chat about a parser for JSON data. I send it a new, small 20-line JSON input and ask it to write a failing test first. It adds the input data to the test along with the expected output from the parser. And to make the test fail, it simply changes a random field in the expected output and reports that the test has failed and the code can now be changed.

The project has a well-established test structure. The test fixtures for each parser method are stored in separate directories. When we need to add a new method to the parser, we simply add a new directory with fixtures and modify the parser code. The tests run through all the fixtures and check that nothing has broken.

All of this is described in the agent’s skills and rules. And when the agent starts working on tests, I can see it reading those skills first. And in most cases, it follows this structure. But at some random point, it stops following it and adds fixtures directly into the test code. I have to point this out, and it moves them to separate files. A few messages later in the same chat, it makes the same mistake again.

If it adds a parameter to API requests, schema validation fails when it runs the tests. It uses another clever trick: it simply disables schema validation or allows any unknown parameters in the schema. And the tests pass again.

There was another case. I asked the agent to write a test for adding data through an API request. The agent spent a long time trying to get the tests to pass. So it decided to simply skip calling the API route in the tests and write the data directly to the database instead. The tests did start passing, and the data was added to the database, but no API request was actually made.

Inability to change the response style

In recent months, I’ve been noticing a new pattern in sentence structure more and more often. Here are some examples:

There’s a difference between "I read the text" and "I understood the meaning of the text".
We too often mistake "I’m used to this" for "I like this".
The path from "I’m afraid of making a mistake" to "I’m ready to try" can take years.

Each sentence contains two phrases in quotation marks that follow the same stylistic pattern. I don’t know where this pattern came from, but I hadn’t seen it before. Now AI models communicate this way, and I’m noticing this style in articles and videos. Maybe it’s an improved version of "It’s not X, it’s Y"? Although these aren’t exactly antitheses.

No matter how much I try to change the rules and skills for the agents, they keep using this technique. What’s more, Composer took the worst of these two techniques and now writes things like this to me:

This isn’t "the API won’t start". It’s "the frontend can’t connect".

It uses quotation marks in almost every reply. Quotation marks are used where they shouldn’t be at all. For example, here:

I "connected the API" to the service.
The service "starts up", but can’t "process" incoming requests.
I added a "status check" before sending the request.

I’m tired of reading this kind of text from the agent. And if I point this out, the following conversation ensues:

— The rules prohibit the use of quotation marks in the text. Why did you use them again?
— You’re right, I shouldn’t have used quotation marks. Now that you’ve pointed this out to me, I’ll never use quotation marks again.
— But your memory doesn’t carry over between chats.
— You’re absolutely right. To ensure I always follow this rule in new chats, it needs to be moved to the very top of the list.

Okay, let’s move the rule to the top. In the next reply, right in the same chat, I get text with quotation marks again.

End of Article

Now you know what to expect if you decide to use Composer 2.5 in Cursor.

And to avoid these problems, you simply need to use the new frontier models that were released a few days ago, regardless of when you’re reading this article.

Блокировка аккаунтов на Reddit

Я хотел поделиться своим опенсорс решением на Reddit. Я создал аккаунт, нашёл сообщество, в котором люди публикуют ссылки на свои проекты, и разместил там пост с ссылкой на GitHub. Пост сразу удалили, а аккаунт заблокировали.

Оказалось, сначала нужно писать обычные комментарии и посты без ссылок, чтобы сделать вид, что вы обычный пользователь и не хотите ничего рекламировать. А потом уже можете разместить пост с ссылкой.

Ок, я зарегистрировал новый аккаунт с другого IP адреса и сразу написал 3 комментария. Аккаунт заблокировали.

Оказывается, прежде чем писать комментарии, нужно подождать несколько дней, а потом писать по 1–2 комментария в день.

Я так и сделал. Создал новый аккаунт, постепенно писал комментарии, всё было нормально. Разместил пост, который был популярным на других площадках, без ссылок. Через минуту кто-то написал, что это ИИ слоп. Пост удалили, аккаунт заблокировали.

Оказывается, если ваш пост больше 2 абзацев, хорошо отформатирован и в нём нет ошибок, то модераторы или алгоритмы решат, что это ИИ генерация. А сгенерированные тексты приводят к блокировке аккаунта.

Уроки были усвоены. Создаю новый аккаунт, пишу комментарии, затем короткие посты, с добавлением ошибок в текст. Стараюсь писать их от первого лица, а не как статью или эссе. Всё нормально, посты не удаляют. Размещаю пост с ссылкой на проект, аккаунт блокируют.

Хм, а что если публиковать пост не в чужом сообществе, а создать своё сообщество? Создаю новый аккаунт, создаю сообщество, публикую в нём пост с ссылкой. Сообщество удалили, аккаунт заблокировали.

Но как же так получается, что другие люди без проблем размещают ссылки на свои GitHub проекты и их аккаунты не блокируют?

Я пообщался с модераторами разных сообществ и с другими пользователями Reddit. Все они посоветовали мне сначала набрать карму 1К, а потом уже публиковать ссылки. Еще мне посоветовали регистрироваться с мобильного приложения, так аккаунт получит больше доверия.

Я так и сделал. Установил приложение на телефон, зарегистрировал аккаунт, писал косты и комментарии. За месяц набрал карму 1К. Создал пост с ссылкой уже на другой свой GitHub проект. Пост ушёл на ручную модерацию. Я ждал несколько часов, модераторы сообщества пока не проверили пост. А ещё через час аккаунт был заблокирован.

Новых попыток регистрации аккаунтов я не делал. Пользователи Reddit так и не смогли узнать о моих проектах, которые могли бы быть им интересны.

Account bans on Reddit

I wanted to share my open-source solution on Reddit. I created an account, found a community where people post links to their projects, and posted a link to my GitHub project there. The post was immediately deleted, and my account was banned.

It turns out you first need to write normal comments and posts without links to make it seem like you’re a regular user who isn’t trying to promote anything. Only then can you post a link.

Okay, so I registered a new account from a different IP address and immediately wrote three comments. The account was banned.

It turns out that before posting comments, you need to wait a few days, and then post 1–2 comments per day.

That’s exactly what I did. I created a new account, gradually posted comments, and everything was fine. I made a post that had been popular on other platforms, without any links. A minute later, someone wrote that it was AI slop. The post was deleted, and the account was banned.

It turns out that if your post is longer than two paragraphs, is well-formatted, and contains no errors, the moderators or algorithms will determine that it’s AI-generated. And generated text leads to account bans.

Lesson learned. I create a new account, write comments, then short posts, adding mistakes to the text. I try to write them in the first person, rather than as an article or essay. Everything’s fine — the posts aren’t being deleted. I publish a post with a link to the project, and the account gets banned.

Hmm, what if, instead of posting in someone else’s community, I just create my own community? I create a new account, set up a community, and publish a post with a link there. The community gets deleted, and my account gets banned.

But how come other people can post links to their GitHub projects without any problems, and their accounts don’t get banned?

I talked to moderators from various communities and other Reddit users. They all advised me to first earn 1k karma and only then post links. I was also advised to sign up through the mobile app, as that would make my account seem more trustworthy.

So that’s what I did. I installed the app on my phone, created an account, and made posts and left comments. Within a month, I reached 1k karma. I created a post with a link to another one of my GitHub projects. The post was sent for manual review. I waited several hours, but the community moderators hadn’t reviewed the post yet. An hour later, my account was banned.

I didn’t try to create any new accounts. Reddit users never got to learn about my projects, which might have interested them.

Стиль управления

Я работал в стартапах с разным стилем управления и создания продуктов.

С обязательными отчётами и без них.
С таск-трекерами и без них.
С обязательным офисом и полной удалёнкой.
С длинным планированием и решениями по ходу.

Часто процессы складываются под представление руководителя о том, как должна выглядеть нормальная работа. Кто-то считает естественным офис, отчеты и постоянные синхронизации. Кто-то принципиально выбирает удалёнку, свободный график и асинхронное общение. Микросервисы могут казаться правильным решением даже на этапе MVP, а монолит — единственным способом двигаться быстро. Эти убеждения подпитаны прошлыми проектами, удачными кейсами и историями успеха тех, за кем они наблюдали. Каждый искренне считает свой формат нормой и может привести десятки причин, почему именно его подход правильный. Поэтому изменить эти представления почти невозможно.

Но ни один стиль управления и создания продукта не определяет, выживет проект или нет.