-
LinearBLinearB Resources보고서영어
LinearB가 42개국 4,800개 이상 조직의 PR 810만 건 이상을 분석한 2026년 벤치마크 보고서다. AI가 만든 PR은 리뷰 착수까지 4.6배 오래 기다리고, 에이전트형 AI PR의 PR Pickup Time은 AI 도움 없이 작성한 PR보다 5.3배 길다. 다만 일단 리뷰가 시작되면 2배 빠르게 처리된다. AI 생성 PR의 수락률은 32.7%로 수동 PR의 84.4%보다 크게 낮으며, 봇 PR 수락률은 도구별로 달라 Devin은 상승하고 Copilot은 하락하는 추세를 보였다.
“Acceptance Rates for AI-generated PRs are significantly lower than manual PRs (32.7% vs. 84.4%).”
AI 생성 PR의 수락률(32.7%)이 사람 PR(84.4%)보다 크게 낮다는 대규모 수치는 AI가 만든 변경이 리뷰 단계에서 자주 받아들여지지 않는다는 산업계 근거다. 거부 원인은 보고서가 밝히지 않으므로, 의도 부채와의 연결은 해석으로 제시해야 한다.
핵심 주장 5개
- 42개국 4,800개 이상 조직의 PR 810만 건 이상을 분석했다
- AI PR은 리뷰 착수까지 4.6배, 에이전트형 AI PR은 AI 도움 없이 작성한 PR보다 5.3배 오래 기다린다
- 리뷰가 시작되면 AI PR은 2배 빠르게 리뷰된다
- AI 생성 PR 수락률은 32.7%로 수동 PR의 84.4%보다 낮다
- 봇 PR 수락률은 도구별로 달라 Devin은 4월 이후 상승, Copilot은 5월 이후 하락했다
측정과 실증
-
Shyam Agarwal, Courtney Miller, Christian Kästner, Bogdan Vasilescu — Carnegie Mellon UniversityarXiv preprint (2607.07980), submitted 2026-07-08논문영어
코딩 에이전트가 PR 전체를 작성하는 시대의 코드 리뷰를 다룬 2026년 7월 논문으로, 엔지니어링 블로그와 Reddit 스레드 38,709건 중 층화 무작위 표본 3,100건을 LLM 보조 파이프라인으로 코딩해 26개 구성개념과 67개 관계(64개 방향성, 3개 논쟁 중)로 이뤄진 인과 이론을 세웠다. 공개 GitHub 관찰에서는 에이전트 작성 PR이 사람 PR보다 리뷰 논의가 절대량과 변경 줄당 모두 적고 수 배 빨리 병합됐으며, 에이전트 PR의 40.1%는 에이전트를 호출한 개발자 본인만 검토한 반면 사람 PR은 21.5%였다(다만 분석 선택에 따라 결과 방향이 뒤집힐 수 있음을 밝힌다). 이론은 '리뷰가 코딩 에이전트의 소프트웨어 영향이 결정되는 통제 지점'이며, 얕은 리뷰와 불투명성이 이해 부채(comprehension debt)를 늘려 리뷰 기술·유지보수성·집단 소유권·지식 이전을 잠식한다고 정리한다.
“Third, the act of low-depth reviews creates comprehension debt, undermining the developers' future review skills for the code base.”
에이전트 PR의 40.1%가 호출한 사람만 보고 병합된다는 관찰과 함께 리뷰를 '의도가 지켜지는 통제 지점'으로 이론화하고, 얕은 리뷰가 이해 부채를 쌓아 지식 이전을 잠식한다고 명시하므로, 팀의 리뷰 정책을 의도 부채 관점에서 다시 설계할 때 근거가 된다.
핵심 주장 5개
- Coded a stratified random sample of 3,100 out of 38,709 grey-literature documents (engineering blogs and Reddit threads); the resulting causal theory has 26 constructs and 67 relationships (64 directed, 3 contested).
- GitHub observation: 40.1% of agent-authored PRs were examined only by the developer who invoked the agent versus 21.5% of human PRs; agent PRs are merged several times faster and attract less review discussion in absolute terms and per line changed.
- Authors caution that 'a finding's direction can reverse under defensible analysis choices' — the same measurements support opposite conclusions about human oversight.
- Names comprehension debt as a construct: 'the act of low-depth reviews creates comprehension debt, undermining the developers' future review skills for the code base'; low review depth and opacity increase comprehension debt, undermining maintainability, collective ownership and knowledge transfer.
- Central claim: 'review is the control point through which a coding agent's effect on software is decided'.
측정과 실증이해 유지 실천개념 틀과 이론강제 장치·기여 정책
-
Bill Doerrfeld — LeadDev (reporting GitClear's 'The AI Code Quality Maintainability Gap' research by Bill Harding, GitClear CEO)LeadDev기사영어
GitClear의 2026년 보고서 'The AI Code Quality Maintainability Gap'을 다룬 2026년 7월 7일자 LeadDev 기사로, 2023~2026년 6억 2,300만 건의 실제 코드 변경을 분석한 결과를 정리한다. 코드 중복은 81% 증가, 코드 이동(재사용) 지표는 70% 감소, 레거시 리팩터링은 2023년 대비 74% 감소, 기능 간 연결성은 35% 감소, 오류 마스킹은 47% 증가했다고 전한다. GitClear CEO Bill Harding은 AI가 요청마다 새 패키지를 만들어 같은 기능의 구현이 다섯 개씩 생기고, 유지보수자가 어느 오류 처리가 이유가 있어 추가됐고 어느 것이 AI 편의로 추가됐는지 가려내야 하는 부채가 남는다고 말한다. GitClear 원문 페이지는 접근이 차단되어(HTTP 403) 이 기사를 근거로 삼는다.
“That shortcut becomes tech debt for the maintainers, who eventually need to ascertain which error handling was added for cause, versus those added for AI expediency.”
오래된 코드를 손보는 변경이 74% 줄고, 유지보수자가 어떤 오류 처리가 '이유가 있어' 들어갔는지 사후에 가려내야 한다는 Harding의 지적은 의도 부채의 실측 사례다. 레거시의 '왜'를 아는 사람이 줄어드는 만큼 오래된 모듈에 결정 기록을 남겨야 하는 이유를 수치로 뒷받침한다.
핵심 주장 5개
- GitClear analyzed 623 million real-world code changes from 2023 to 2026.
- Code duplication +81%; code reuse ('Move' metric) -70%; legacy refactoring -74% since 2023; functional connectivity -35%; error masking +47%.
- Harding: 'That shortcut becomes tech debt for the maintainers, who eventually need to ascertain which error handling was added for cause, versus those added for AI expediency.'
- Harding: 'It's not just duplication, it's about not tending to legacy code.'
- Harding: 'Every time you want something, AI creates a new package for it' — leading to 'five different implementations of the same thing that are similar yet different.'
측정과 실증
-
Muhammad Ovais AhmadarXiv 2604.13277; Proceedings of EASE 2026 Companion논문영어
Muhammad Ovais Ahmad가 2026년 4월 14일 arXiv에 올린 논문으로, EASE 2026 Companion 논문집에 실린다고 표기돼 있다. 논문은 이해 부채를 개발 팀이 코드베이스에 대해 아는 것과 유지·수정에 실제로 필요한 이해 사이에서 커지는 격차로 정의한다. 또 이 부채는 코드가 아니라 팀의 집단 인지에 존재한다는 점에서 기술 부채와 다르다고 주장한다. 학부 소프트웨어 공학 프로젝트에서 학생 207명이 8주 동안 쓴 성찰 일지 621건을 질적으로 분석해, 이해 부채가 쌓이는 네 가지 패턴과 이를 줄이는 한 가지 패턴을 찾았다. 완화책으로는 검증 관행, 구조화된 회고, 능동 학습 평가를 강조하는 교육 전략을 제안한다.
“We argue that CD is distinct from traditional technical debt because it resides in the collective cognition of development teams rather than in the codebase itself.”
이해 부채가 코드가 아니라 팀의 인지에 쌓인다는 관점은 의도 부채와 맞닿아 있다. 논문이 찾은 네 가지 누적 패턴은 팀 회고에서 우리 팀이 어느 패턴에 해당하는지 점검하는 기준으로 쓸 수 있다.
핵심 주장 4개
- 정의: 이해 부채는 "the growing gap between what a development team knows about its codebase and what it actually needs to understand in order to maintain and modify it effectively"이며, 코드베이스가 아니라 팀의 집단 인지에 있어 기존 기술 부채와 구별된다.
- 자료: 학부 소프트웨어 공학 프로젝트에서 학생 207명이 8주 동안 쓴 성찰 일지 621건을 질적으로 분석했다.
- 누적 패턴 네 가지(AI-as-black-box code acceptance, context-mismatch debt, dependency-induced atrophy, verification-bypass)와 완화 패턴 한 가지(GenAI as comprehension scaffold)를 찾았다.
- 완화책: 검증 관행, 구조화된 회고, 능동 학습 평가를 강조하는 명시적 교육 전략이 필요하다.
측정과 실증이해 유지 실천강제 장치·기여 정책
-
Aadit Shah (Mintlify)Mintlify 블로그보고서영어
문서를 코딩 에이전트에 제공하는 네 가지 형식(HTML, 순수 Markdown, llms.txt 링크를 포함한 Markdown, llms.txt를 인라인한 Markdown)을 비교한 벤치마크다. Mintlify 문서 사이트 20곳에서 사이트당 5개 질문을 형식마다 3회씩, 모두 2,400회 실행했다. 작업당 404 오류는 HTML 2.23회, Markdown 1.42회, llms.txt 링크를 포함하면 0.11회였고, 정답률은 모든 형식에서 90%대 중후반으로 비슷했다. 결론은 형식보다 에이전트에게 '지도'를 링크로 주는 것이 헛탐색과 비용을 줄인다는 것이다.
“the map didn't make them more right, it just got them there faster and cheaper”
에이전트에게 문서 전체를 넣기보다 인덱스(지도)를 링크로 주는 편이 헛탐색과 비용을 줄인다는 정량 근거다. 프로젝트 지식 SSOT에 에이전트용 인덱스 파일을 두는 설계를 뒷받침한다.
핵심 주장 4개
- 총 2,400회 실행: 문서 사이트 20곳 × 질문 5개 × 3회 반복 × 형식 4종. Claude Code와 Codex(Sonnet 5, GPT-5.5)로 실행했고 Opus 4.8, Fable 5, GPT-5.6으로 추가 재현했다.
- 작업당 404 오류는 HTML 2.23회, Markdown 1.42회, Markdown+llms.txt 링크 0.11회였다.
- 정답률은 모든 형식에서 90%대 중후반이었다 — "the map didn't make them more right, it just got them there faster and cheaper".
- llms.txt를 링크하면 인라인할 때와 같은 404 감소 효과를 훨씬 적은 비용으로 얻는다. 게시일은 2026-07-17이다.
측정과 실증조직 지식 검색
-
DXDX (State of AI Impact in Engineering, quarterly)보고서영어
2026년 7월 22일 발표된 DX의 분기 보고서로, 500개 이상 엔지니어링 조직의 시스템 텔레메트리와 설문 데이터를 결합해 2026년 4–6월을 분석했다. 전체 코드의 52.7%가 AI 생성으로 두 분기 전 24%에서 크게 늘었고, 헤비 유저는 주 6시간 이상을 절약하며 엔지니어당 주간 PR(TrueThroughput 중간값)은 4분기 동안 1.42건에서 1.94건으로 37% 늘었다. 반면 개발자 경험 지수(DXI)는 67에서 65로 내려가고, 변경이 무언가를 망가뜨리지 않으리라는 확신(change confidence)은 6.1% 하락했다. 코드 유지보수성은 AI가 코드베이스 탐색과 이해를 도와 3.8% 개선됐다고 보고한다.
“Change confidence, developers' trust that their changes won't break something, fell 6.1%.”
AI 생성 코드 비중과 처리량은 늘었지만, 개발자가 자기 변경을 신뢰하는 정도(변경 확신도)는 떨어졌다는 분기 데이터다. 코드 이해는 쉬워졌어도 변경의 안전성을 확신하기는 어려워진 상황을 보여 주며, 의도 부채의 증상으로 읽을 수 있는 정량 근거다(해석은 이 페이지의 것이다).
핵심 주장 4개
- 500개 이상 조직을 분석해 전체 코드의 52.7%가 AI 생성이라고 보고한다(두 분기 전 24%)
- 엔지니어당 주간 PR(TrueThroughput 중간값)은 4분기 동안 1.42건에서 1.94건으로 37% 증가했다
- 개발자 경험 지수(DXI)는 67에서 65로 내려갔고, 변경 확신도는 6.1% 하락했으며 유지보수성은 3.8% 개선됐다
- 기술 업종의 분기 AI 지출 중간값은 1년 사이 약 1.5천 달러에서 4.4만 달러로 약 28배 늘었다
측정과 실증
-
Nicholas Gardella, James Prather, Juho Leinonen, Paul Denny, Raymond Pettit, Sara L. RiggsarXiv 2604.18538 (cs.HC)논문영어
Gardella, Prather, Leinonen, Denny, Pettit, Riggs가 2026년 4월 20일 arXiv에 올린 통제 실험이다. 초보자 22명이 시간 압박 아래 사람과 2인 1조로 한 번, GitHub Copilot과 혼자서 한 번, 각 20분씩 Python 과제를 풀었고 일주일 뒤 혼자서 재시험을 봤다. Copilot 조건의 즉시 성과가 사람 짝보다 유의하게 높았고 작업 부하의 일부 차원도 줄었다. 그러나 사람과의 협업이 더 긍정적이고 각성도 높은 감정을 낳았고, 일주일 뒤 재시험에서는 AI 조건의 성과 하락 폭이 더 컸다(절대 하락 자체는 비유의).
“a nonsignificant absolute retest performance reduction in the AI condition and a larger retest performance decrement in the AI condition”
AI 보조가 당장의 성과와 작업 부하를 개선해도 일주일 뒤 수행은 더 크게 떨어진다는 초보자 대상 실험 근거다. AI와 작업할 때 이해가 사람에게 남지 않는 인지·이해 부채 측면을 보여 주므로, 사람 사이의 협업과 지식 공유를 유지해야 한다는 논의의 참고 자료가 된다.
핵심 주장 5개
- 참가자 22명이 시간 압박 아래 사람과 2인 1조로, 또 혼자서 GitHub Copilot과 함께 각각 20분 동안 Python 과제를 풀었고, 일주일 뒤 개인 재시험을 봤다.
- 참가자들은 사람 팀원과 할 때보다 GitHub Copilot과 할 때 유의하게 더 좋은 성과를 냈고, 작업 부하의 일부 차원이 줄었다.
- 사람과의 협업이 AI 보조보다 유의하게 더 긍정적이고 각성도 높은 감정 반응을 낳았다.
- 일주일 뒤 재시험에서 AI 조건의 성과 하락 폭이 더 컸으나 절대 하락치 자체는 통계적으로 유의하지 않았다.
- 저자들은 교육자가 현대 AI를 수용하는 것과 함께 짝 프로그래밍을 교육 도구로 다시 검토할 것을 강하게 권한다.
측정과 실증이해 유지 실천
-
Judy Hanwen Shen, Alex Tamkin (Anthropic)Anthropic Research보고서영어
Anthropic의 Judy Hanwen Shen과 Alex Tamkin이 2026년 1월 29일 발표한 무작위 대조 실험이다. 대부분 주니어인 소프트웨어 엔지니어 52명이 낯선 Python 라이브러리(Trio)로 과제를 수행한 뒤 퀴즈를 봤는데, AI 사용 그룹은 평균 50%, 직접 코딩 그룹은 67%로 17%포인트 낮았다(Cohen's d=0.738, p=0.01). AI 그룹은 약 2분 빨리 끝냈지만 이 차이는 유의하지 않았고, 점수 격차는 디버깅 문항에서 가장 컸다. 저자들은 AI를 코드 생성뿐 아니라 후속 질문·설명 요청으로 이해를 쌓는 데 쓰는 사용 방식이 숙련 형성에 유리하다고 본다.
“Cognitive effort—and even getting painfully stuck—is likely important for fostering mastery.”
AI 도움으로 코드를 만들어도 그 코드에 대한 이해가 저절로 생기지 않는다는 점, 즉 의도 부채의 개인 차원을 수치로 보여 준다. 팀에 리뷰 정책이나 설명 요청 관행을 도입하자고 설득할 때 근거로 쓸 수 있다.
핵심 주장 4개
- 참가자 52명의 RCT에서 AI 그룹 퀴즈 평균 50% 대 직접 코딩 그룹 67%, Cohen's d=0.738, p=0.01이다.
- AI 그룹은 약 2분 더 빨리 끝냈지만 이 차이는 통계적으로 유의하지 않았다.
- 디버깅 관련 문항에서 두 그룹의 점수 격차가 가장 컸다.
- 숙련도가 높았던 참가자는 후속 질문·설명 요청·개념 질문으로 AI를 이해를 쌓는 데 활용했으며, 저자들은 "cognitive effort—and even getting painfully stuck—is likely important for fostering mastery"라고 밝힌다.
측정과 실증이해 유지 실천
-
Judy Hanwen Shen (Anthropic Fellows Program), Alex Tamkin (Anthropic)arXiv preprint (arXiv:2601.20245, cs.CY; v1 2026-01-28, v2 2026-02-01)논문영어
개발자 52명(처치·통제 각 26명)을 무작위 배정해 익숙하지 않은 파이썬 비동기 라이브러리 Trio 과제를 AI 보조 유무로 수행하게 한 뒤, 개념 이해·코드 읽기·디버깅을 묻는 27점 만점 퀴즈로 학습 결과를 측정한 사전등록(OSF) 실험이다. AI 집단은 평균 4.15점(17%, 논문 표현으로 2등급) 낮았고(Cohen's d=0.738, p=0.010) 완료 시간의 통계적으로 유의한 단축은 없었으며, 격차는 디버깅 문항에서 가장 컸다. 화면 녹화를 분석해 여섯 가지 AI 상호작용 패턴을 분류한 결과, 코드 생성을 전부 위임하거나 반복 디버깅을 맡긴 저점수 패턴(퀴즈 평균 24~39%)과 개념 질문·설명 요청으로 인지적 관여를 유지한 고점수 패턴(65~86%)이 갈렸다. 전부 위임한 참가자(n=4)는 약 19.5분으로 통제군 평균 23분보다 빨랐지만 학습 결과는 가장 낮았고, 저자들은 AI가 높인 생산성이 역량의 지름길은 아니라고 결론짓는다.
“AI use impairs conceptual understanding, code reading, and debugging abilities, without delivering significant efficiency gains on average.”
코드를 얻는 것과 코드를 이해하는 것이 개인 수준에서 분리되는 메커니즘을 실험으로 보여주며, 전부 위임 대신 개념 질문과 설명 요청을 섞으면 속도를 크게 잃지 않고도 이해를 지킬 수 있음을 시사한다. AI 사용 습관을 바꾸는 개인 지침으로 쓸 수 있는 의도 부채·이해 부채의 실증 근거다.
핵심 주장 5개
- 52 participants (26 AI treatment, 26 control), randomized and preregistered at OSF; task on the Python Trio async library; arXiv v1 posted January 28, 2026.
- AI group scored 4.15 points lower on a 27-point quiz, a 17% difference the paper describes as 2 grade points (Cohen's d=0.738, p=0.010); no statistically significant difference in completion time on average.
- Largest score gap appeared on debugging questions; six AI interaction patterns were identified, three of which involve active cognitive engagement and preserved learning — high-scoring patterns averaged 65–86% quiz scores vs 24–39% for low-scoring ones.
- Participants who fully delegated coding to AI (AI Delegation, n=4) finished fastest, about 19.5 minutes vs a 23-minute control average, but had the poorest learning outcomes.
- Authors conclude that AI-enhanced productivity is not a shortcut to competence and that AI assistance should be carefully adopted to preserve skill formation.
측정과 실증이해 유지 실천
-
Ningzhi Tang, Chaoran Chen, Gelei Xu, Yiyu Shi, Yu Huang, Collin McMillan, Tao Dong, Toby Jia-Jun LiarXiv cs.SE/cs.AI/cs.HC (2026-05-28 v1, 2026-08-31 v2)논문영어
벤치마크 궤적이 아니라 실제 개발 세션 로그를 관찰해 코딩 에이전트가 개발자 기대와 어긋나는 방식을 분류한 대규모 연구다. SpecStory 내보내기(2024년 9월~2026년 4월)와 Entire.io 로그로 모은 1,639개 저장소의 IDE·CLI 세션 20,574개를 분석해, 개발자의 되돌림(pushback)으로 드러난 오정렬을 형태·원인·비용·해결의 네 차원으로 코딩했다. 프로젝트 오진단, 개발자 의도 오독, 명시적 제약 위반, 자의적 범위 확장, 잘못된 구현, 실행 오류, 부정확한 자기 보고의 일곱 가지 반복 패턴을 도출했으며, 제약 위반과 의도 오독이 가장 흔하고 가시적 해결의 대부분이 개발자의 명시적 정정에 의존한다는 결과는 프로젝트의 제약과 의도가 에이전트에 전달되지 않을 때 생기는 비용을 현장 데이터로 보여준다.
“90.50% of episodes impose effort and trust costs rather than irreversible system damage, 91.49% of visible resolutions still require explicit user correction”
에이전트가 명시된 규칙을 어기고 의도를 오독하는 일이 얼마나 흔하며 그 뒷수습을 누가 하는지 실제 세션 데이터로 수치화해, 프로젝트의 제약과 의도를 에이전트가 읽을 수 있는 형태로 미리 외재화해야 하는 이유를 설득하는 근거로 쓸 수 있다.
핵심 주장 4개
- SpecStory 내보내기에서 1,441개 저장소의 14,789개 세션(그중 CLI 2,588개)을, Entire.io 로그에서 198개 저장소의 5,785개 세션을 더해 총 1,639개 저장소의 20,574개 세션을 분석했다. IDE 세션은 Cursor·GitHub Copilot 등, CLI 세션은 Claude Code 등이며 주석된 응답의 94.9%가 Claude 계열 모델이었다.
- 일곱 패턴의 빈도는 개발자 제약 위반 38.33%, 개발자 의도 오독 26.95%, 부정확한 자기 보고 22.58%, 잘못된 구현 17.82%, 프로젝트 오진단 11.56%, 자의적 범위 확장 10.20%, 실행 오류 2.87%였다.
- 에피소드의 90.50%는 되돌릴 수 없는 손상이 아니라 노력·신뢰 비용을 부과했지만, 가시적 해결의 91.49%는 개발자의 명시적 정정(pushback)을 필요로 했다.
- 오정렬 패턴은 IDE와 CLI 맥락에 따라 다르고 연속 세션에 걸쳐 지속되며, 사용자 턴당 전체 오정렬 비율은 유의하게 감소하지만 제약 위반(S3)과 부정확한 자기 보고(S7)의 일별 비중은 증가하는 추세였다.
측정과 실증
-
Sonar (Anirban Chatterjee)Sonar Blog (State of Code Developer Survey)보고서영어
2026년 1월 8일 발표된 Sonar의 전문 개발자 설문(1,100명 이상) 보고서다. 개발자들은 커밋하는 코드의 42%가 이미 AI 생성·보조 코드이며 2027년에는 65%에 이를 것으로 예상했다. AI 코딩 도구를 써본 개발자의 72%가 매일 쓰지만, 96%는 AI 생성 코드를 완전히 신뢰하지 않고 커밋 전에 항상 검증하는 비율은 48%에 그친다. 38%는 AI 코드 리뷰가 동료가 쓴 코드 리뷰보다 더 많은 노력이 든다고 답했으며, 보고서는 검증을 핵심 차별 요소로 제시한다.
“But 96% of developers do not fully trust AI-generated code, and only 48% always verify it before committing.”
커밋 코드의 절반 가까이가 AI 생성·보조 코드이고 항상 검증하는 개발자는 절반에 못 미친다는 수치는, 작성 의도를 설명할 사람이 없는 코드가 빠르게 쌓이는 배경을 보여준다.
핵심 주장 4개
- 개발자가 커밋하는 코드의 42%가 AI 생성·보조 코드이며 2027년 65%로 예상된다
- 96%가 AI 생성 코드를 완전히 신뢰하지 않지만 커밋 전 항상 검증하는 비율은 48%다
- 38%는 AI 코드 리뷰가 동료가 쓴 코드 리뷰보다 더 많은 노력이 든다고 답했다
- 리팩터링에 AI를 쓰는 72% 중 매우 효과적이라는 응답은 43%에 그치며, 기존 코드 설명·이해(66%)와 문서 작성(74%)은 효과적이라는 응답이 더 높다
측정과 실증이해 유지 실천
-
Faros AI (Faros Research)Faros AI (AI Engineering Report 2026)보고서영어
2026년 4월 12일 공개된 Faros AI의 2026년판 보고서 요약으로, 4,000개 이상 팀 2만 2,000명 개발자의 2년치 텔레메트리를 근거로 한다. AI 도구 주간 활성 사용자 50%를 넘는 팀이 80%에 이르고 수락률이 20%에서 60%로 올랐으며 처리량도 늘었지만, 코드 churn(분기 내 병합 코드의 삭제 대비 추가 줄 비율)이 861% 증가하고 PR당 인시던트 비율이 242.7%, 개발자당 버그가 54% 늘었다. 작업 재시작이 13.8%, 7일 이상 활동 없는 진행 중 과제가 26% 증가했고, 중간값 리뷰 시간은 441.5% 늘었으며 리뷰 없이 병합된 PR은 31.3% 증가했다. 성숙한 DevOps를 갖춘 고성과 조직도 같은 하류 악화를 겪는다고 보고한다.
“Work restarts, tasks that return to in-progress after moving to another stage, are up 13.8%.”
보고서가 '의도'를 직접 다루지는 않지만, 작업 재시작과 churn 급증은 AI 도입 뒤 변경이 되돌려지고 다시 만들어지는 재작업 비용을 대규모 텔레메트리로 보여 주는 2026년 수치다. 의도 부채가 낳는 결과를 뒷받침하는 정량 근거로 쓸 수 있다.
핵심 주장 4개
- 4,000개 이상 팀, 2만 2,000명 개발자의 2년치 텔레메트리를 분석했다
- AI 고도입 환경에서 코드 churn이 861% 증가했고 개발자당 버그 증가율은 2025년 보고서의 9%에서 54%로 커졌다
- PR당 인시던트 비율 +242.7%, 작업 재시작 +13.8%, 7일 이상 활동 없는 진행 중 과제 +26%를 기록했다
- 중간값 리뷰 시간 +441.5%, 리뷰 없이 병합된 PR +31.3%이며 고성과 조직도 동일한 하류 악화를 겪는다
측정과 실증
-
Daniel Stenbergdaniel.haxx.se blog블로그영어
curl 창시자 Daniel Stenberg가 2019년 4월 HackerOne과 함께 시작한 버그 바운티를 2026-01-31에 종료한다고 알린 글이다. 2025년부터 AI 슬롭 리포트가 폭증해 실제 취약점으로 확인되는 비율이 크게 떨어졌고, 이를 가려내는 데 드는 시간과 에너지가 메인테이너를 소진시킨 것이 이유다. 앞으로 보고는 GitHub 비공개 취약점 보고나 security@curl.se로 받되 금전 보상은 없으며, AI 슬롭 제출자는 계속 즉시 차단한다.
“Previous years we have had a rate of somewhere north of 15% of the submissions ending up confirmed vulnerabilities. Starting 2025, the confirmed-rate plummeted to below 5%.”
설명·검증 책임이 없는 AI 산출물이 검토자에게 비용을 떠넘기는 구조를 확인율 하락이라는 구체적 수치로 보여 준다. 오픈소스 프로젝트가 AI 기여에 대응해 절차(보상 폐지, 제출자 차단)를 바꾼 사례로 쓸 수 있다.
핵심 주장 5개
- 제출 리포트 중 확인된 취약점 비율이 이전 해에는 "somewhere north of 15%"였으나 2025년부터 "below 5%"로 떨어졌다
- 프로그램 기간 동안 확인된 취약점은 87건, 연구자에게 지급한 보상은 10만 달러를 넘는다
- 2019년 4월 시작해 2026-01-31에 종료한다
- 이후 보고는 GitHub Private vulnerability reporting이나 security@curl.se로 받고 금전 보상은 없다
- AI 슬롭을 제출하는 사람은 계속 즉시 차단하고 공개적으로 비판한다
측정과 실증강제 장치·기여 정책
-
Joel Becker, Nate Rush, Tom Cunningham, David Rein, Khalid Mahamud (METR)METR blog블로그영어
2025년 7월 발표한 경험 많은 오픈소스 개발자 대상 RCT(AI 사용 시 19% 느려짐, CI +2%~+39%)의 후속으로, 원래 참가자 10명과 신규 47명(총 57명)을 대상으로 2025년 하반기에 실험을 반복한 중간 보고다. 원래 참가자 집단은 AI 사용 시 -18%(CI -38%~+9%), 신규 참가자는 -4%(CI -15%~+9%)의 시간 변화를 보여 2025년 초보다 AI의 가속 효과가 커졌다고 보지만, AI 없이 하기 싫어 과제 제출을 피한 개발자가 30~50%에 이르고, 시급을 150달러에서 50달러로 낮췄으며, 에이전트 도구를 기다리며 다른 작업을 병행해 소요 시간 측정이 어려워진 선택 효과 때문에 이 데이터는 매우 약한 증거라고 명시한다. 이런 선택 효과의 심각성 때문에 실험 설계를 바꾸는 중이라고 밝힌다.
“However, because of the selection effects in our experiment, our data is only very weak evidence for the size of this increase.”
2025년 METR RCT의 '19% 느려짐'을 인용할 때 2026년 후속 실험에서 방향이 바뀌었을 가능성과 그 증거가 선택 효과로 매우 약하다는 점을 함께 적어야 하므로, AI 코딩 도구의 생산성 효과를 정직하게 소개하려면 반드시 같이 봐야 하는 1차 자료다. 에이전트 병행 작업으로 시간 측정 자체가 흔들린다는 관찰은 측정 연구의 한계를 보여준다.
핵심 주장 5개
- Follow-up cohort: 57 developers (10 returning from the original study + 47 new); pay reduced from $150/hour to $50/hour.
- Late-2025 point estimates: original developers -18% (CI -38% to +9%), new developers -4% (CI -15% to +9%), versus +19% (CI +2% to +39%) in the early-2025 study.
- 30% to 50% of developers told METR they were choosing not to submit some tasks because they did not want to do them without AI.
- Developers found it hard to report time spent when using agentic tools, because they often worked on an unrelated task while waiting.
- METR states the data is only very weak evidence for the size of the speedup increase and is changing its study design because of the selection effects.
측정과 실증
-
Stack OverflowStack Overflow Developer Survey보고서영어
2025년 Stack Overflow 개발자 설문의 AI 섹션이다. 응답자의 84%가 개발 과정에서 AI 도구를 쓰고 있거나 쓸 계획이고(전년 76%), 전문 개발자의 51%가 매일 쓴다. 반면 AI 도구에 대한 긍정 정서는 2023–2024년의 70% 이상에서 60%로 떨어졌고, AI 정확도를 불신한다는 응답(46%)이 신뢰한다는 응답(33%)보다 많다. 가장 큰 불만은 '거의 맞지만 완전히 맞지는 않은' AI 답변(66%)이고, 그다음은 AI가 생성한 코드를 디버깅하는 데 시간이 더 든다는 점(45.2%)이다.
“The biggest single frustration, cited by 66% of developers, is dealing with "AI solutions that are almost right, but not quite."”
AI가 내놓는 '거의 맞는' 답과 AI 코드를 디버깅하는 부담이 개발자들의 가장 큰 불만으로 드러나, 맥락 없이 생성된 코드가 검증·재작업 비용을 낳는다는 문제를 대규모 설문 수치로 뒷받침한다.
핵심 주장 5개
- 응답자의 84%가 개발 과정에서 AI 도구를 사용 중이거나 사용할 계획이며(전년 76%), 전문 개발자의 51%가 매일 사용한다
- AI 도구에 대한 긍정 정서는 2023·2024년 70% 이상에서 2025년 60%로 하락했다
- AI 정확도를 적극 불신한다는 응답이 46%로 신뢰(33%)보다 많고, '매우 신뢰'는 3%에 그친다
- 가장 큰 불만은 '거의 맞지만 완전히 맞지는 않은' AI 답변(66%), 두 번째는 AI 생성 코드 디버깅에 시간이 더 든다는 점(45.2%)이다
- AI 시대에도 다른 사람에게 도움을 청할 가장 큰 이유로 'AI 답을 신뢰하지 못할 때'(75.3%)가 꼽혔다
측정과 실증
-
William Harding (Lead Researcher & CEO) — Alloy.dev Research / GitClearGitClear AI Code Quality Research v2025.2.5 (published February 2025)보고서영어
2020년 1월부터 2024년 12월까지 커밋된 2억 1,100만 줄의 코드 변경을 GitClear의 분류(추가·삭제·수정·이동·복붙·찾아바꾸기·churn)로 분석한 보고서다. 리팩터링의 지표인 '이동(moved)' 줄 비율이 2020년 24.1%에서 2024년 9.5%로 떨어졌고 커밋 내 복사·붙여넣기는 8.3%에서 12.3%로 올라, 2024년은 복붙이 이동을 처음 앞지른 해가 됐다. 2주 내 재수정되는 churn은 3.1%에서 5.7%로, 5줄 이상 중복 블록을 포함한 커밋 비율은 0.70%(2020)에서 6.66%(2024)로 늘었으며 보고서는 이를 2년 전(2022년 0.45%) 대비 약 10배로 서술한다. 보고서는 코드 재사용이 새 팀원이 배워야 할 개념과 '함정'을 줄이는 반면, 중복 블록은 수정·리뷰 시 그 블록을 쓰는 모든 시스템을 파악해야 하는 부담을 만든다고 설명한다.
“Code reuse leaves fewer concepts (and “gotchyas”) for new team members to learn.”
리팩터링 대신 복붙이 늘어나는 추세는 같은 로직의 사본마다 '왜 다른가'를 설명해야 하는 부담을 만들고, 보고서 스스로도 중복 블록이 새 팀원과 리뷰어가 파악해야 할 맥락을 늘린다고 지적하므로, AI 생성 코드가 의도를 담지 못하게 되는 구조적 신호와 프런트엔드 컴포넌트 중복 점검 지표로 쓸 수 있다.
핵심 주장 5개
- Dataset: 211 million changed lines of code authored January 2020–December 2024; published February 2025 (GitClear AI Code Quality Research v2025.2.5).
- Moved lines fell from 24.1% (2020) to 9.5% (2024) while copy/pasted lines rose from 8.3% to 12.3%; 2024 was the first year on record where within-commit copy/paste exceeded moved lines.
- Churn (new code reverted or substantially revised within two weeks) rose from 3.1% (2020) to 5.7% (2024).
- Share of commits containing a duplicated block of 5+ lines rose from 0.70% (2020) and 0.45% (2022) to 6.66% (2024); the report describes 2024 as approximately 10x higher than two years prior.
- The report argues that code reuse leaves fewer concepts and 'gotchyas' for new team members to learn, whereas duplicated blocks force developers and reviewers to understand every system in the repo that duplicates the changed block.
측정과 실증
-
Nathen Harvey, Derek DeBellis (DORA, Google Cloud)Google Cloud Blog보고서영어
2025년 9월 24일 공개된 DORA의 'AI 지원 소프트웨어 개발 현황' 보고서 발표 글로, 약 5,000명의 기술 전문가 설문과 100시간 이상의 질적 자료를 근거로 "AI는 팀을 고치지 않고 이미 있는 것을 증폭한다"고 결론짓는다. 응답자의 90%가 업무에 AI를 쓰고 80% 이상이 생산성 향상을 느끼지만 30%는 AI 생성 코드를 거의 또는 전혀 신뢰하지 않으며, AI 도입은 배포 처리량·제품 성과와는 양의 관계, 배포 안정성과는 여전히 음의 관계를 보인다. 보고서는 7가지 역량으로 구성된 DORA AI Capabilities Model과 7개 팀 아키타입을 제시하고, 리더에게 AI 정책 명확화, AI를 내부 맥락에 연결하기, 기초 실천 우선, 안전망 강화, 내부 플랫폼 투자, 최종 사용자 중심을 권고한다.
“AI doesn't fix a team; it amplifies what's already there. Strong teams use AI to become even better and more efficient. Struggling teams will find that AI only highlights and intensifies their existing problems.”
AI가 팀의 기존 약점을 증폭한다는 결론과 'AI를 내부 맥락에 연결하라'는 권고는, 프로젝트의 의도·결정 기록이 흩어져 있는 팀일수록 AI 도입 후 방향 이탈과 불안정이 커진다는 뜻이므로, 도입 전에 SSOT와 맥락 접근을 정비해야 한다는 주장의 산업 근거가 된다.
핵심 주장 5개
- 약 5,000명의 기술 전문가 설문과 100시간 이상의 질적 데이터를 근거로 한다
- 응답자의 90%가 업무에 AI를 사용하고 80% 이상이 생산성이 올랐다고 답했다
- 응답자의 30%는 AI 생성 코드를 거의 또는 전혀 신뢰하지 않는다
- AI 도입은 배포 처리량·제품 성과와 양의 관계이지만 배포 안정성과는 음의 관계가 지속된다
- AI는 팀을 고치는 것이 아니라 이미 있는 강점과 약점을 증폭한다
측정과 실증강제 장치·기여 정책조직 지식 검색
-
Kelly Hong, Anton Troynikov, Jeff Huber (Chroma)Chroma Research보고서영어
2025년 7월 14일 Chroma가 발표한 기술 보고서로, 18개 최신 모델에서 입력 길이가 늘수록 단순 과제에서도 성능이 떨어지는 '컨텍스트 부패(context rot)'를 실험으로 보였다. NIAH 확장(질문-정답 유사도, 방해 요소, 건초더미 구조), LongMemEval(집중 입력 대 전체 입력), 반복 단어 과제를 사용했다. 관련 정보가 컨텍스트에 있느냐보다 어떻게 제시되느냐가 더 중요하며, 가장 뛰어난 모델도 이에 민감하므로 효과적인 컨텍스트 엔지니어링이 필수라고 결론짓는다. 프로젝트 히스토리를 통째로 컨텍스트에 넣는 접근이 왜 실패하는지 보여주는 실증 근거다.
“What matters more is how that information is presented. We demonstrate that even the most capable models are sensitive to this, making effective context engineering essential for reliable performance.”
'왜'를 담은 결정 기록·히스토리를 에이전트 컨텍스트에 전부 밀어넣기보다 선별·구조화해서 제시해야 한다는 주장을 수치로 뒷받침한다. 의도 부채 해소를 위한 컨텍스트 엔지니어링·검색 기반 접근의 근거로 쓸 수 있다.
핵심 주장 5개
- Claude Opus/Sonnet 4, GPT-4.1, o3, Gemini 2.5, Qwen3 계열을 포함한 18개 모델을 평가했다
- LongMemEval: 306개 프롬프트에서 평균 약 113k 토큰의 전체 입력 대 약 300토큰의 집중 입력을 비교했고, 모든 모델이 집중 입력에서 뚜렷하게 우수했다
- 반복 단어 과제: 1,090개 길이·위치 조합에서 길이가 늘수록 성능이 일관되게 저하됐다
- 방해 요소가 하나만 있어도 기준선(정답만 있는 경우) 대비 성능이 떨어졌고, Claude 모델은 일관되게 가장 낮은 환각률을 보였다
- 질문과 정답의 유사도가 낮을수록 입력 길이에 따른 성능 저하가 더 빨랐고, 논리적으로 구조화된 건초더미보다 뒤섞인 건초더미에서 모델 성능이 더 좋았다
측정과 실증개념 틀과 이론
-
Chunhua Liu, Hong Yi Lin, Patanamon ThongtanunamarXiv (cs.SE)논문영어
언어 모델이 코드 변경을 자연어로 옮기는 두 과제인 커밋 메시지 생성과 코드 리뷰 코멘트 생성에서 환각이 얼마나 나타나는지 처음으로 종합 분석한 2025년 연구다. 생성된 코드 리뷰의 약 50%, 생성된 커밋 메시지의 약 20%에 환각이 포함됐다고 보고한다. 흔히 쓰는 지표는 단독으로는 약한 탐지기지만 여러 지표를 결합하면 성능이 크게 오르며, 모델 신뢰도와 특성 귀속 지표가 추론 시점 탐지에 유망하다고 제시한다.
“Our findings reveal that approximately 50% of generated code reviews and 20% of generated commit messages contain hallucinations.”
커밋 메시지는 변경 이유를 찾는 주요 기록이다. 이 연구의 수치대로라면 AI가 생성한 커밋 메시지를 검토 없이 남길 경우 다섯 건 중 한 건꼴로 사실과 다른 서술이 히스토리에 섞일 수 있으므로, 사람 검토나 자동 탐지 단계를 두는 근거로 쓸 수 있다.
핵심 주장 4개
- 생성된 코드 리뷰의 약 50%, 생성된 커밋 메시지의 약 20%에 환각이 포함된다.
- 흔히 쓰는 지표는 단독으로는 약한 탐지기이며, 여러 지표를 결합하면 탐지 성능이 크게 오른다.
- 모델 신뢰도와 특성 귀속(feature attribution) 지표가 환각 탐지에 효과적으로 기여해 추론 시점 탐지 가능성을 보여준다.
- 2025-08-12 arXiv 제출.
측정과 실증커밋 히스토리·변경 출처
-
Anthropic (Saffron Huang, Bryan Seethor, Esin Durmus, Kunal Handa, Miles McCain, Michael Stern, Deep Ganguli)Anthropic Research보고서영어
2025년 12월 2일 공개된 Anthropic 자체 연구로, 엔지니어·연구자 132명 설문, 53건의 심층 인터뷰, 2025년 2월과 8월의 내부 Claude Code 트랜스크립트 20만 건을 분석했다. 직원들은 업무의 59%에 Claude를 쓰며(전년 28%), 자기보고 생산성 향상은 50%였고, Claude 지원 작업의 27%는 Claude가 없었다면 하지 않았을 일이었다. 매일 쓰는 용도로 디버깅 55%, 코드 이해 42%가 꼽혔고, 응답자 절반 이상이 완전히 위임할 수 있는 업무는 0~20%에 그친다고 답했다. 어려운 문제를 직접 디버깅하며 문서와 코드를 읽는 시간이 '시스템이 어떻게 동작하는지에 대한 모델'을 만드는 시간이었는데 그것이 줄었다는 인터뷰, 자신이 쓰지 않은 Claude 코드를 이해하는 데 인지 부담이 더 든다는 보고, Claude를 감독하려면 과다 사용으로 위축될 수 있는 바로 그 코딩 기술이 필요하다는 '감독의 역설(paradox of supervision)'이 기록돼 있다.
“If you were to go out and debug a hard issue yourself, you're going to spend time reading docs and code that isn't directly useful for solving your problem—but this entire time you're building a model of how the system works.”
AI 코딩 도구를 만드는 회사 내부에서도 직접 파고들며 쌓던 '시스템 모델'이 사라지고, 자신이 쓰지 않은 코드를 이해하는 부담이 커진다는 점을 설문·인터뷰·트랜스크립트로 기록한 1차 자료다. 의도 부채와 이해 부채가 도구 숙련도와 무관하게 생기는 문제임을 보여줄 때 인용할 수 있다.
핵심 주장 5개
- Method: survey of 132 Anthropic engineers and researchers, 53 in-depth interviews, and 200,000 internal Claude Code transcripts (February and August 2025).
- Employees use Claude in 59% of their work (up from 28% a year earlier) and report a 50% productivity gain; 27% of Claude-assisted work would not have been done otherwise.
- 55% use Claude daily for debugging and 42% for code understanding; more than half said they can 'fully delegate' only 0–20% of their work.
- Interviewees report that debugging by hand meant 'building a model of how the system works' and that 'there's a lot less of that going on because Claude can just get you to the problem right away'.
- Engineers 'shoulder more cognitive overhead for understanding Claude's code since they didn't write it themselves'; the report names a 'paradox of supervision': supervising Claude 'requires the very coding skills that may atrophy from AI overuse'.
측정과 실증이해 유지 실천
-
Joel Becker, Nate Rush, Beth Barnes, David Rein — METRMETR blog (arXiv:2507.09089)보고서영어
대규모 오픈소스 저장소(평균 22k+ 스타, 100만 줄 이상)에 평균 5년간 기여한 경험 많은 개발자 16명이 246개의 실제 이슈를 AI 허용·비허용 조건에 무작위 배정받아 수행한 RCT다. Cursor Pro와 Claude 3.5/3.7 Sonnet을 쓴 조건에서 완료 시간이 19% 더 걸렸으나, 개발자들은 사전에 24% 단축을 예상했고 사후에도 20% 빨라졌다고 믿었다. 저자들은 감속 요인 중 하나로 문서화·테스트 커버리지·린팅 같은 암묵적 요구사항이 많고 품질 기준이 높은 성숙한 저장소에서 AI가 그 맥락을 갖지 못한 점을 든다. 코드베이스의 암묵지가 에이전트에 전달되지 않을 때 드는 비용을 정량화한 사례로 인용된다.
“implicit requirements (e.g. relating to documentation, testing coverage, or linting/formatting) that take humans substantial time to learn”
암묵적 규칙이 많은 성숙한 저장소일수록 AI가 그 규칙을 모른 채 만든 코드를 다시 고치느라 느려진다는 점을 무작위 실험으로 보여주므로, 저장소의 규칙과 이유를 에이전트가 읽을 수 있게 문서화해야 한다는 근거로 삼을 수 있다.
핵심 주장 5개
- 16 developers, 246 tasks; the AI-allowed condition took 19% longer to complete issues.
- Pre-study forecast was a 24% speedup; after the study developers still believed AI had sped them up by 20%.
- Tools were Cursor Pro with Claude 3.5/3.7 Sonnet; repositories averaged 22k+ stars and 1M+ lines of code; developers had an average of 5 years of prior experience on them; tasks averaged about two hours; pay was $150/hour.
- Slowdown factors include large, mature repositories with very high quality standards and implicit requirements (documentation, testing coverage, linting/formatting) that take humans substantial time to learn.
- The result also contradicted expert forecasts from economics (39% shorter) and ML (38% shorter).
측정과 실증
-
Joel Becker, Nate Rush, Elizabeth Barnes, David Rein (METR)arXiv (METR)논문영어
METR가 2025년 7월 공개한 무작위 대조 실험으로, 평균 5년간 기여해 온 성숙한 오픈소스 프로젝트에서 숙련 개발자 16명이 246개 과제를 AI 허용·불허 조건으로 수행했다. 개발자들은 AI로 완료 시간이 24% 줄 것으로 예상했고 사후에도 20% 줄었다고 느꼈지만, 실제로는 완료 시간이 19% 늘었다. 저자들은 20가지 요인을 검토한 뒤에도 감속 효과가 견고하다고 보고했으며, 본문에서 AI가 숙련자의 암묵지에 접근하기 어렵다는 점을 요인 중 하나로 논의한다. METR는 2026년 2월 24일 별도 블로그 글에서 실험 설계 변경을 알리며 기존 참가자 -18%(신뢰구간 -38%~+9%), 신규 참가자 -4%(-15%~+9%)의 속도 향상 추정치를 내놓았고, 선택 효과 때문에 실험에서 빠진 개발자·과제에서는 실제 속도 향상이 훨씬 클 수 있다고 덧붙였다.
“Surprisingly, we find that allowing AI actually increases completion time by 19%--AI tooling slowed developers down.”
코드베이스를 깊이 아는 숙련 개발자가 AI를 쓰자 오히려 느려졌고, 저자들은 AI가 그들이 가진 암묵지(적절한 수정 위치, 하위 호환 사정 등)에 접근하기 어려운 점을 요인으로 논의한다. 의도가 코드 밖에 암묵지로만 남아 있을 때 드는 비용을 보여 주는 실험적 근거다.
핵심 주장 5개
- 개발자 16명이 평균 5년간 기여해 온 프로젝트에서 246개 과제를 수행한 RCT다
- AI를 허용하면 과제 완료 시간이 19% 늘었다
- 참가자는 사전에 24%, 사후에 20% 단축을 예상·체감했으나 실제로는 느려졌다
- 경제학자와 ML 전문가는 각각 39%, 38% 단축을 예측했다
- METR는 2026년 2월 블로그 갱신에서 기존 참가자 -18%, 신규 참가자 -4%의 속도 향상 추정치를 보고했다(별도 출처: metr.org/blog/2026-02-24-uplift-update)
측정과 실증
-
Gergely Orosz (The Pragmatic Engineer)The Pragmatic Engineer 뉴스레터 (LDX3 London 키노트 정리, 2025-07-01)기사영어
LDX3 London 키노트를 정리한 글로, AI 개발 도구 회사, 빅테크, AI 스타트업 등이 LLM을 실제로 어떻게 쓰는지 사례로 살핀다. incident.io는 엔지니어링 문서를 담은 Claude Code 'Projects'를 만들어 자사 스타일·컨벤션·아키텍처 선호에 맞게 코드 초안을 쓰게 했다. 반면 한 바이오테크 AI 스타트업은 AI 리뷰 코멘트의 90%가 도움이 되지 않았다고 했고, '올바른 코드를 직접 쓰는 것이 LLM 코드를 리뷰하고 고치는 것보다 여전히 빠르다'고 답했다. 팀과 코드베이스에 따라 체감 성과가 크게 갈린다는 현장 관찰이다.
“Built Claude Code 'Projects' which contain our engineering documentation, so people can draft code in our style, according to our conventions and architecture preferences”
팀의 컨벤션과 아키텍처 문서를 에이전트에게 주는 팀(incident.io)과 AI 산출물의 효용이 낮다고 본 팀을 실제 사례로 대비할 수 있다. 다만 의도 부채를 직접 다룬 글은 아니고 간접적인 현장 근거다.
핵심 주장 4개
- Anthropic은 Claude Code 코드의 90%를 Claude Code가 작성한다고 하고, Windsurf는 약 95%, Cursor는 약 40~50%라고 보고한다.
- incident.io는 엔지니어링 문서를 담은 Claude Code 'Projects'를 만들어 자사 스타일·컨벤션·아키텍처 선호에 맞춰 코드 초안을 쓰게 한다.
- 한 바이오테크 AI 스타트업은 AI 코드 리뷰 코멘트의 90%가 도움이 되지 않았고 ruff·uv 같은 도구의 영향이 더 컸다고 답했다.
- DX 조사를 인용해 개발자의 50%(상위 기업은 62%)가 주 1회 이상 AI 도구를 쓰고, 절감 시간 중앙값은 주 4시간이라고 전한다.
측정과 실증저장소 지시 파일강제 장치·기여 정책
-
Atlassian (Andrew Boyagi)Atlassian Blog (State of Developer Experience)보고서영어
2025년 7월 9일 공개된 Atlassian의 개발자 경험 보고서로, 6개국 3,500명의 개발자·관리자를 조사했다. 개발자의 50%가 주당 10시간 이상, 90%가 6시간 이상을 비코딩 작업으로 잃는다고 답했고, 주된 원인은 조직의 비효율이다. 가장 큰 낭비 원인으로는 서비스·문서·API 같은 정보 찾기, 새 기술 적응, 도구 간 컨텍스트 전환을 꼽았다. 반면 99%가 AI로 시간을 아끼고 68%는 주 10시간 이상 절약한다고 답해, AI로 번 시간을 조직 마찰이 다시 상쇄하는 구조를 지적한다.
“Developers report the top time-wasters as: finding information (services, docs, APIs), adapting new technology, and context switching between tools.”
AI가 벌어준 시간을 '정보 찾기'가 다시 삼킨다는 수치는 의도 부채의 비용을 시간 단위로 설명할 때 직접적인 근거가 된다.
핵심 주장 4개
- 개발자의 50%가 주당 10시간 이상, 90%가 6시간 이상을 비코딩 작업으로 잃으며, 주된 원인은 조직의 비효율이다
- 상위 시간 낭비 원인은 정보(서비스·문서·API) 찾기, 새 기술 적응, 도구 간 컨텍스트 전환이다
- 99%가 AI로 시간 절약을 보고하고 68%는 주 10시간 이상 절약한다고 답했다
- 리더가 개발자의 고충을 이해하지 못한다는 응답이 44%(2024)에서 63%(2025)로 늘었다
측정과 실증강제 장치·기여 정책
-
Faros AI (Faros Research)Faros AI research blog보고서영어
1,255개 팀, 1만 명 이상 개발자의 텔레메트리를 2025년 6월 기준으로 분석해 2025년 7월 23일 공개한 산업 보고서다. AI 도입률이 높은 팀은 완료 과제가 21%, 병합된 PR이 98% 늘었지만 PR 리뷰 시간이 91%, 평균 PR 크기가 154%, 개발자당 버그가 9% 늘었다. 회사 수준의 처리량·DORA 지표·품질 KPI와 AI 도입 사이에는 유의한 상관이 없었으며, 팀 단위 이득이 조직 단위로 합산되지 않는다고 결론짓는다. 코드가 사람이 검토할 수 있는 속도보다 빨리 생성될 때 리뷰(이해) 단계가 병목이 된다는 점을 수치로 보여준다.
“AI adoption is consistently associated with a 9% increase in bugs per developer and a 154% increase in average PR size”
PR이 두 배로 늘고 리뷰 시간이 두 배로 느는 현상은 '이해 없이 병합되는 코드'가 쌓이는 경로 그 자체이므로, 팀에 리뷰 정책과 컨텍스트 문서를 요구할 때 근거 수치로 쓸 수 있다. 다만 보고서 자체는 의도 부채나 이해 부채를 직접 다루지는 않는다.
핵심 주장 4개
- Telemetry from 10,000+ developers across 1,255 teams; data as of June 2025; published July 23, 2025.
- Developers on teams with high AI adoption complete 21% more tasks and merge 98% more pull requests; PR review time increases 91%.
- AI adoption is consistently associated with a 9% increase in bugs per developer and a 154% increase in average PR size.
- No significant correlation was observed between AI adoption and improvements at the company level (overall throughput, DORA metrics, quality KPIs).
측정과 실증
-
Hao-Ping (Hank) Lee, Advait Sarkar, Lev Tankelevitch, Ian Drosos, Sean Rintel, Richard Banks, Nicholas Wilson — Microsoft ResearchCHI 2025 (ACM CHI Conference on Human Factors in Computing Systems)논문영어
지식노동자 319명이 제출한 936건의 생성형 AI 업무 사용 사례를 분석한 설문 연구다. 생성형 AI에 대한 신뢰가 높을수록 비판적 사고가 줄고, 자기 능력에 대한 자신감이 높을수록 비판적 사고가 늘어나는 상반된 효과를 보고한다. 또 생성형 AI가 비판적 사고의 성격을 정보 검증, 응답 통합, 과제 관리(task stewardship) 쪽으로 옮긴다고 정리한다.
“higher confidence in GenAI is associated with less critical thinking, while higher self-confidence is associated with more critical thinking”
AI 출력에 대한 신뢰가 높을수록 검토를 덜 한다는 결과는, AI가 만든 코드의 근거를 사람이 검토하지 않은 채 수용하면서 의도 부채가 쌓이는 심리적 경로를 설명한다. 리뷰에서 '왜 이렇게 했는가'를 묻는 절차를 팀 규칙으로 못 박아야 하는 근거가 된다.
핵심 주장 3개
- Survey of 319 knowledge workers who shared 936 first-hand examples of using GenAI in work tasks.
- Higher confidence in GenAI is associated with less critical thinking, while higher self-confidence is associated with more critical thinking.
- GenAI shifts the nature of critical thinking toward information verification, response integration, and task stewardship.
측정과 실증이해 유지 실천
-
JetBrainsJetBrains State of Developer Ecosystem보고서영어
JetBrains가 2025년 4–6월에 개발자 24,534명을 조사한 연례 보고서의 AI 섹션이다. 개발자들은 단순 반복 작업은 AI에 맡기되 창의적이고 복잡한 작업은 직접 통제하고 싶어 하며, 직접 하겠다는 응답이 많은 과제에 디버깅(47%)과 코드 이해(43%)가 포함된다. AI에 대한 가장 큰 우려로는 생성 코드 품질(23%), AI 도구의 복잡한 코드·로직 이해 부족(18%), 컨텍스트 인식 부족(10%)이 꼽혔다. 기업의 AI 도입은 파일럿(27%)과 부분 도입(30%) 단계가 가장 많아, 핵심 워크플로에 완전히 통합된 경우는 아직 드물다고 정리한다.
“Developers would like to delegate mundane tasks to AI, but would prefer to stay in control of more creative and complex ones.”
대규모 개발자 설문에서 'AI의 복잡한 코드·로직 이해 부족'(18%)과 '컨텍스트 인식 부족'(10%)이 주요 우려로 집계되어, AI 도구가 코드의 맥락과 의도를 충분히 알지 못한다는 문제를 개발자들이 스스로 인식하고 있다는 정량 근거로 쓸 수 있다.
핵심 주장 4개
- 보고서 전체는 2025년 4–6월 개발자 24,534명의 응답을 바탕으로 한다(보고서 메인 페이지 기준)
- AI에 맡기지 않고 직접 하겠다는 응답 비율이 높은 상위 5개 과제에 디버깅(47%)과 코드 이해(43%)가 포함된다
- AI에 대한 가장 큰 우려 항목은 생성 코드 품질 23%, 'AI 도구의 복잡한 코드·로직 이해 부족' 18%, '컨텍스트 인식 부족' 10%이다
- 기업 내 AI 도입 단계는 파일럿 27%, 부분 도입 30%, 광범위 도입 14%로, 대부분 파일럿·부분 도입에 머문다
측정과 실증
-
Nataliya Kosmyna, Eugene Hauptmann, Ye Tong Yuan, Jessica Situ, Xian-Hao Liao, Ashly Vivian Beresnitzky, Iris Braunstein, Pattie Maes (MIT Media Lab 등)arXiv preprint 2506.08872 (v1 2025-06-10, v2 2025-12-31)논문영어
54명을 LLM·검색엔진·두뇌만 사용 세 집단으로 나눠 4개월간 4회의 에세이 작성 세션을 진행하고 EEG로 뇌 연결성을 측정한 연구로, 4회차에는 18명이 집단을 바꿔 참여했다. 1회차에서 LLM 집단의 83.3%(15/18)가 방금 쓴 에세이에서 정확한 인용을 하지 못한 반면 검색엔진·두뇌만 사용 집단은 각각 11.1%(2/18)에 그쳤고(p < .001), 뇌 연결성은 두뇌만 사용 집단이 가장 강하고 LLM 집단이 가장 약했으며, LLM 집단이 인터뷰에서 보고한 에세이 소유감은 낮았다. 논문은 '인지 부채(cognitive debt)'를 'LLM 같은 외부 시스템에 반복 의존하면서 독립적 사고에 필요한 노력스러운 인지 과정을 대체하는 상태'로 정의하고, 단기적으로는 정신적 노력을 미루지만 비판적 탐구 감소·조작 취약성 증가·창의성 저하 같은 장기 비용을 낳는다고 본다.
“cognitive debt, a condition in which repeated reliance on external systems like LLMs replaces the effortful cognitive processes required for independent thinking.”
'인지 부채'라는 용어를 정의하고 널리 퍼뜨린 출처이며, AI가 대신 만든 산출물을 방금 만들고도 기억·인용·소유하지 못하는 현상을 실험으로 보였다. 코드 도메인 연구는 아니지만 의도 부채의 인간 측 뿌리(산출물은 있는데 그 의도를 설명할 사람이 없는 상태)를 설명할 때 개념적 근거로 인용할 수 있다.
핵심 주장 4개
- 54 participants in three groups (LLM, Search Engine, Brain-only) over four sessions across four months; 18 participants took part in session 4 with groups swapped.
- Session 1: 83.3% (15/18) of the LLM group failed to provide a correct quotation from their own essay versus 11.1% (2/18) in each of the Search Engine and Brain-only groups (p < .001 for both pairwise comparisons).
- EEG connectivity was strongest and most distributed in the Brain-only group, moderate for Search Engine users, and weakest for LLM users; LLM users reported lower ownership of their essays.
- Defines cognitive debt as 'a condition in which repeated reliance on external systems like LLMs replaces the effortful cognitive processes required for independent thinking', with long-term costs of diminished critical inquiry, increased vulnerability to manipulation, and decreased creativity.
측정과 실증개념 틀과 이론
-
Nathen Harvey, Derek DeBellis (DORA / Google Cloud)Google Cloud Blog보고서영어
2024년 10월 23일 공개된 DORA 연례 보고서(Accelerate State of DevOps 2024) 발표문이다. 응답자의 75% 이상이 최소 하나의 일상 업무에서 AI에 의존한다고 답했다. AI 도입이 25% 늘어나면 문서 품질(+7.5%), 코드 품질(+3.4%), 코드 리뷰 속도(+3.1%)가 함께 개선되는 연관이 나타났다. 반면 배포 처리량은 1.5%, 배포 안정성은 7.2% 줄어든 것으로 추정됐다. 응답자의 39%는 AI 생성 코드를 거의 또는 전혀 신뢰하지 않는다고 답했다.
“As AI adoption increased, it was accompanied by an estimated decrease in delivery throughput by 1.5%, and an estimated reduction in delivery stability by 7.2%.”
AI 도입이 개인 생산성과 문서 품질을 높이는 동시에 팀 단위 배포 안정성은 떨어뜨린다는 업계 대규모 설문 수치다. 따라서 AI 보조 개발이 비용 없이 이득만 주지 않는다는 배경 근거로 인용할 수 있다. 다만 원인이 맥락 부족이라고 보고서가 밝힌 것은 아니다.
핵심 주장 4개
- 응답자의 75% 이상이 최소 하나의 일상 업무에서 AI에 의존한다
- AI 도입 25% 증가는 문서 품질 7.5%, 코드 품질 3.4%, 코드 리뷰 속도 3.1% 향상과 연관된다
- AI 도입이 늘면서 배포 처리량은 1.5%, 배포 안정성은 7.2% 감소한 것으로 추정된다
- 응답자의 39%가 AI 생성 코드를 거의 또는 전혀 신뢰하지 않는다
측정과 실증
-
Martin P. Robillard (McGill University)ESEC/FSE 2021 (DOI 10.1145/3468264.3473923)논문영어
세 회사의 전문 개발자·관리자 27명을 심층 인터뷰해 구성원 이탈로 인한 지식 손실이 어떤 맥락에서 일어나고 어떤 결과를 낳는지 정리한 질적 연구다. 참가자 25명이 설명한 41개 직장 상황에 지식 손실 맥락 프레임워크를 적용하고, 그 영향을 '지침·정보 부족', '문서 의존', '동료 의존', '지식 재생성'의 네 주제 20개 관찰로 종합했다. 설계 결정의 근거를 알 수 없어 코드의 의도를 추측해야 하고 "왜 이걸 무시했지?"를 되묻게 되는 사례를 들며, 설계 근거의 외재화가 악명 높게 어렵기 때문에 개발자가 지식을 다시 만들어내야 한다고 서술한다. Rigby 외의 정량적 지식 손실 모델링 연구를 잇는 현장 관점의 후속작이다.
“developers lacking a ground truth about the rationale for design decisions can also be left guessing the intent of the code: "It's been a while and most of the people who developed this have moved on”
AI 이전에도 사람이 떠나면 '왜'가 함께 사라진다는 것을 현장 목소리로 보여 주며, 문서·동료·이력 각각의 한계를 대비해 팀 온보딩과 근거 기록 설계에 쓸 수 있다.
핵심 주장 4개
- 세 회사에서 27명의 전문 개발자·관리자를 인터뷰했고, 25명의 발화에서 추출한 41개 지식 손실 상황에 프레임워크를 적용했다.
- 지식 손실의 영향을 네 주제(Lacking Guidance and Information, Relying on Documentation, Working with Colleagues, Recreating the Knowledge) 아래 20개 관찰로 정리했으며, 검증 설문에 응답한 9명 중 다수가 신뢰성과 유용성을 확인했다.
- 설계 결정의 근거에 대한 정답이 없는 개발자는 코드의 의도를 추측하게 되며, 이는 설계 근거에서 특히 어려운 지식 외재화의 한계와 연결되고 결국 지식을 재생성해야 한다고 서술한다.
- 문서는 전문가 지식을 대체할 수 있지만 누락·비조직화·검색 불가·형식 부적합·품질 저하 및 최신성 부족 문제가 흔하고, 대안으로 이메일·이슈 등 프로젝트 이력을 뒤지는 것도 비효율적이라고 관찰한다.
측정과 실증강제 장치·기여 정책개념 틀과 이론
-
Margaret-Anne Storey, Alexey Zagalsky, Fernando Figueira Filho, Leif Singer, Daniel M. GermanIEEE Transactions on Software Engineering 43(2), pp. 185–204논문영어
GitHub 사용자 1,449명을 대규모로 설문해 개발자가 업무에 필수로 여기는 커뮤니케이션 채널과 그 채널을 쓰며 겪는 어려움을 조사한 논문이다. 소셜 도구가 늘면서 개발자가 서로 배우고 함께 만드는 '참여 문화'가 생기지만, 여러 채널을 함께 쓸 때 생기는 기회와 문제는 아직 잘 이해되지 않았다고 지적한다. 결과는 개발자와 도구 설계자에게 줄 권고의 경험적 기반으로 제시된다.
“However, the interplay of these social channels, as well as the opportunities and challenges they may create when used together within this participatory development culture are not yet well understood.”
개발 관련 소통이 여러 채널에 나뉘어 이루어지고 그 조합이 어려움을 만든다는 점을 설문 데이터로 보여 준다. 결정의 맥락이 코드 밖 여러 채널에 흩어져 다음 작업자나 에이전트가 찾기 어렵다는 의도 부채 문제의 배경 근거로 쓸 수 있다. 다만 이 연결은 이 페이지의 해석이며, 논문이 직접 주장한 내용은 아니다.
핵심 주장 4개
- GitHub 사용자 1,449명을 대상으로 한 대규모 설문 결과를 보고한다 (TSE 43권 2호, 2017-02-01 발행, 온라인 공개 2016-06-23, DOI 10.1109/TSE.2016.2584053).
- 개발자가 업무에 필수로 여기는 채널과 그 채널을 쓸 때의 어려움을 보고하고, 개발자와 도구 설계자를 위한 권고의 경험적 기반을 제시한다.
- 여러 소셜 채널을 함께 쓸 때의 상호작용과 그로 인한 기회·어려움은 아직 잘 이해되지 않았다고 지적한다.
- IEEE Xplore 페이지 기준 인용 185회, 전문 열람 4,279회다 (2026-09-11 열람 시점).
측정과 실증강제 장치·기여 정책
-
Andrew Begel, Beth SimonICER '08: Proceedings of the Fourth International Workshop on Computing Education Research논문영어
Microsoft에 입사한 지 6개월이 안 된 신입 개발자들을 2개월 동안 현장에서 따라다니며 관찰한 질적 사례 연구다. 코딩·디버깅·설계·팀과의 상호작용 등 업무 전반을 관찰하고 어떤 과제를 수행하는지 분석했다. 관찰된 행동의 상당 부분은 조직 관리 분야의 신입 사회화(newcomer socialization) 관점으로 설명된다. 저자들은 이를 바탕으로 대학과 산업 현장에서 신입이 전문가로 성장하는 과정을 앞당길 학습 절차를 논의한다.
“We can explain many of the behaviors revealed by our analyses if viewed through the lens of newcomer socialization from the field of organizational management.”
숙련된 학생도 조직에 들어가면 다시 신입이 되고, 그 적응 과정이 신입 사회화의 문제라는 점을 실증한 온보딩 연구다. 세션마다 맥락 없이 새로 시작하는 AI 에이전트를 매번 새로 들어온 신입으로 보는 비유를 뒷받침하는 배경 자료로 쓸 수 있다. 다만 이 비유는 이 페이지의 해석이며 논문이 직접 다룬 내용은 아니다.
핵심 주장 5개
- ICER '08(제4회 International Workshop on Computing Education Research)에 발표됐고, 저자는 Andrew Begel과 Beth Simon이다.
- 방법: Microsoft 입사 6개월 이내 신입 개발자를 2개월 동안 현장에서 따라다니며 관찰한 질적 사례 연구다 (참여자 수는 초록에 없다).
- 관찰한 업무는 코딩, 디버깅, 설계, 팀과의 상호작용이다.
- 관찰된 행동의 상당 부분은 조직 관리 분야의 신입 사회화 관점으로 설명된다.
- 대학과 산업 현장에서 신입이 전문가로 성장하는 과정을 앞당길 새 학습 절차에 대한 시사점을 논의한다.
측정과 실증강제 장치·기여 정책