With ever-changing models, new and better ones coming out every few months, it’s great if we don’t have to rely on them too heavily. The better your tooling, the less dependent you become on any single model. That’s also why the deterministic harness matters: a correctness layer that lets you reproduce outputs and trace lineage regardless of which model you’re running underneath. This is especially true during maintenance or extending the project, where verification is the real job.
The danger isn’t only a crash or an error message, but a wrong number that didn’t break. It might be a clean query, but it introduces duplicated rows.
In this article, we go through the three levels of AI agents in data engineering, how to structure projects so the AI delivers its best outcomes, and how dedicated agents with a deterministic core help us build higher-quality pipelines — ones we can actually trust. And we look at a practical example of how it works with a blast radius analysis.
Why should we use agents for data engineering? And at what levels can agents help us productively? As LLMs will always have some error tolerance, as humans do too, we need a way to be more confident in producing the code.
There are different levels of confidence and levels on which the agents can help us.
Ideally, we’d want to always use the dedicated tools, but there isn’t always one.
BI Dashboards vs. Plumbing the Data Pipelines, or Creating Source Ingestions, or Maintaining? For data engineering, the question is not only if there is dedicated agent tooling, but also on what part of the data engineering lifecycle AI agents can help data engineers and analysts the most, and potentially even domain experts?
The lifecycle contains the ingestion part, ETL, or understanding the business in great detail, or is it just to visualize the result? Or should it cover maintenance in case of overnight ETL errors, or the full data lifecycle?
In general, before we go into more details later, agents can help us on the full cycle, but it always depends on who you are and what role you play. Building from scratch with no knowledge or seniority is dangerous. Why? Because they can’t verify if the produced code is correct. Okay for a side project or a proof of concept, but not for actual production.
There’s also a part that is less technical, a way of guiding the agents in the right direction. Especially if we want to safely use it in large projects or organizations, we can’t just let it run without guidance.
For that we need:
Login
uv init is best, because it will always be the same).With these steps, you can get the best out of the agents of today. I’d say the model matters less, but the structure does, and as Mario says, so does the workflow approach. For example, extensively plan (the process before writing a single line) and correct the model before any implementation that could lead down the wrong path is written.
Also, don’t overthink it. But this is only the workflow and learning the soft skills and discipline of working with agents. How does that look in a real-world project?
[!note] The key is to get use out of AI, not to get more work.
E.g., most developers used to think about the problem. Today, most drown in PRs. When the AI tooling gets better, AI can provide more quality code that is correct, that needs less review or fewer iterations, which means fewer PRs and less work for the developers to go through.
A key insight is that AI agents should support the “human in the loop” for correctness, or a correctness layer. And rather than making more work to verify more code, we should be confident in the process and know that the code it produces is verified and ultimately correct.
But how do we get more “correct” work and a layer in which we can verify it? The biggest argument is a deterministic-validation architecture in full. E.g., Altimate Code splits the agent into a probabilistic layer on top and a deterministic Rust/TS layer underneath that does the actual SQL ops such as parsing, validating, and equivalence checks, so that the agent itself never has to be trusted on those questions.
Altimate Code, for example, is built on a probabilistic agent, deterministic harness, and deterministic core. The probabilistic agent with the LLM does the creative work of reading intent, picking a strategy, drafting SQL, summarizing results, and recovering when something goes wrong.
Below the boundary sits the deterministic harness, a TypeScript layer that intercepts every tool call: a dispatcher checks hasNativeHandler before the call runs, and routes it either to a native, deterministic handler or back to the model. Those handlers don’t reimplement logic themselves, they call into the deterministic core, a Rust engine (altimate-core) that exposes SQL operations as pure functions over ASTs and schemas, wired in via napi-rs bindings. Parsing, validating, transpiling, checking query equivalence, diffing schemas, extracting column lineage, diffing rows across warehouses — all of it runs sub-millisecond, and all of it returns the same answer on the same input, every time.
Like a compiler, the agent never decides whether two queries are equivalent or a column exists upstream. Instead, it calls a function that proves it against the parsed AST and the schema, the same way a type-checker proves a program compiles rather than guessing.
That’s the distinction that makes the output easier to review, as factual checks have been run and the output is either correct, or there’s a bug that it can fix directly. The rest a human can re-verify. On the dilemma of having stopped to hand-write code and approving it faster than humanly possible to check, you can also read more at You Are the Trust Layer.
[!note] There’s another factor, being wrong
Bare agent use might be cheap, but only until they’re wrong, and then the cost is unbounded.
Altimate, or data engineering agents that have deterministic functions and integrated understanding of how to work, can help you save tokens and be token lean (the opposite of [[tokenmaxxing]], which is popular on Twitter/X, using as many tokens as possible and having an agent running at all times). Because in large enterprises, token costs are a real budget point.
To slow down the tokens, an easy trick is to instruct the model to use fewer tokens and words itself - caveman is a good example of that, but you can also add a singular prompt to your CLAUDE.md, Codex, or model of choice in combination with Altimate Code.
There’s a second, less obvious cost: the token itself isn’t a stable unit. When Anthropic shipped Opus 4.7, the same prompt that cost X tokens on 4.6 started costing roughly 1.4X (same input, same answer, more tokens, same price per token).
Altimate on The Great Token Heist of ‘26 makes the case that “cost-per-token is the wrong number to optimize”, since the meter itself can move with a vendor’s next model update, and what we should track instead is cost-per-task. I fully agree, and this is where deterministic function calls work around that volatility by not using a model/tokens for every task, making it less expensive.
In this chapter we go through typical AI agent use cases for data engineering.
There are many of them. You can use them to educate yourself or your team, build production data pipelines, build data apps, and visualize your data in new innovative ways (usually HTML web pages with React and other JavaScript frameworks). But in general, the use cases fit into these approaches:
Below we go through extending and changing an existing warehouse with a change of column, and using Altimate Code to give us a Blast-radius assessment.
A Blast-radius refers to the potential extent of damage. For example, before you knock down a wall in your house, you want to know if there’s plumbing behind it, electrical wiring within it, or if it’s holding up the floor above.
The same is true for a data warehouse or a data project with lots of ETL. For example, if a data engineer cleans up the table fct_orders by joining orders to order_items and summing order_total. It compiles, the dbt tests pass, nothing errors. But the join changes the grain, so any order with several line items now gets counted once per item, and revenue quietly inflates.
It’s best to know, before you rename a column or add a new join, the downstream (data that comes after the current task) dependencies to the dashboard — that’s what the blast-radius report does.
With Altimate Code we can achieve this. Before any change goes through, it maps out the full impact automatically and produces a detailed blast-radius report with what will break, what’s safe, what needs someone to sign off, and also performs the changes. Here is what this looks like:
As an example, in this prepared ecommerce repo with different DWH layers such as staging -> intermediate -> marts, I prompted this request to change unit from cent to dollars:
It recognized the dbt name and invoked dbt-analyze automatically:
It gave me a full Blast-radius report and the impact my changes would have on the project:
Including semantics only, to point out what’s safe and what’s not:
With a fixed order to address breaking changes, semantics and docs, and intentionally untouched:
Notice, I hadn’t said anything about blast analysis or using dbt-analyze — it did it on its own, ran dbt, and analyzed it deterministically.
This shows how Altimate Code looks behind the walls of data engineering, just like blast radius analysis.
If you want to see another example and a full blog post on Blast Radius, check out Blast Radius Analysis Using Altimate Code, and what Altimate Code did as in the video. Or Altimate provides many more examples and Showcase on their website such as Migrate SQL Server to Snowflake with dbt or showing how to resolve An Upstream Schema Changed.
[!example] Connect a model to Altimate
Make sure to connect to a model with/connectand choose an existing subscription with API credits, or any other subscription. I used opencode zen for my example, which includes e.g. Opus 4.8.
I hope you got a better understanding of why AI agents can be genuinely useful, especially when provided with the right tools and applied with the right discipline.
You’ve also seen how deterministic tooling, purpose-built for data engineering and analytics problems, gets you both better correctness and better token economics than general-purpose agents alone.
Coming back to where we started: not every task needs a level-three agent. A quick chat-phase agent is fine for exploring a dataset or drafting a query you’ll review yourself. But the moment that output touches production or serious work, a dashboard, a nightly job, a number someone makes a decision on, you want the deterministic core underneath it, not just a model that sounds confident.
That’s the gap Altimate Code is built to close. It runs on deterministic functions purpose-built for DE workloads, it’s open-source via the OpenCode TUI, and for teams wanting more, there’s Altimate Studio — a paid, multi-agent platform with extras like warehouse cost optimization, dbt development acceleration, and migration tooling.
Check out Altimate Code, it’s free and open-source. Give them a star if you like them, and find more information on their docs and new website.
Full article published at Altimate.ai - written as part of my services
A dificuldade crescente de acesso à casa própria e o aumento do custo da moradia têm levado pesquisadores e gestores públicos a olhar com mais atenção para o aluguel social como parte da solução para a crise habitacional. De acordo com o Censo do IBGE, cerca de 22% das famílias brasileiras viviam em domicílios alugados em 2022. Ao mesmo tempo, a Pesquisa de Informações Básicas Municipais (MUNIC 2024) mostrou que 67,7% dos municípios afirmam possuir alguma política de aluguel social.
Com projetos e políticas públicas em implementação, cidades como São Paulo, Campo Grande, Belo Horizonte e Recife buscam ampliar o acesso à moradia por meio de iniciativas municipais ou federais que adotam esse instrumento. No modelo, as unidades residenciais são oferecidas pelo poder público, que pode intermediar a oferta ou ser proprietário dos imóveis, enquanto o morador paga um aluguel que não compromete excessivamente sua renda.
Em São Paulo, uma pesquisa conduzida pelo LabCidade, da Faculdade de Arquitetura e Urbanismo da Universidade de São Paulo (FAU-USP), em parceria com a Secretaria Municipal de Habitação da Prefeitura de São Paulo (Sehab-SP), investiga como esse modelo poderia ajudar a enfrentar a crise habitacional da capital. O estudo, que conta com financiamento da FAPESP e é coordenado pela pesquisadora Paula Freire Santoro e pela gestora pública Daniela Perre, busca soluções para ampliar e diversificar a política de locação social já existente.
O déficit habitacional envolve diferentes formas de precariedade, como moradias inadequadas e o chamado ônus excessivo do aluguel — situação em que famílias com renda de até três salários mínimos comprometem mais de 30% do orçamento com o pagamento da moradia. Em São Paulo, esse problema é especialmente expressivo: em 2022, 65% desse público ultrapassava esse limite, segundo dados da Fundação João Pinheiro, instituição de pesquisa, ensino e produção de estatísticas sobre políticas públicas vinculada ao Governo do Estado de Minas Gerais.
Segundo Santoro, mesmo no cenário mais otimista – de 30 mil unidades produzidas em uma única gestão municipal, o maior volume já registrado em São Paulo – seriam necessárias mais de 13 administrações para atender à demanda habitacional calculada em 2016.
“Os desafios são enormes e muito diversos. A política habitacional não pode apostar em apenas um modelo centrado na produção de novas moradias pelo mercado para a casa própria”, afirma Santoro.
Até agora, a pesquisa mapeou diferentes modelos de aluguel social adotados no Brasil e no exterior, desde programas de auxílio e vouchers até parques públicos de locação e parcerias entre governos, sociedade civil e iniciativa privada. O objetivo, segundo as pesquisadoras, não é defender qualquer política baseada no aluguel, mas identificar formatos capazes de ampliar o acesso à moradia sem reproduzir a lógica especulativa do mercado imobiliário, aproveitando melhor o estoque de imóveis já existente.
Além do levantamento comparativo, o estudo já contribuiu para aprimorar normas do Programa de Locação Social de São Paulo e para discussões sobre regulação do mercado de aluguel e plataformas de locação temporária. As pesquisadoras também participaram da elaboração de propostas para uma política nacional de locação social no âmbito do PlanHab 2040.
O aluguel social como aposta
Diferentemente dos programas voltados à compra da casa própria, o aluguel social prevê acesso a moradias oferecidas pelo poder público, que podem ser de propriedade pública ou privada, com a cobrança de um aluguel a preços acessíveis.
O modelo atende grupos que costumam ficar à margem das políticas tradicionais de financiamento habitacional, como jovens, pessoas em situação de rua e famílias de baixa renda. “Há pessoas para quem a casa própria não é a melhor solução”, afirma Claudia Acosta, professora da Fundação Getúlio Vargas e pesquisadora do FGV Cidades, Centro de Ciências para o Desenvolvimento (CCD) apoiado pela Fapesp. “Se uma pessoa com 60 anos entra no programa Minha Casa, Minha Vida, com 75 anos ainda estará no financiamento. Isso não tem sentido”, diz.
Para Acosta, a casa própria pode ainda ser uma espécie de “âncora”, limitando a mobilidade urbana quando está localizada em áreas distantes dos empregos e serviços. “O aluguel pode ser uma ferramenta de inclusão social também por manter as pessoas mais próximas das oportunidades”, diz.
A possibilidade de manter populações de baixa renda em regiões centrais aparece como um dos principais argumentos em defesa do aluguel social. Segundo Francisco Comaru, professor da Universidade Federal do ABC e coordenador do Laboratório de Justiça Territorial (LabJuta), muitos moradores de cortiços pagam um valor alto para morar no centro da cidade, ainda que em condições precárias.
“São funcionários de lojas, de bares e de restaurantes, empregadas domésticas, trabalhadores da construção civil e ambulantes. Quando empurrados para a periferia, têm a sua qualidade de vida prejudicada, além de gerar impacto no meio ambiente, no trânsito e na própria saúde”, explica.
Para o pesquisador, políticas permanentes de aluguel social também ajudam a conter processos de expulsão da população de baixa renda das áreas valorizadas da cidade. “É uma maneira de retirar essas moradias do mercado privado e da precificação que ele impõe, mantendo as pessoas de baixa renda em áreas bem servidas por infraestrutura, emprego e serviços”, aponta Comaru.
Modelos de aluguel social são utilizados em diferentes países desde o pós-guerra, especialmente na Europa, em lugares como Reino Unido, França, Itália e Suíça. Na América Latina, Uruguai, Argentina, Chile e México também praticam o modelo de habitação pública para locação. Em vários desses países, a locação social integra permanentemente as políticas habitacionais e convive com programas de acesso à casa própria.
Uma política antiga que nunca ganhou escala
Apesar de vigente desde 2002, o Programa de Locação Social de São Paulo nunca ganhou escala, ainda que apresente bons índices de acesso e permanência, segundo a pesquisa. Entre os fatores apontados estão a descontinuidade do programa entre diferentes gestões e a preferência histórica por políticas voltadas à casa própria. Nos últimos anos, essa tendência foi reforçada por programas de financiamento habitacional, como o Minha Casa, Minha Vida, criado em 2009 no âmbito do Governo Federal, e por modelos baseados em parcerias com a iniciativa privada, como o programa Pode Entrar, criado pela Prefeitura de São Paulo em 2021.
Hoje, a cidade de São Paulo conta com apenas 937 unidades no formato de locação social. No modelo paulistano, os imóveis pertencem ao poder público e são alugados para pessoas em situação de vulnerabilidade por valores que não podem ultrapassar um percentual de sua renda – entre 10% e 15%, a depender da categoria de beneficiário e do total da renda familiar.
Débora Sanches é professora de Arquitetura e Urbanismo na Universidade Presbiteriana Mackenzie e participou da conceituação e implementação da política. “O programa deu origem a habitações como o Residencial Olarias, no Canindé, e a Vila dos Idosos, no Pari. A partir do momento em que tiveram moradia digna, muitas pessoas voltaram a estudar e tiveram acesso a melhores empregos. Ter um endereço impacta na autoestima das pessoas e nas suas condições de vida”, afirma Sanches.
Parte dessas unidades, porém, pode deixar de integrar o programa nos próximos anos. De acordo com Perre, servidora da Sehab-SP e arquiteta responsável pela parceria com o LabCidade no projeto, dois dos sete empreendimentos do modelo serão desvinculados do programa e a propriedade das unidades será transferida aos beneficiários. Juntos, eles representam cerca da metade das habitações no programa de aluguel social do município.
“No caso do Parque do Gato, no Bom Retiro, e do Residencial Olarias, a desvinculação foi aprovada por uma resolução do Conselho Municipal de Habitação, e a propriedade será transferida sem custo para os moradores”, explica. Segundo a arquiteta, o órgão perdeu o domínio sobre as unidades, sobretudo por conta do tráfico de drogas na região, e não conseguia mais fazer a manutenção das unidades.
Auxílio-aluguel e precarização
Em paralelo ao programa de locação social, São Paulo mantém uma política de auxílio-aluguel voltada a famílias removidas de áreas de risco ou atingidas por obras públicas. Em março deste ano, 29 mil famílias recebiam o benefício.
De acordo com a pesquisadora Isadora Guerreiro, que integra o LabCidade, o maior volume de famílias removidas e atendidas pelo auxílio em São Paulo atualmente está concentrado na zona sul da cidade, com um número expressivo de casos vindos do Programa Mananciais. O projeto da Sehab-SP teve início nos anos 90 na região da bacia hidrográfica de Guarapiranga, promovendo ações para a regularização fundiária de favelas e núcleos na região. Hoje, o programa também atua na bacia Billings, na mesma zona da cidade.
Guerreiro, no entanto, alerta sobre os problemas do modelo. “Ele não atende à necessidade de moradia das famílias: a Prefeitura não sabe onde elas vão morar, e vemos que a maioria acaba em imóveis precários alugados de maneira informal, sob ameaça de despejo”, conta.
Segundo a pesquisadora, as famílias muitas vezes saem de casas em que investiram dinheiro e vão para lugares piores, pagando aluguel. “Isso não pode ser considerado uma política habitacional”, afirma. A crítica ilustra uma das questões centrais do debate habitacional: oferecer um benefício temporário não necessariamente garante acesso estável à moradia.
A town that honors the unnamed dead. A girl torn from her mother. A concert a group of musicians never imagined they would have to perform. This week we’re heading to Colombia with three unexpected stories.
Find the English transcript of “Colombian Anthology” here. Or check out the Spanish transcript here.
One version of “War Instruments”, one of the stories featured in this anthology, originally aired in English on the Snap Judgment podcast. You can listen to it here.
This podcast is the property of Radio Ambulante Studios. Any copy, distribution, or adaptation is expressly prohibited without prior authorization.
► Subscribe to our newsletter. It’s our favorite place to stay in touch with our community. Get an email every Tuesday with the newest Radio Ambulante episode and one every Friday with 5 recommendations from our team.
► We have good news: our partners at Jiveworld have launched a new app to learn and practice English by listening to real stories from fantastic podcasts that have inspired us, such as This American Life and Radiolab. Plus, Radio Ambulante listeners get a 50% discount on their subscription! Just go here.
We are an independent, nonprofit media outlet. If you value our work, join Deambulantes here and help us keep telling the stories of Latin America.
The post Colombian Anthology appeared first on Radio Ambulante.
Até que ponto os evangélicos vivem separados do restante do mundo? Como essa separação afeta o posicionamento político dessas pessoas? Por que as lideranças pentecostais estão cada vez mais próximas do espectro politico de direita? Como essa guinada conservadora se reflete nos fieis? E como os frequentadores dessas igrejas que não se identificam com este caminho ideológico enfrentam esse movimento?
Ouça a resposta para essas e outras perguntas no nosso episódio 164: A redoma de Cristo.
Mergulhe mais fundo
Discípulos: a investida evangélica no esporte (link para o podcast)
Episódios relacionados
154: Hoje é dia de gospel, bebê
Entrevistada do episódio
Cientista social, mestra em Gestão e Políticas Públicas pela Fundação Getúlio Vargas (FGV-SP) e pesquisadora do Instituto de Estudos da Religião (ISER).
Ficha técnica
Design das capas dos aplicativos e do site: Cláudia Furnari.
Trilha sonora tema: Paulo Gama.
Mixagem de som: Vitor Coroa.
Produção, reportagem e edição de áudio: Matheus Marcolino.
Direção, roteiro e apresentação: Tomás Chiaverini.
