Hanbin Lee

Haven't seen it on Bluesky yet: a nice paper is making the rounds, estimating that the cost of housing permits in LA can explain 1/3 of the gap between construction costs and housing prices.

That is: LA's terribly slow housing permitting is extremely costly!

This contained a nice reminder that Ben has a book coming out about computational frameworks for decision making and how he doesn't like any of them. Preordered!

Finally caught up with the course back logs.. processes on graphs look very cool!

AI companies stealing works of people accusing AI companies stealing their work a lot of joy here

We’ve identified industrial-scale distillation attacks on our models by DeepSeek, Moonshot AI, and MiniMax. These labs created over 24,000 fraudulent accounts and generated over 16 million exchanges with Claude, extracting its capabilities to train and improve their own models.

What made my day here is that they got no sympathy even on Muskrat's platform lol. And unlike Anthropic, deepseek is paying for model use when they do this, to create models that are open weight. They're showing how this entire bubble is being propped up by the equivalent of a toothpick.

rt> x.com/SHARE_srhr/s...

"이 사건의 근본적인 원인은 제도의 부재"

"권ㅇㅇ님이 임신 36주차에 임신중지를 하게 된 것은 비범죄화 이후 정부가 보건의료 체계와 상담, 지원 연계 체계를 전혀 구축하지 않았기 때문"

▶ 후기 임신중지를 이유로 살인죄 구형을 받은 권ㅇㅇ님에 대한 무죄 선고 탄원서 연명 요청 (2월 25일 자정까지)
t.co/XV9iB3fypb

This city is my favorite in all of US.

Are TX and FL really enlarging their urban areas? or are they just sprawling harder?

This is the funniest shit from AI I've ever had

*epiphany*

Genes are just contracted phenotypes

The problem is that people are rarely equipped with a model of the world. Then, everything is either vacuously true or wrong.

계통도의 복원가능성도 참 닳고 닳은 주제인데 논문이 얘기하는 cherry가 계통도를 피해가게 해주는 장치입니다. 나무 끝자락에 있는 가지들만 복원하고 더 깊은 건 무시하는 방식이죠. 여기서 얻은 부분적 정보로 나무 전체를 재구성할 수 있는 이론적 한계는 잘 모르겠습니다

수학적으로만 보면 유전자가 어떻게 진화하는지 구조적 변이를 고려한 모형을 건설하는 게 중요한 과제 중 하나인데 뚜렷한 방법이 없었습니다. 이론이 없는 걸 뉴럴넷으로 메꾼다는 생각은 많은 사람들이 했지만 이전까지는 정말로 LLM에서 하던 거 베끼기에 불과했거든요. 말씀하신 것들에 대한 벤치마크가 일부가 뒷부분에 있는데 반신반의하면서도 심미적으로는 아주 훌륭합니다.

Putative solutions include injecting artificial noise to public data to neutralize such malicious attempts. The cost? obviously less precision. I have some mixed thoughts about it, but it's certainly better to be aware of issues than to remain oblivious.

www.biorxiv.org/content/10.6...

Glad to see this paper out.
I attended Prof. Gürsoy's talk during last year's probgen and the claims were scary. You can literally reverse-engineer GWAS summary statistics and public single-cell RNA-seq data to identify subjects.

이 아이디어로 생물학 실험과 머신러닝을 End-to-end로 이으려는 시도는 이미 광범위하게 시도되고 있습니다. 기계가 그럴싸한 단백질이나 핵산 등등의 후보를 추린 다음에 랩에서 검증하고 랩에서 뭐가 되면 다시 그걸 기계한테 넣어서 강화학습을 하는 루프를 계속 도는 거죠. 특히 affinity 같은 평가 척도가 명확한 항체 디자인 같은 영역에서 빛을 보는 중입니다. Directed evolution도 이걸로 재미 많이 보는 것 같고.

(3) 이건 학습이론 하는 주변 사람들한테 귀동냥한 것인데 답을 생성하는 generator 들이 이루는 공간의 차원이 답을 검증하는 verifier 들이 이루는 공간의 차원보다 유의미하게 큽니다. 그래서 후자를 찾는 게 이론적으로 더 쉽고, 경험적으로도 그렇습니다. 이 말은 처음부터 맞는 답 찾는 모델 만들려고 노력할 시간에 적당히 오답도 뱉는 모델에 verifier 붙이는 게 낫다는 겁니다. 왜 AI의 코딩/수학 실력이 갑자기 늘었냐? AI 한참 전에 이미 기계증명이란 분야가 있었잖아요.

(1)은 링크된 프리프린트와 서론을 읽어보세요. 26년 아직 두 달 밖에 안 됐지만 제 마음 속 올해의 논문으로 끝날 가능성이 아주 높아보입니다.
(2)는 위에 쓴 그대로인데 꼭 바이오ML이 아니어도 팔 이유도 많고 파는 사람도 많습니다. 제가 길게 설명하긴 아직 배움이 짧아서 ㅎㅎ (리만기하 이번 학기에 듣는 중인 사람)

별로 정리된 생각은 아니지만 거칠게 정리하면 여기에는 크게 3가지 요소를 생각해야합니다.
(1) 시퀀스는 독립된 관찰이 아니다 (진화적 근연관계에 대한 통계적 고려)
(2) 단백질/핵산은 물리화학적 특성을 가진다 (물리법칙을 고려한 대칭성)
(3) 답안을 쓰는 것보다 있는 답안을 가려내는 게 쉽다 (함수공간의 크기)

링크한 페이퍼는 주로 (1)에 관한 것이고 (2)는 PIN (physics-informed neural nets) 그리고 (3)은 강화학습과 닿아있습니다.

데보라 마크스가 빠질 수 없다고 생각하는데 지금은 덴마크로 간 예전 제자 (엘리 와인슈타인)가 한 연구들이 좋았어요. 나머지 한 곳은 넓게 봐서 보스턴-영국-스위스를 아우르는 geometric deep learning 하는 사람들인데 (여긴 런던 딥마인드도 껴있는) 이건 진화랑은 별 상관이 없는 얘기들이에요. 기하학으로 모델이 inductive bias 강하게 넣으려는 시도가 실전에서 이론만큼 잘 되진 않는 것 같지만 이것 외에 딱히 기대할 대안도 없는 것 같습니다.

어제 이거 읽고 의욕을 잃었어요 ㅋㅋ

www.biorxiv.org/content/10.6...

너도 나도 AI4Science를 외치는 요즘이지만 여전히 LLM에서의 성공공식을 무작정 대입하는 것 이상의 시도는 여전히 매우 드물다고 생각합니다.

다만 제가 요즘 제약회사들 보고 아직은 멀었다고 생각하는 게, 알파폴드 이후에 유의미한 도약은 없이 LLM의 성공공식을 그대로 대입하는 것 너머의 전략이 아직 부재하다는 겁니다. 이건 대학도 크게 다르지 않은 것 같고 이런 관성에 벗어나 있는 곳은 넉넉잡아 세 개 랩 정도 있는 것 같아요 ㅋㅋ

물론 이 말이 AI가 반드시 성공한다는 뜻은 아닙니다. 만약에 돈줄을 발굴한다면 저 영역이라는 조건부 진술입니다.

이건 반대로 LLM이 아닌 AI 디자인 역량이 중요하다는 뜻이기도 합니다. 도메인마다 요구되는 AI의 형태가 다르니까요. 그런 점에서 LLM 붐은 앞으로 2년을 가기가 어렵지 않을까요? 그리고 비LLM 역량이 없는 회사들은 샷다를 내리지 않을까 싶습니다.

의약학, 소재, 반도체 등 어느 것이든 무궁무진하다고 생각합니다. 요즘 수학증명 AI가 뜨는 것이 일종의 테스트베드라고 생각합니다. 이론적으로도 경험적으로도 현재의 AI 학습은 확실하고 규모가 큰 검증 과정에 의존하는데 이를 고전적인 nonAI 기계증명을 통해 조달할 수 있는 게 수학의 큰 장점이거든요. 이게 보통의 인간이 어려워하는 수학이 역설적으로 기계가 잘하는 이유입니다.

AI가 실제로 돈이 되려면 사무직 생산성 좀 높이는 것으로는 택도 없고 실체적인 과학이나 기술적 발전을 이뤄야할 것입니다. 그게 요즘 몇몇 대학, 네셔널 랩, 그리고 딥마인드가 추구하는 방향 같아요. 코딩 봇? 제미니가 나머지 두 회사에 비해 월등히 구리지만 현금 흐름이 확실한 구글이 굳이 당장의 매출을 위해 쫓을 필요가 없는 목표인 듯 싶어요.

좀 딴 얘기인데 제 인상은 구글이 LLM을 통해서 AGI를 달성하는 것을 부수적인 효과로 여긴다는 겁니다. 장사꾼이 원하는 건 궁극적으로 돈인데 앤트로픽이나 오픈AI를 보면 장기적으로 수지타산이 안 맞는 장사임은 자명하죠. 다만 당장 어그로가 끌리니까 구글도 유행을 거스르지 않는 선에서 립서비스를 하는 거 아닐까요.

It's really ironic that the only solution when stuck with a paper is to just start writing it.

We complain a lot about word salads and hallucination of LLMs, but I guess both are the core qualities to get rich nowadays.