AI at engineering8 min basahin
AIFintechResponsible AILLMMultilingual

Paano namin ginawa ang AI na nagpapaliwanag ng pera nang hindi nagha-hallucinate

Ang AI na nagkakamali sa numero sa isang finance app ay hindi isang katuwaan, kundi pinsala. Eto kung paano namin ginawa ang mga assistant na nagpapaliwanag ng credit, budget, at utang sa 13 wika nang hindi gumagawa ng payo o numero.

Svetlana Burninova

Svetlana Burninova

CTO & Co-Founder

Paano namin ginawa ang AI na nagpapaliwanag ng pera nang hindi nagha-hallucinate

Nagpapaliwanag ng mga konsepto sa pananalapi ang AI ng YPA-FINANCE, hindi ito kailanman gumagawa ng payo o numero. Bawat kalkulasyon na may kinalaman sa pera mo ay tumatakbo sa audited na code, hindi sa language model. Ang post na ito ay tungkol sa kung paano namin iginuhit ang linyang iyon, at bakit ito ang pinakamahalagang engineering decision sa likod ng aming mga AI assistant.

Kapag naririnig ng mga tao ang "AI financial assistant," karaniwan nilang naiisip ang chatbot na sumasagot sa mga tanong tungkol sa pera. Madali iyon. Ang mahirap, ang bahaging halos walang nagsasalita, ay ang siguraduhing hindi ka nito kailanman sasabihan nang may kumpiyansa ng kasinungalingan. Sa karamihan ng produkto, ang hallucination ay isang nakakahiyang screenshot. Sa finance app na ginagamit ng taong nagsisimula sa sistema ng bagong bansa sa kanyang ikalawang wika, ito ay isang tao na gumagawa ng tunay na desisyon batay sa numerong inimbento namin.

Kaya gusto kong pag-usapan kung paano namin ito talaga ginawa: kung saan namin pinapahintulutan ang AI na magsalita nang malaya, kung saan hindi namin ito pinapalapit, at ang mga safety guardrail sa pagitan.

Ang hallucination sa pananalapi ay hindi katuwaan. Ito ay pinsala.

Hinuhulaan ng mga large language model ang plausible na teksto. Iyon ang ginagawa nila. Sa karamihan ng pagkakataon, ang plausible at ang tama ay nagsasanib, at iyan ang eksaktong dahilan kung bakit mapanganib ang puwang, dahil hindi ito nakikita hanggang sa tuluyang lumitaw.

Tanungin ang general-purpose chatbot na "kung magbabayad ako ng $200 buwan-buwan sa $5,000 balance sa 24% APR, kailan ako magiging debt-free?" at bibigyan ka nito ng kumpiyansa, partikular, at maayos na pormal na sagot. Minsan tama. Minsan mali ng isang taon. Hindi mo malalaman alin sa pagtingin lamang dito, at hindi rin malalaman ng taong nangangailangang magtanong sa una.

Idagdag mo pa ang aming tunay na mga user: mga imigrante at bagong dating na karaniwang walang financial safety net, walang magulang na nakakaalam na sa sistema, o walang English fluency para mag-double check sa talata na mukhang sigurado. Ang buong dahilan kung bakit sila gumagamit ng YPA-FINANCE ay dahil *hindi nila* madaling ma-verify ang mga bagay na ito sa sarili nila. Hindi iyon yung user na pwede naming bigyan ng plausible na hula. Kaya dinisenyo namin ang lahat sa paligid ng isang matibay na patakaran: ang model ay hindi kailanman ang pinagmumulan ng katotohanan para sa anumang dapat maging tama.

Magpaliwanag ≠ magpayo

Ang pinakamahalagang linyang iginuhit namin ay sa pagitan ng pagpapaliwanag at pagpapayo.

Ang pagpapaliwanag ay: "Ang APR ay ang taunang gastos ng paghiram ng pera, kasama ang interes. Ang 24% APR ay nangangahulugan na, halos, sa bawat $100 na pinapanatili mo sa card sa loob ng isang taon, mga $24 ang naidaragdag bilang interes." Iyon ay isang konsepto. Matatag, totoo anuman ang iyong partikular na sitwasyon, at maaaring ipaliwanag ito ng AI sa simpleng salita, sa anuman sa aming 13 wika.

Ang pagpapayo ay: "Dapat kang maglagay ng $300 sa card na ito at tumigil sa paggamit ng kabila." Iyon ay reseta tungkol sa pera ng partikular na tao. Nakadepende ito sa mga numerong dapat maging eksakto, at may kahihinatnan kung mali.

Ang aming AI ay gumagawa ng unang bagay. Sinadya itong gawin para hindi gawin ang ikalawa. Hindi limitasyon na hinihingian namin ng paumanhin ang hangganang iyon, ito ay isang safety feature. Ang tool na nagpapaliwanag kung paano gumagana ang credit ay nagbibigay ng kapangyarihan sa iyo na gawin ang sarili mong desisyon. Ang tool na tahimik na gumagawa ng desisyon para sa iyo, batay sa hula, ang eksaktong bagay na sinusubukan naming protektahan ang mga tao.

Ang mga safety guardrail, malinaw

Ito ang itsura ng hangganan sa totoong sistema.

Tumatakbo ang math sa code, hindi sa model. Bawat kalkulasyon, mga timeline ng pagbabayad ng utang, interes na binayaran, paghahambing ng payoff strategies, ay tumatakbo sa deterministic at tested na code. Ang parehong logic sa likod ng Calculator PRO. Hindi gumagawa ng arithmetic ang language model. Kapag nagtanong ka ng tanong na nangangailangan ng numero, ang trabaho ng model ay kilalanin kung ano ang iyong itinatanong at ibigay ito sa calculator, pagkatapos ipaliwanag ang resulta sa iyong wika. Kinakalkula ang numero; tanging ang paliwanag lamang ang ginagawa. Kung hindi makasagot ang math engine, sinasabi ito ng AI, hindi ito nag-iimbento.

Naka-anchor ang mga paliwanag, hindi malaya. Kapag ipinapaliwanag ng AI ang isang konsepto, gumagamit ito ng aming sariling verified na financial content, ang parehong materyales sa likod ng aming mga gabay, hindi galing sa anumang nahuli niya sa training. Ang pag-anchor ng sagot sa kilalang source ang pumipigil sa "ano ang minimum payment" na ma-drift papuntang isang kumpiyansa na imbensyon.

Sinasadyang limitado ang saklaw. Ginawa ang assistant para mag-usap tungkol sa credit, budget, utang, at pag-unawa sa mga financial document. Tanungin ito ng bagay sa labas niyan, hulaan ang stock, ipangako sa iyo na maa-approve ka sa card, garantiyahan ang credit score sa loob ng 30 araw, at idinisenyo ito na tumanggi sa halip na sayuhin ka ng sagot. Ang "Hindi ko alam" at "Depende, eto ang dapat isaalang-alang" ay mga balidong, tamang sagot. Itinuturing namin silang mga feature.

Laging may paraan papunta sa tao. Kapag lumagpas ang tanong sa dapat sagutin ng AI, ang tamang hakbang ay hindi isang mas magandang hula, kundi isang tao. Maaaring makipag-ugnayan ang mga user sa tunay na tao sa pamamagitan ng WhatsApp o Telegram. Ang pagkaalam ng AI kung saan natatapos ang trabaho nito ay kasinghalaga ng ginagawa niya sa loob nito.

Ang paggawa nito sa 13 wika ay nagpapalaki sa risk

Eto ang problemang nilalaktawan ng karamihan ng mga "AI finance app" na artikulo: ang hallucination risk at translation risk ay nagsasama.

Isang bagay ang gumawa ng model na ipaliwanag ang APR nang tama sa English. Isa pang bagay ang siguraduhin na ang *parehong* paliwanag ay tumpak, simple, at malinaw sa kultura sa Spanish, Arabic, Russian, Korean, Vietnamese, Tagalog at pitong iba pa, kabilang ang mga right-to-left na wika at mga wikang ang bokabularyong pampinansyal ay hindi maayos na nag-tutugma sa mga konseptong Amerikano. Ang malumanay na maling pagsasalin ng "minimum payment" o "statement balance" ay maaaring maging kasing-sama ng hinuhulaang numero, at mas mahirap mahuli dahil mukhang okay naman ang English.

Kaya ang parehong prinsipyo ay nag-aaplay sa mga wika: ang mga konseptong pampinansyal na ipinapaliwanag namin ay galing sa verified, controlled na source material, at ang trabaho ng model ay i-render ang mga ito nang malinaw sa wika ng user, hindi muling imbento ang financial meaning sa bawat pagsasalin. Nananatili ang structure; ang wika ang nag-aadapt. Ganito mo mapipigilang "simpleng wika sa 13 wika" na maging tahimik na "13 pagkakataong magkamali nang dahan-dahan".

Ang hindi namin pinapayagang gawin niya

Halaga ng paglilinaw, dahil ang listahan ang siyang tiwala:

  • Hindi ito nag-iimbento ng mga numero. Kung mahalaga ang isang pigura, kinalkula ito, hindi ginawa.
  • Hindi ito nagbibigay ng partikular na buy/sell o investment na payo.
  • Hindi ito nangangako ng mga resulta, walang "maa-approve ka," walang "aabot ang score mo sa X sa oras na iyon."
  • Hindi ito sumasagot sa labas ng saklaw nito para lang magmukhang kapaki-pakinabang.
  • Hindi ito nakakakita o gumagamit ng datos na wala kami, ang parehong architectural constraint sa likod ng paano namin hinahawakan ang iyong datos.
  • Bakit ito ang buong punto

    Sinabi ko na noon na ang pagkalito sa pananalapi ay hindi personal na kabiguan, ito ay isang design flaw, at maaaring ayusin ang mga design flaw. Ang AI ang pinakamakapangyarihang tool na nagkaroon tayo para ayusin ito: isang matiyagang tagapagpaliwanag na gumagana sa iyong wika, sa iyong bilis, walang paghuhusga.

    Ngunit ang kapangyarihang iyon ay may dalawang panig. Ang AI na nagpapaliwanag nang malinaw *at tumpak* ay tunay na nagbabago ng buhay para sa isang taong na-lock out sa financial system dahil sa wika. Ang AI na nagpapaliwanag nang malinaw at *minsan ay mali* ay mas masama pa kaysa walang AI para sa parehong tao, dahil walang paraang malaman niya kung aling beses ay alin.

    Iyon ang dahilan kung bakit ginawa namin ito sa paraan na ginawa namin. Karamihan sa mga financial tool na napag-usapan ng aming mga user — mga bangko, call center, generic na chatbot — ay parang confident pero tahimik na nagkakamali. Tumanggi kaming maglabas pa ng isa pa niyon. Ang mga safety guardrail ay hindi yung idinagdag namin matapos buuin ang AI. Sila ang dahilan kung bakit karapat-dapat ipalabas ang AI.

    Makikita mo kung paano gumagana ang assistant sa praktika sa pahina ng AI assistant, o tingnan kung paano nagkukumpara ang YPA-FINANCE sa ibang finance app sa aming pahina ng paghahambing.

    ---

    Si Svetlana Burninova ay co-founder at CTO ng YPA Finance, na may 15 taon sa financial systems at 7 taon sa infrastructure. May hawak siyang AWS, CKA, CKAD, at HashiCorp Terraform na sertipikasyon. May mga tanong tungkol sa paano kami gumagawa ng aming AI? I-email siya sa hello@ypa.finance.