Code For FantasyID Evaluation

import%20marimo%0A%0A__generated_with%20%3D%20%220.14.13%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22%2C%20app_title%3D%22Code%20For%20FantasyID%20Evaluation%22)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20format%2C%0A%20%20%20%20hist_plot%2C%0A%20%20%20%20metrics_df%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20roc_plot%2C%0A%20%20%20%20selected_protocol%2C%0A%20%20%20%20selected_threshold%2C%0A%20%20%20%20split%2C%0A%20%20%20%20table_format%2C%0A)%3A%0A%20%20%20%20_plots%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bsplit%2C%20selected_protocol%2C%20format%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20roc_plot(split.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22toImageButtonOptions%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22format%22%3A%20format.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22filename%22%3A%20f%22roc_%7Bsplit.value.replace('%20'%2C%20'_')%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22height%22%3A%20340%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22width%22%3A%20490%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22scale%22%3A%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bsplit%2C%20selected_protocol%2C%20format%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.plotly(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hist_plot(split.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20config%3D%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22toImageButtonOptions%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22format%22%3A%20format.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22filename%22%3A%20f%22hist_%7Bsplit.value.replace('%20'%2C%20'_')%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22height%22%3A%20420%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22width%22%3A%20480%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22scale%22%3A%202%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20_table_md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20metrics_df.to_markdown(index%3DFalse)%0A%20%20%20%20%20%20%20%20if%20table_format.value%20%3D%3D%20%22markdown%22%0A%20%20%20%20%20%20%20%20else%20%22%60%60%60%5Cn%22%20%2B%20metrics_df.to_latex(index%3DFalse%2C%20float_format%3D%22%25.1f%22)%20%2B%20%22%5Cn%60%60%60%22%0A%20%20%20%20)%0A%20%20%20%20_table_latex%20%3D%20(%0A%20%20%20%20%20%20%20%20%22%60%60%60%5Cn%22%20%2B%20metrics_df.to_latex(index%3DFalse%2C%20float_format%3D%22%25.1f%22)%20%2B%20%22%5Cn%60%60%60%22%0A%20%20%20%20)%0A%20%20%20%20_images%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.image(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22chinese.png%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D%2250%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.image(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20%22turkey.png%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3D%2250%25%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Examples%20of%20original%20digital%20versions%20of%20FantasyID%20cards.%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20)%0A%20%20%20%20_header%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%23%20%3Cdiv%20style%3D%22text-align%3A%20center%22%3E%3Cspan%20style%3D%22color%3Ablue%22%3EFantasyID%3C%2Fspan%3E%3A%20A%20dataset%20for%20detecting%20digital%20manipulations%20of%20ID-documents%3C%2Fdiv%3E%0A%20%20%20%20%5BPavel%20Korshunov%5D(%3Cpavel.korshunov%40idiap.ch%3E)%2C%0A%20%20%20%20%5BAmir%20Mohammadi%5D(%3Camir.mohammadi%40idiap.ch%3E)%2C%0A%20%20%20%20%5BVidit%20Vidit%5D(%3Cvidit.vidit%40idiap.ch%3E)%2C%0A%20%20%20%20%5BChristophe%20Ecabert%5D(%3Cchristophe.ecabert%40idiap.ch%3E)%2C%0A%20%20%20%20%5BSebastien%20Marcel%5D(%3CSebastien.Marcel%40idiap.ch%3E)%0A%0A%20%20%20%20Idiap%20Research%20Institute%2C%20Martigny%2C%20Switzerland%0A%0A%20%20%20%20IJCB%202025%0A%0A%20%20%20%20%7B_images%7D%0A%0A%20%20%20%20%23%23%20Summary%0A%20%20%20%20%3Cdiv%20style%3D%22text-align%3A%20justify%22%3E%0A%20%20%20%20Advancements%20in%20image%20generation%20led%20to%20the%20availabil-%0A%20%20%20%20ity%20of%20easy-to-use%20tools%20for%20malicious%20actors%20to%20create%20forged%0A%20%20%20%20images.%20These%20tools%20pose%20a%20serious%20threat%20to%20the%20widespread%0A%20%20%20%20Know%20Your%20Customer%20(KYC)%20applications%2C%20requiring%20ro-%0A%20%20%20%20bust%20systems%20for%20detection%20of%20the%20forged%20Identity%20Documents%0A%20%20%20%20(IDs).%20To%20facilitate%20the%20development%20of%20the%20detection%20algo-%0A%20%20%20%20rithms%2C%20in%20this%20paper%2C%20we%20propose%20a%20novel%20publicly%20available%0A%20%20%20%20(including%20commercial%20use)%20dataset%2C%20FantasyID%2C%20which%20mim-%0A%20%20%20%20ics%20real-world%20IDs%20but%20without%20tampering%20with%20legal%20docu-%0A%20%20%20%20ments%20and%2C%20compared%20to%20previous%20public%20datasets%2C%20it%20does%0A%20%20%20%20not%20contain%20generated%20faces%20or%20specimen%20watermarks.%20Fan-%0A%20%20%20%20tasyID%20contains%20ID%20cards%20with%20diverse%20design%20styles%2C%20lan-%0A%20%20%20%20guages%2C%20and%20faces%20of%20real%20people.%20To%20simulate%20a%20realis-%0A%20%20%20%20tic%20KYC%20scenario%2C%20the%20cards%20from%20FantasyID%20were%20printed%0A%20%20%20%20and%20captured%20with%20three%20different%20devices%2C%20constituting%20the%0A%20%20%20%20bonafide%20class.%20We%20have%20emulated%20digital%20forgery%2Finjection%0A%20%20%20%20attacks%20that%20could%20be%20performed%20by%20a%20malicious%20actor%20to%20tam-%0A%20%20%20%20per%20the%20IDs%20using%20the%20existing%20generative%20tools.%20The%20current%0A%20%20%20%20state-of-the-art%20forgery%20detection%20algorithms%2C%20such%20as%20Tru-%0A%20%20%20%20For%2C%20MMFusion%2C%20UniFD%2C%20and%20FatFormer%2C%20are%20challenged%20by%0A%20%20%20%20FantasyID%20dataset.%20It%20especially%20evident%2C%20in%20the%20evaluation%0A%20%20%20%20conditions%20close%20to%20practical%2C%20with%20the%20operational%20thresh-%0A%20%20%20%20old%20set%20on%20validation%20set%20so%20that%20false%20positive%20rate%20is%20at%2010%25%2C%0A%20%20%20%20leading%20to%20false%20negative%20rates%20close%20to%2050%25%20across%20the%20board%0A%20%20%20%20on%20the%20test%20set.%20The%20evaluation%20experiments%20demonstrate%20that%0A%20%20%20%20FantasyID%20dataset%20is%20complex%20enough%20to%20be%20used%20as%20an%20eval-%0A%20%20%20%20uation%20benchmark%20for%20detection%20algorithms.%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.center()%0A%20%20%20%20%20%20%20%20.style(text_align%3D%22center%22)%0A%20%20%20%20)%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%7Bmo.callout(_header%2C%20%22info%22)%7D%0A%20%20%20%20%7B_plots%7D%0A%20%20%20%20%7Bmo.hstack(%5Bselected_protocol%2C%20selected_threshold%2C%20%22The%20threshold%20for%20FPR%2C%20FNR%2C%20and%20HTER%20values%20are%20fixed%20from%20the%20validation%20set.%22%5D)%7D%0A%20%20%20%20%7B_table_md%7D%0A%20%20%20%20%7B_table_latex%7D%0A%20%20%20%20%22%22%22).center()%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(SPLITS%2C%20mo)%3A%0A%20%20%20%20split%20%3D%20mo.ui.dropdown(options%3DSPLITS%2C%20value%3D%22all%22%2C%20label%3D%22Protocol%22)%0A%20%20%20%20return%20(split%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20format%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D(%22png%22%2C%20%22svg%22%2C%20%22jpeg%22%2C%20%22webp%22)%2C%0A%20%20%20%20%20%20%20%20value%3D%22svg%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Download%20Plot%20Format%22%2C%0A%20%20%20%20)%0A%20%20%20%20table_format%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D(%22markdown%22%2C%20%22latex%22)%2C%20value%3D%22markdown%22%2C%20label%3D%22Table%20Format%22%0A%20%20%20%20)%0A%20%20%20%20selected_threshold%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0%2C%20stop%3D1%2C%20step%3D0.01%2C%20value%3D0.5%2C%20label%3D%22Threshold%20for%20ACC%20and%20F1%22%0A%20%20%20%20)%0A%20%20%20%20selected_protocol%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D(%22val%22%2C%20%22test%22)%2C%20value%3D%22test%22%2C%20label%3D%22Group%22%0A%20%20%20%20)%0A%20%20%20%20return%20format%2C%20selected_protocol%2C%20selected_threshold%2C%20table_format%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20sklearn%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20import%20plotly.io%20as%20pio%0A%20%20%20%20import%20pyarrow%20%20%23%20noqa%3A%20F401%0A%20%20%20%20import%20tabulate%20%20%23%20noqa%3A%20F401%0A%20%20%20%20import%20jinja2%20%20%23%20noqa%3A%20F401%0A%0A%20%20%20%20pio.templates.default%20%3D%20%22plotly_white%22%0A%20%20%20%20MODELS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22trufor%22%3A%20%22TruFor%22%2C%0A%20%20%20%20%20%20%20%20%22mmfusion%22%3A%20%22MMFusion%22%2C%0A%20%20%20%20%20%20%20%20%22unifd%22%3A%20%22UniFD%22%2C%0A%20%20%20%20%20%20%20%20%22fatformer%22%3A%20%22FatFormer%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20return%20MODELS%2C%20go%2C%20mo%2C%20np%2C%20pd%2C%20px%2C%20sklearn%0A%0A%0A%40app.cell%0Adef%20_(MODELS%2C%20pd%2C%20selected_protocol)%3A%0A%20%20%20%20def%20find_train_files(df)%3A%0A%20%20%20%20%20%20%20%20val_set%20%3D%20df%5B%22protocol%22%5D%20%3D%3D%20%22val%22%0A%20%20%20%20%20%20%20%20last_split%20%3D%20df%5B%22filename%22%5D.str.split(%22-%22).str%5B-1%5D%0A%20%20%20%20%20%20%20%20return%20last_split.str.len()%20%3C%3D%2011%20%26%20val_set%0A%0A%20%20%20%20def%20df_of_model(model)%3A%0A%20%20%20%20%20%20%20%20df%20%3D%20pd.read_parquet(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22https%3A%2F%2Fraw.githubusercontent.com%2F183amir%2FCode-For-FantasyID-Evaluation%2Frefs%2Fheads%2Fmain%2Fpublic%2F%7Bmodel%7D%2Fdetection.parquet%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20columns%3D(%22label%22%2C%20%22score%22%2C%20%22filename%22%2C%20%22protocol%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20filters%3D%5B(%22protocol%22%2C%20%22%3D%3D%22%2C%20selected_protocol.value)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20train_mask%20%3D%20find_train_files(df)%0A%20%20%20%20%20%20%20%20df.loc%5Btrain_mask%2C%20%22protocol%22%5D%20%3D%20%22train%22%0A%20%20%20%20%20%20%20%20df%5B%22model%22%5D%20%3D%20model%0A%20%20%20%20%20%20%20%20df%5B%22label%22%5D%20%3D%20df%5B%22label%22%5D.replace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22digital_3%22%3A%20%22attack%201%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22facedancer%22%3A%20%22attack%202%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22textdiffuserft_bfei%22%3A%20%22attack%203%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22digital_1%22%3A%20%22inswapper%2Bdiffste%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22digital_2%22%3A%20%22facedancer%2Btextdiffuser2%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20df%0A%0A%20%20%20%20df_all_models%20%3D%20pd.concat(%5Bdf_of_model(m)%20for%20m%20in%20MODELS%5D)%0A%20%20%20%20SPLITS%20%3D%20(%22all%22%2C)%20%2B%20tuple(%0A%20%20%20%20%20%20%20%20set(%0A%20%20%20%20%20%20%20%20%20%20%20%20df_all_models%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20df_all_models%5B%22protocol%22%5D%20%3D%3D%20selected_protocol.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D.label.unique()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20-%20%7B%22bonafide%22%7D%0A%20%20%20%20)%0A%20%20%20%20print(SPLITS)%0A%20%20%20%20print(df_all_models)%0A%20%20%20%20return%20SPLITS%2C%20df_all_models%0A%0A%0A%40app.cell%0Adef%20_(df_all_models)%3A%0A%20%20%20%20print(df_all_models.label.value_counts())%0A%20%20%20%20print(df_all_models.protocol.value_counts())%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20MODELS%2C%0A%20%20%20%20SPLITS%2C%0A%20%20%20%20df_all_models%2C%0A%20%20%20%20np%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20selected_protocol%2C%0A%20%20%20%20selected_threshold%2C%0A%20%20%20%20sklearn%2C%0A)%3A%0A%20%20%20%20def%20filter_df_by_split(df%2C%20split)%3A%0A%20%20%20%20%20%20%20%20labels%20%3D%20%5B%22bonafide%22%5D%0A%20%20%20%20%20%20%20%20if%20split%20%3D%3D%20%22all%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20labels.extend(set(SPLITS)%20-%20%7B%22all%22%7D)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20labels.append(split)%0A%20%20%20%20%20%20%20%20return%20df%5Bdf.label.isin(labels)%5D%0A%0A%20%20%20%20def%20get_df(model%3DNone%2C%20split%3D%22all%22%2C%20filter_by_protocol%3DTrue)%3A%0A%20%20%20%20%20%20%20%20if%20model%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df%20%3D%20df_all_models%5Bdf_all_models.model%20%3D%3D%20model%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df%20%3D%20df_all_models.copy()%0A%20%20%20%20%20%20%20%20if%20filter_by_protocol%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df%20%3D%20df%5Bdf%5B%22protocol%22%5D%20%3D%3D%20selected_protocol.value%5D%0A%20%20%20%20%20%20%20%20if%20split%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20df%0A%20%20%20%20%20%20%20%20return%20filter_df_by_split(df%2C%20split)%0A%0A%20%20%20%20def%20far_threshold(negatives%2C%20positives%2C%20far_value%3D0.001%2C%20is_sorted%3DFalse)%3A%0A%20%20%20%20%20%20%20%20%22%22%22from%20bob.measure%22%22%22%0A%20%20%20%20%20%20%20%20if%20far_value%20%3C%200.0%20or%20far_value%20%3E%201.0%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20RuntimeError(%22%60far_value'%20must%20be%20in%20the%20interval%20%5B0.%2C1.%5D%22)%0A%0A%20%20%20%20%20%20%20%20if%20len(negatives)%20%3C%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20RuntimeError(%22the%20number%20of%20negative%20scores%20must%20be%20at%20least%202%22)%0A%0A%20%20%20%20%20%20%20%20epsilon%20%3D%20np.finfo(np.float64).eps%0A%20%20%20%20%20%20%20%20scores%20%3D%20negatives%20if%20is_sorted%20else%20np.sort(negatives)%0A%20%20%20%20%20%20%20%20if%20far_value%20%3E%3D%20(1%20-%20epsilon)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.nextafter(scores%5B0%5D%2C%20scores%5B0%5D%20-%201)%0A%0A%20%20%20%20%20%20%20%20scores%20%3D%20np.flip(scores)%0A%20%20%20%20%20%20%20%20total_count%20%3D%20len(scores)%0A%20%20%20%20%20%20%20%20current_position%20%3D%200%0A%20%20%20%20%20%20%20%20valid_threshold%20%3D%20np.nextafter(%0A%20%20%20%20%20%20%20%20%20%20%20%20scores%5Bcurrent_position%5D%2C%20scores%5Bcurrent_position%5D%20%2B%201%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20current_threshold%20%3D%200.0%0A%0A%20%20%20%20%20%20%20%20while%20current_position%20%3C%20total_count%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20current_threshold%20%3D%20scores%5Bcurrent_position%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20while%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20current_position%20%3C%20(total_count%20-%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20scores%5Bcurrent_position%20%2B%201%5D%20%3D%3D%20current_threshold%0A%20%20%20%20%20%20%20%20%20%20%20%20)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20current_position%20%2B%3D%201%0A%20%20%20%20%20%20%20%20%20%20%20%20future_far%20%3D%20(current_position%20%2B%201)%20%2F%20total_count%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20future_far%20%3E%20far_value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20break%0A%20%20%20%20%20%20%20%20%20%20%20%20valid_threshold%20%3D%20current_threshold%0A%20%20%20%20%20%20%20%20%20%20%20%20current_position%20%2B%3D%201%0A%0A%20%20%20%20%20%20%20%20return%20valid_threshold%0A%0A%20%20%20%20def%20compute_threshold(df)%3A%0A%20%20%20%20%20%20%20%20y_true%20%3D%20df%5B%22label%22%5D%20%3D%3D%20%22bonafide%22%0A%20%20%20%20%20%20%20%20y_score%20%3D%20df%5B%22score%22%5D%0A%20%20%20%20%20%20%20%20negatives%2C%20positives%20%3D%20y_score%5B~y_true%5D%2C%20y_score%5By_true%5D%0A%20%20%20%20%20%20%20%20return%20far_threshold(negatives%2C%20positives%2C%20far_value%3D0.1)%0A%20%20%20%20%20%20%20%20%23%20fpr%2C%20tpr%2C%20thresholds%20%3D%20sklearn.metrics.roc_curve(y_true%2C%20y_score)%0A%20%20%20%20%20%20%20%20%23%20threshold_index%20%3D%20np.abs(fpr%20-%200.01).argmin()%0A%20%20%20%20%20%20%20%20%23%20return%20thresholds%5Bthreshold_index%5D%0A%0A%20%20%20%20def%20metrics(model%2C%20split)%3A%0A%20%20%20%20%20%20%20%20df%20%3D%20get_df(model%2C%20split%3DNone%2C%20filter_by_protocol%3DFalse)%0A%20%20%20%20%20%20%20%20val_threshold%20%3D%20compute_threshold(df%5Bdf%5B%22protocol%22%5D%20%3D%3D%20%22val%22%5D)%0A%20%20%20%20%20%20%20%20df%20%3D%20df%5Bdf%5B%22protocol%22%5D%20%3D%3D%20selected_protocol.value%5D%0A%20%20%20%20%20%20%20%20df%20%3D%20filter_df_by_split(df%2C%20split)%0A%20%20%20%20%20%20%20%20y_true%20%3D%20df%5B%22label%22%5D%20%3D%3D%20%22bonafide%22%0A%20%20%20%20%20%20%20%20y_score%20%3D%20df%5B%22score%22%5D%0A%20%20%20%20%20%20%20%20y_pred%20%3D%20y_score%20%3E%3D%20selected_threshold.value%0A%20%20%20%20%20%20%20%20tn%2C%20fp%2C%20fn%2C%20tp%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20sklearn.metrics.confusion_matrix(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_true%3Dy_true%2C%20y_pred%3Dy_score%20%3E%3D%20val_threshold%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.ravel()%0A%20%20%20%20%20%20%20%20%20%20%20%20.tolist()%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fpr%20%3D%20fp%20%2F%20(fp%20%2B%20tn)%0A%20%20%20%20%20%20%20%20fnr%20%3D%20fn%20%2F%20(fn%20%2B%20tp)%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ACC%22%3A%20sklearn.metrics.balanced_accuracy_score(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_true%3Dy_true%2C%20y_pred%3Dy_pred%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22AUC%22%3A%20sklearn.metrics.roc_auc_score(y_true%3Dy_true%2C%20y_score%3Dy_score)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22F1%22%3A%20sklearn.metrics.f1_score(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y_true%3Dy_true%2C%20y_pred%3Dy_pred%2C%20average%3D%22weighted%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FPR%22%3A%20fpr%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22FNR%22%3A%20fnr%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22HTER%22%3A%20(fpr%20%2B%20fnr)%20%2F%202%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20def%20metrics_table()%3A%0A%20%20%20%20%20%20%20%20records%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20model%20in%20MODELS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20split%20in%20SPLITS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20records.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Model%22%3A%20model%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Protocol%22%3A%20split%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20k%3A%20round(v%20*%20100%2C%201)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20k%2C%20v%20in%20metrics(model%2C%20split).items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20df%20%3D%20pd.DataFrame(records)%0A%20%20%20%20%20%20%20%20df.Model%20%3D%20df.Model.replace(MODELS)%0A%20%20%20%20%20%20%20%20return%20df%0A%0A%20%20%20%20metrics_df%20%3D%20metrics_table()%0A%20%20%20%20print(metrics_df)%0A%20%20%20%20return%20get_df%2C%20metrics_df%0A%0A%0A%40app.cell%0Adef%20_(MODELS%2C%20get_df%2C%20pd%2C%20sklearn%2C%20split)%3A%0A%20%20%20%20def%20roc_df(split)%3A%0A%20%20%20%20%20%20%20%20records%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20model%20in%20MODELS%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20df%20%3D%20get_df(model%2C%20split)%0A%20%20%20%20%20%20%20%20%20%20%20%20y_true%20%3D%20df%5B%22label%22%5D%20%3D%3D%20%22bonafide%22%0A%20%20%20%20%20%20%20%20%20%20%20%20y_score%20%3D%20df%5B%22score%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20fpr%2C%20tpr%2C%20_%20%3D%20sklearn.metrics.roc_curve(y_true%3Dy_true%2C%20y_score%3Dy_score)%0A%20%20%20%20%20%20%20%20%20%20%20%20df_roc%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fpr%22%3A%20fpr%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tpr%22%3A%20tpr%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20df_roc%5B%22model%22%5D%20%3D%20model%0A%20%20%20%20%20%20%20%20%20%20%20%20records.append(df_roc)%0A%20%20%20%20%20%20%20%20return%20pd.concat(records)%0A%0A%20%20%20%20print(roc_df(split.value))%0A%20%20%20%20return%20(roc_df%2C)%0A%0A%0A%40app.cell%0Adef%20_(MODELS%2C%20px%2C%20roc_df)%3A%0A%20%20%20%20def%20roc_plot(split)%3A%0A%20%20%20%20%20%20%20%20df%20%3D%20roc_df(split)%0A%20%20%20%20%20%20%20%20df.model%20%3D%20df.model.replace(MODELS)%0A%20%20%20%20%20%20%20%20fig%20%3D%20px.line(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%22fpr%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%22tpr%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22model%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20labels%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fpr%3D%22False%20Positive%20Rate%22%2C%20tpr%3D%22True%20Positive%20Rate%22%2C%20model%3D%22Model%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color_discrete_sequence%3Dpx.colors.qualitative.D3%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yanchor%3D%22bottom%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D0.01%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xanchor%3D%22right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22rgba(255%2C255%2C255%2C0.7)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20return%20(roc_plot%2C)%0A%0A%0A%40app.cell%0Adef%20_(MODELS%2C%20SPLITS%2C%20get_df%2C%20go)%3A%0A%20%20%20%20def%20hist_plot(split)%3A%0A%20%20%20%20%20%20%20%20df%20%3D%20get_df(model%3DNone%2C%20split%3Dsplit)%0A%20%20%20%20%20%20%20%20df.label%20%3D%20df.label.replace(%7Bv%3A%20%22attack%22%20for%20v%20in%20SPLITS%7D)%0A%20%20%20%20%20%20%20%20df.model%20%3D%20df.model.replace(MODELS)%0A%20%20%20%20%20%20%20%20unique_models%20%3D%20df%5B%22model%22%5D.unique()%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20colors%20based%20on%20matplotlib's%20'tab'%20palette%20with%20opacity%0A%20%20%20%20%20%20%20%20color_map%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22bonafide%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fill%22%3A%20%22rgba(31%2C%20119%2C%20180%2C%200.6)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22line%22%3A%20%22rgb(31%2C%20119%2C%20180)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22attack%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fill%22%3A%20%22rgba(255%2C%20127%2C%2014%2C%200.6)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22line%22%3A%20%22rgb(255%2C%20127%2C%2014)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20legend_map%20%3D%20%7B%22bonafide%22%3A%20%22Bonafide%22%2C%20%22attack%22%3A%20%22Attacks%22%7D%0A%0A%20%20%20%20%20%20%20%20%23%202.%20Initialize%20a%20Figure%20object%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20%20%20%20%20bandwidth%20%3D%200.04%0A%0A%20%20%20%20%20%20%20%20%23%203.%20Loop%20through%20each%20model%20to%20create%20split%20violin%20traces%0A%20%20%20%20%20%20%20%20for%20i%2C%20model_name%20in%20enumerate(unique_models)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20---%20Bonafide%20Trace%20(Right%20Side)%20---%0A%20%20%20%20%20%20%20%20%20%20%20%20df_bonafide%20%3D%20df%5B(df%5B%22model%22%5D%20%3D%3D%20model_name)%20%26%20(df%5B%22label%22%5D%20%3D%3D%20%22bonafide%22)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20kw%20%3D%20dict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bandwidth%3Dbandwidth%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20span%3D%5B0%2C1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20spanmode%3D%22hard%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scalegroup%3Dmodel_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20points%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box_visible%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20meanline_visible%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3D(i%20%3D%3D%200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Violin(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Ddf_bonafide%5B%22model%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf_bonafide%5B%22score%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Dlegend_map%5B%22bonafide%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legendgroup%3Dlegend_map%5B%22bonafide%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20side%3D%22positive%22%2C%20%20%23%20Swapped%20to%20'positive'%20(right)%20to%20match%20Matplotlib%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line_color%3Dcolor_map%5B%22bonafide%22%5D%5B%22line%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fillcolor%3Dcolor_map%5B%22bonafide%22%5D%5B%22fill%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**kw%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20---%20Attack%20Trace%20(Left%20Side)%20---%0A%20%20%20%20%20%20%20%20%20%20%20%20df_attack%20%3D%20df%5B(df%5B%22model%22%5D%20%3D%3D%20model_name)%20%26%20(df%5B%22label%22%5D%20%3D%3D%20%22attack%22)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_trace(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Violin(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Ddf_attack%5B%22model%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf_attack%5B%22score%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Dlegend_map%5B%22attack%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legendgroup%3Dlegend_map%5B%22attack%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20side%3D%22negative%22%2C%20%20%23%20Swapped%20to%20'negative'%20(left)%20to%20match%20Matplotlib%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line_color%3Dcolor_map%5B%22attack%22%5D%5B%22line%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fillcolor%3Dcolor_map%5B%22attack%22%5D%5B%22fill%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**kw%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%204.%20Update%20traces%20and%20layout%20to%20match%20the%20target%20image%0A%20%20%20%20%20%20%20%20fig.update_traces(width%3D0.8%2C%20box_line_width%3D1)%0A%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20violinmode%3D%22overlay%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20violingap%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20plot_bgcolor%3D'white'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20range%3D%5B0%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20gridcolor%3D'lightgrey'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20gridwidth%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20griddash%3D'dash'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20showline%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20linewidth%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20linecolor%3D'black'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20mirror%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20zeroline%3DFalse%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20xaxis%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20showgrid%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20showline%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20linewidth%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20linecolor%3D'black'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20mirror%3DTrue%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title_text%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis_title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20legend%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3D0.99%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3D0.02%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xanchor%3D%22right%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yanchor%3D%22bottom%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bgcolor%3D%22rgba(255%2C255%2C255%2C0.7)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20bordercolor%3D'black'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20borderwidth%3D1%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20%23%20add%20selected_threshold%20as%20a%20horizontal%20line%20here%0A%20%20%20%20%20%20%20%20%23%20fig.add_hline(%0A%20%20%20%20%20%20%20%20%23%20%20%20%20%20y%3Dselected_threshold.value%2C%0A%20%20%20%20%20%20%20%20%23%20%20%20%20%20line_color%3D%22red%22%2C%0A%20%20%20%20%20%20%20%20%23%20%20%20%20%20line_dash%3D%22dash%22%2C%0A%20%20%20%20%20%20%20%20%23%20%20%20%20%20annotation_text%3D%22Threshold%22%2C%0A%20%20%20%20%20%20%20%20%23%20%20%20%20%20annotation_position%3D%22top%20right%22%2C%0A%20%20%20%20%20%20%20%20%23%20)%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20return%20(hist_plot%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A