Simple Topic Modeling

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.13%22%0A%23%20dependencies%20%3D%20%5B%22altair%22%2C%20%22numpy%22%2C%20%22pandas%22%2C%20%22pillow%22%2C%20%22pydantic%22%2C%20%22pypdf%22%2C%20%22scikit-learn%22%2C%20%22scipy%22%2C%20%22wordcloud%22%2C%20%22simple-topic-modeling%20%40%20..%2Fpublic%2Fwheels%2Fsimple_topic_modeling-2.0.0a0-py3-none-any.whl%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.24.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Simple%20Topic%20Modeling%22)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_()%3A%0A%20%20%20%20import%20sys%0A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20%23%20marimo%20passes%20the%20PEP%20723%20wheel%20path%20to%20micropip%20as%20a%20relative%20URL%2C%20which%20micropip%20does%20not%0A%20%20%20%20%23%20resolve%20against%20this%20page.%20Install%20the%20wheel%20again%20from%20an%20absolute%20URL%2C%20so%20the%20package%20is%0A%20%20%20%20%23%20present%20whichever%20path%20ran%20first.%20micropip%20skips%20a%20package%20it%20already%20installed.%0A%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20import%20micropip%0A%0A%20%20%20%20%20%20%20%20_wheel%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.notebook_location()%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%20%22public%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%20%22wheels%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2F%20%22simple_topic_modeling-2.0.0a0-py3-none-any.whl%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20await%20micropip.install(str(_wheel))%0A%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20from%20simple_topic_modeling%20import%20exports%2C%20io%2C%20metrics%2C%20modeling%2C%20plots%0A%20%20%20%20from%20simple_topic_modeling%20import%20result%20as%20result_mod%0A%20%20%20%20from%20simple_topic_modeling.config%20import%20(%0A%20%20%20%20%20%20%20%20LANGUAGE_LABELS%2C%0A%20%20%20%20%20%20%20%20MODE_LABELS%2C%0A%20%20%20%20%20%20%20%20AppConfig%2C%0A%20%20%20%20%20%20%20%20ModelConfig%2C%0A%20%20%20%20%20%20%20%20PreprocessConfig%2C%0A%20%20%20%20%20%20%20%20StopWordConfig%2C%0A%20%20%20%20%20%20%20%20config_changed%2C%0A%20%20%20%20%20%20%20%20config_from_upload%2C%0A%20%20%20%20)%0A%20%20%20%20from%20simple_topic_modeling.errors%20import%20FriendlyMessage%2C%20TopicError%0A%20%20%20%20from%20simple_topic_modeling.preprocess%20import%20frequent_terms%0A%20%20%20%20from%20simple_topic_modeling.selection%20import%20resolve_topic%2C%20selected_topic_from_chart%0A%20%20%20%20from%20simple_topic_modeling.stopwords%20import%20effective_stopwords%0A%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20AppConfig%2C%0A%20%20%20%20%20%20%20%20FriendlyMessage%2C%0A%20%20%20%20%20%20%20%20LANGUAGE_LABELS%2C%0A%20%20%20%20%20%20%20%20MODE_LABELS%2C%0A%20%20%20%20%20%20%20%20ModelConfig%2C%0A%20%20%20%20%20%20%20%20PreprocessConfig%2C%0A%20%20%20%20%20%20%20%20StopWordConfig%2C%0A%20%20%20%20%20%20%20%20TopicError%2C%0A%20%20%20%20%20%20%20%20config_changed%2C%0A%20%20%20%20%20%20%20%20config_from_upload%2C%0A%20%20%20%20%20%20%20%20effective_stopwords%2C%0A%20%20%20%20%20%20%20%20exports%2C%0A%20%20%20%20%20%20%20%20frequent_terms%2C%0A%20%20%20%20%20%20%20%20io%2C%0A%20%20%20%20%20%20%20%20metrics%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20modeling%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20%20%20%20%20plots%2C%0A%20%20%20%20%20%20%20%20resolve_topic%2C%0A%20%20%20%20%20%20%20%20result_mod%2C%0A%20%20%20%20%20%20%20%20selected_topic_from_chart%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20The%20run%20request%20lets%20a%20control%20other%20than%20the%20run%20button%20start%20one%20fit.%0A%20%20%20%20%23%20A%20later%20Rerun%20action%20reuses%20it.%0A%20%20%20%20get_source_choice%2C%20set_source_choice%20%3D%20mo.state(%22Demo%3A%20newspapers%22)%0A%20%20%20%20get_run_request%2C%20set_run_request%20%3D%20mo.state(False)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20get_run_request%2C%0A%20%20%20%20%20%20%20%20get_source_choice%2C%0A%20%20%20%20%20%20%20%20set_run_request%2C%0A%20%20%20%20%20%20%20%20set_source_choice%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20set_run_request%2C%20set_source_choice)%3A%0A%20%20%20%20def%20_run_demo(_value)%3A%0A%20%20%20%20%20%20%20%20set_source_choice(%22Demo%3A%20newspapers%22)%0A%20%20%20%20%20%20%20%20set_run_request(True)%0A%0A%20%20%20%20def%20_run_book_demo(_value)%3A%0A%20%20%20%20%20%20%20%20set_source_choice(%22Demo%3A%20book%22)%0A%20%20%20%20%20%20%20%20set_run_request(True)%0A%0A%20%20%20%20def%20_use_own_data(_value)%3A%0A%20%20%20%20%20%20%20%20set_source_choice(%22Upload%20files%22)%0A%0A%20%20%20%20_intro%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%23%20Simple%20Topic%20Modeling%0A%0A%20%20%20%20This%20app%20finds%20the%20themes%20in%20a%20collection%20of%20documents%2C%20or%20in%20one%20long%20text%20such%20as%20a%20book.%0A%0A%20%20%20%20You%20get%20a%20list%20of%20topics.%20Each%20topic%20holds%20the%20words%20that%20occur%20together%2C%20the%20share%20of%20the%0A%20%20%20%20corpus%20that%20the%20topic%20covers%2C%20and%20the%20documents%20that%20match%20it.%20For%20one%20long%20text%2C%20the%20app%0A%20%20%20%20also%20shows%20where%20each%20topic%20occurs%2C%20from%20the%20first%20paragraph%20to%20the%20last.%0A%0A%20%20%20%20A%20run%20takes%20a%20few%20seconds%20for%20a%20few%20hundred%20documents.%0A%0A%20%20%20%20Select%20**Newspaper%20Corpus%20demo**%20to%20fit%20a%20model%20on%20295%20newspaper%20articles%20of%201914%20now.%0A%20%20%20%20Select%20**Single%20Book%20demo**%20to%20see%20where%20each%20topic%20occurs%20in%20one%20book%20of%201792.%0A%20%20%20%20Select%20**Use%20my%20own%20data**%20to%20load%20your%20documents%20in%20Step%201.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20%23%20marimo%20holds%20a%20UI%20element%20by%20a%20weak%20reference.%20A%20button%20with%20a%20local%20name%20only%20is%20garbage%0A%20%20%20%20%23%20collected%20after%20the%20cell%20runs%2C%20and%20marimo%20then%20drops%20its%20clicks.%20Give%20each%20button%20a%20global%0A%20%20%20%20%23%20name.%0A%20%20%20%20run_demo_button%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Newspaper%20Corpus%20demo%22%2C%20kind%3D%22success%22%2C%20on_change%3D_run_demo%0A%20%20%20%20)%0A%20%20%20%20run_book_button%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Single%20Book%20demo%22%2C%20kind%3D%22success%22%2C%20on_change%3D_run_book_demo%0A%20%20%20%20)%0A%20%20%20%20own_data_button%20%3D%20mo.ui.button(label%3D%22Use%20my%20own%20data%22%2C%20kind%3D%22neutral%22%2C%20on_change%3D_use_own_data)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_intro%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Brun_demo_button%2C%20run_book_button%2C%20own_data_button%5D%2C%20justify%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20**Your%20documents%20stay%20in%20this%20browser.**%0A%0A%20%20%20%20%20%20%20%20The%20app%20reads%20and%20models%20your%20text%20locally.%20It%20sends%20nothing%20to%20an%20analysis%20server.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22How%20to%20use%20this%20tool%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%201.%20**Add%20data.**%20Use%20a%20demo%2C%20or%20load%20your%20own%20documents.%20You%20can%20also%20load%20one%20long%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%2C%20such%20as%20a%20book%2C%20and%20choose%20**Analyse%20as%3A%20Ordered%20text**.%0A%20%20%20%20%20%20%20%20%20%20%20%202.%20**Configure.**%20Set%20the%20language%2C%20then%20set%20the%20number%20of%20topics.%0A%20%20%20%20%20%20%20%20%20%20%20%203.%20**Run%20and%20explore.**%20Select%20**Run%20model**.%20The%20app%20fits%20the%20model%20in%20this%20browser.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Then%20read%20each%20topic%20and%20name%20it.%0A%20%20%20%20%20%20%20%20%20%20%20%204.%20**Export.**%20Download%20the%20research%20package%2C%20or%20single%20files.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20newspaper%20demo%20holds%20295%20French%20articles%20from%20two%20Swiss%20newspapers%20of%201914.%20A%0A%20%20%20%20%20%20%20%20%20%20%20%20machine%20read%20the%20articles%20from%20a%20scan%2C%20so%20some%20words%20carry%20errors.%20A%20real%20archive%0A%20%20%20%20%20%20%20%20%20%20%20%20looks%20like%20this.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20book%20demo%20is%20one%20English%20book%3A%20Mary%20Wollstonecraft%2C%20*A%20Vindication%20of%20the%20Rights%0A%20%20%20%20%20%20%20%20%20%20%20%20of%20Woman*%20(1792).%20The%20app%20splits%20it%20into%20paragraphs%20and%20keeps%20their%20order.%20The%20results%0A%20%20%20%20%20%20%20%20%20%20%20%20show%20where%20each%20topic%20occurs%20in%20the%20book.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20is%20a%20topic%20model%3F%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20topic%20model%20reads%20a%20collection%20of%20documents.%20It%20finds%20the%20groups%20of%20words%20that%20occur%0A%20%20%20%20%20%20%20%20%20%20%20%20together.%20Each%20group%20is%20a%20**topic**.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20**term**%20is%20one%20word%20in%20a%20topic.%20The%20model%20gives%20each%20term%20a%20weight.%20The%20terms%20with%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20highest%20weight%20tell%20you%20what%20the%20topic%20is%20about.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20**score**%20says%20how%20strongly%20one%20document%20belongs%20to%20one%20topic.%20One%20document%20can%20hold%0A%20%20%20%20%20%20%20%20%20%20%20%20several%20topics.%20The%20highest%20score%20names%20the%20main%20topic%20of%20that%20document.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20model%20does%20not%20know%20what%20a%20topic%20means.%20You%20read%20the%20terms%20and%20the%20documents.%20Then%0A%20%20%20%20%20%20%20%20%20%20%20%20you%20give%20the%20topic%20a%20name.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Can%20I%20analyse%20one%20long%20text%3F%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Yes.%20A%20topic%20model%20needs%20many%20documents%2C%20so%20the%20app%20splits%20one%20long%20text%20into%0A%20%20%20%20%20%20%20%20%20%20%20%20**segments**%2C%20usually%20its%20paragraphs.%20Each%20segment%20counts%20as%20one%20document.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20In%20**Ordered%20text**%20mode%2C%20each%20segment%20keeps%20its%20number%2C%20which%20is%20its%20position%20in%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20text.%20The%20results%20then%20show%20where%20each%20topic%20occurs%2C%20and%20which%20passages%20represent%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20best.%20Use%20this%20mode%20for%20a%20book%2C%20a%20thesis%2C%20a%20report%2C%20or%20a%20transcript.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Load%20the%20text%20as%20one%20TXT%2C%20Markdown%2C%20HTML%2C%20or%20text-based%20PDF%20file%2C%20or%20paste%20it.%20One%20PDF%0A%20%20%20%20%20%20%20%20%20%20%20%20opens%20in%20this%20mode.%20A%20PDF%20segment%20is%20usually%20one%20page%2C%20not%20one%20paragraph.%20Select%0A%20%20%20%20%20%20%20%20%20%20%20%20**Single%20Book%20demo**%20to%20see%20this%20mode%20on%20a%20whole%20book.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20In%20**Independent%20segments**%20mode%2C%20the%20segments%20are%20unrelated%20documents%2C%20and%20their%20order%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20lost.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%201%20%E2%80%94%20Add%20data%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(get_source_choice%2C%20mo%2C%20set_source_choice)%3A%0A%20%20%20%20source%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Demo%3A%20newspapers%22%2C%20%22Demo%3A%20book%22%2C%20%22Upload%20files%22%2C%20%22Paste%20text%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3Dget_source_choice()%2C%0A%20%20%20%20%20%20%20%20on_change%3Dset_source_choice%2C%0A%20%20%20%20%20%20%20%20label%3D%22Where%20does%20your%20text%20come%20from%3F%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20source%0A%20%20%20%20return%20(source%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20source)%3A%0A%20%20%20%20file_input%20%3D%20mo.ui.file(multiple%3DTrue%2C%20kind%3D%22area%22%2C%20label%3D%22Drop%20files%20here%22)%0A%20%20%20%20paste_input%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Paste%20your%20text%22%2C%20placeholder%3D%22One%20document%20per%20paragraph.%22%2C%20rows%3D8%0A%20%20%20%20)%0A%20%20%20%20_widget%20%3D%20%7B%22Upload%20files%22%3A%20file_input%2C%20%22Paste%20text%22%3A%20paste_input%7D.get(source.value)%0A%20%20%20%20_help%20%3D%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Which%20format%20works%20best%3F%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Use%20**CSV%2C%20TSV%2C%20JSON%2C%20or%20JSONL**%20when%20you%20have%20one%20row%20per%20document%20plus%20metadata%0A%20%20%20%20%20%20%20%20%20%20%20%20such%20as%20a%20date%20or%20a%20category.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Use%20**TXT%2C%20Markdown%2C%20HTML%2C%20or%20any%20other%20UTF-8%20text%20file**%20when%20each%20file%20is%20itself%0A%20%20%20%20%20%20%20%20%20%20%20%20one%20document.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Use%20**one%20long%20text**%2C%20such%20as%20a%20book%2C%20a%20thesis%2C%20or%20a%20transcript%2C%20to%20see%20where%20each%0A%20%20%20%20%20%20%20%20%20%20%20%20topic%20occurs%20in%20it.%20Load%20the%20one%20file%2C%20then%20choose%20**Analyse%20as%3A%20Ordered%20text**.%20The%0A%20%20%20%20%20%20%20%20%20%20%20%20app%20splits%20the%20text%20into%20paragraphs%20and%20keeps%20their%20order.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Use%20a%20**text-based%20PDF**%20in%20the%20same%20way.%20The%20app%20reads%20the%20text%20in%20this%20browser.%20One%0A%20%20%20%20%20%20%20%20%20%20%20%20PDF%20opens%20as%20an%20ordered%20text.%20A%20PDF%20rarely%20holds%20blank%20lines%2C%20so%20each%20page%20usually%0A%20%20%20%20%20%20%20%20%20%20%20%20becomes%20one%20segment.%20A%20scanned%20PDF%20holds%20images%2C%20not%20text.%20The%20app%20does%20no%20OCR%2C%20so%0A%20%20%20%20%20%20%20%20%20%20%20%20convert%20a%20scan%20to%20a%20searchable%20PDF%20first.%20The%20app%20does%20not%20open%20a%20PDF%20that%20needs%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20password%20to%20open.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Upload%20one%20table%2C%20or%20any%20number%20of%20text%20and%20PDF%20files.%20The%20app%20rejects%20any%20other%20mix.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20DOCX%2C%20images%2C%20and%20ZIP%20files%20are%20out%20of%20scope.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B_widget%2C%20_help%5D)%20if%20_widget%20is%20not%20None%20else%20_help%0A%20%20%20%20return%20file_input%2C%20paste_input%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(exports%2C%20io%2C%20mo%2C%20source)%3A%0A%20%20%20%20%23%20The%20demo%20file%20is%20the%20one%20file%20a%20reader%20needs%20to%20repeat%20a%20demo%20run.%20It%20ships%20inside%20the%0A%20%20%20%20%23%20wheel%2C%20so%20the%20download%20reads%20it%20from%20the%20package%20and%20never%20from%20the%20network.%0A%20%20%20%20if%20source.value%20%3D%3D%20%22Demo%3A%20newspapers%22%3A%0A%20%20%20%20%20%20%20%20_demo%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.download(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data%3Dexports.to_csv_bytes(io.demo_table())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20filename%3D%22demo_corpus.csv%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Download%20the%20demo%20corpus%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*295%20articles%20from%20the*%20Journal%20de%20Gen%C3%A8ve%20*and%20the*%20Gazette%20de%20Lausanne%20*of%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%201914.%20See%20%60NOTICE%60%20for%20the%20source%20and%20the%20licence.*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20source.value%20%3D%3D%20%22Demo%3A%20book%22%3A%0A%20%20%20%20%20%20%20%20_demo%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.download(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data%3Dio.demo_text().encode(%22utf-8%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20filename%3Dio.DEMO_TEXT_NAME%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Download%20the%20demo%20text%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mimetype%3D%22text%2Fplain%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*Mary%20Wollstonecraft%2C*%20A%20Vindication%20of%20the%20Rights%20of%20Woman%20*(1792)%2C%20from%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20Project%20Gutenberg.%20The%20text%20is%20public%20domain.%20See%20%60NOTICE%60%20for%20the%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20source.*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_demo%20%3D%20mo.md(%22%22)%0A%20%20%20%20_demo%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(TopicError%2C%20file_input%2C%20io%2C%20paste_input%2C%20source)%3A%0A%20%20%20%20table%20%3D%20None%0A%20%20%20%20text_documents%20%3D%20None%0A%20%20%20%20text_names%20%3D%20None%0A%20%20%20%20load_error%20%3D%20None%0A%20%20%20%20load_notices%20%3D%20%5B%5D%0A%0A%20%20%20%20%23%20A%20PDF%20that%20fails%20raises%20here%2C%20so%20the%20message%20takes%20the%20existing%20load-error%20path.%20The%20fit%0A%20%20%20%20%23%20state%20stays%20untouched%2C%20so%20the%20last%20result%20survives%20a%20bad%20PDF.%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20if%20source.value%20%3D%3D%20%22Demo%3A%20newspapers%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20table%20%3D%20io.demo_table()%0A%20%20%20%20%20%20%20%20elif%20source.value%20%3D%3D%20%22Demo%3A%20book%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20text_documents%20%3D%20%5Bio.demo_text()%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20text_names%20%3D%20%5Bio.DEMO_TEXT_NAME%5D%0A%20%20%20%20%20%20%20%20elif%20source.value%20%3D%3D%20%22Upload%20files%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_uploads%20%3D%20%5Bio.UploadedFile(item.name%2C%20item.contents)%20for%20item%20in%20file_input.value%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_plan%20%3D%20io.classify_uploads(_uploads)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_plan.error%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20load_error%20%3D%20_plan.error%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_plan.table%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20table%20%3D%20io.read_table(_plan.table)%0A%20%20%20%20%20%20%20%20%20%20%20%20elif%20_plan.texts%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_read%20%3D%20%5Bio.read_text_document(item)%20for%20item%20in%20_plan.texts%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text_documents%20%3D%20%5Btext%20for%20text%2C%20_%20in%20_read%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text_names%20%3D%20%5Bitem.name%20for%20item%20in%20_plan.texts%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20load_notices%20%3D%20%5Bnotice%20for%20_%2C%20notice%20in%20_read%20if%20notice%20is%20not%20None%5D%0A%20%20%20%20%20%20%20%20elif%20paste_input.value.strip()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20text_documents%20%3D%20%5Bpaste_input.value%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20text_names%20%3D%20%5B%22pasted%20text%22%5D%0A%20%20%20%20except%20TopicError%20as%20error%3A%0A%20%20%20%20%20%20%20%20load_error%20%3D%20error.friendly%0A%20%20%20%20return%20load_error%2C%20load_notices%2C%20table%2C%20text_documents%2C%20text_names%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MODE_LABELS%2C%20get_loaded%2C%20mo%2C%20source%2C%20text_names)%3A%0A%20%20%20%20%23%20These%20two%20controls%20apply%20to%20one%20text%20only.%20A%20loaded%20config.json%20from%20a%20run%20on%20one%20text%0A%20%20%20%20%23%20restores%20them%2C%20so%20a%20reader%20splits%20the%20text%20exactly%20as%20the%20author%20did.%20Otherwise%20the%20book%0A%20%20%20%20%23%20demo%20and%20one%20PDF%20open%20as%20an%20ordered%20text%2C%20and%20any%20other%20text%20opens%20as%20independent%20segments.%0A%20%20%20%20_loaded%20%3D%20get_loaded()%0A%20%20%20%20_config%20%3D%20_loaded%5B0%5D%20if%20_loaded%20is%20not%20None%20else%20None%0A%20%20%20%20_one_pdf%20%3D%20(%0A%20%20%20%20%20%20%20%20text_names%20is%20not%20None%20and%20len(text_names)%20%3D%3D%201%20and%20text_names%5B0%5D.lower().endswith(%22.pdf%22)%0A%20%20%20%20)%0A%20%20%20%20if%20_config%20is%20not%20None%20and%20_config.split_mode%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20_start_mode%20%3D%20_config.analyse_as%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_start_mode%20%3D%20%22long_document%22%20if%20_one_pdf%20or%20source.value%20%3D%3D%20%22Demo%3A%20book%22%20else%20%22corpus%22%0A%20%20%20%20_split_labels%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22whole%22%3A%20%22Whole%20file%20is%20one%20document%22%2C%0A%20%20%20%20%20%20%20%20%22blank_lines%22%3A%20%22Split%20on%20blank%20lines%22%2C%0A%20%20%20%20%20%20%20%20%22lines%22%3A%20%22Split%20by%20line%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20split_mode%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7Blabel%3A%20code%20for%20code%2C%20label%20in%20_split_labels.items()%7D%2C%0A%20%20%20%20%20%20%20%20value%3D_split_labels%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_config.split_mode%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_config%20is%20not%20None%20and%20_config.split_mode%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22blank_lines%22%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20should%20the%20app%20split%20this%20text%3F%22%2C%0A%20%20%20%20)%0A%20%20%20%20analyse_as%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7Blabel%3A%20code%20for%20code%2C%20label%20in%20MODE_LABELS.items()%7D%2C%0A%20%20%20%20%20%20%20%20value%3DMODE_LABELS%5B_start_mode%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Analyse%20as%22%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20return%20analyse_as%2C%20split_mode%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(analyse_as%2C%20mo%2C%20split_mode%2C%20table%2C%20text_documents%2C%20text_names)%3A%0A%20%20%20%20_columns%20%3D%20%5Bstr(name)%20for%20name%20in%20table.columns%5D%20if%20table%20is%20not%20None%20else%20%5B%5D%0A%20%20%20%20_guess%20%3D%20next(%0A%20%20%20%20%20%20%20%20(name%20for%20name%20in%20_columns%20if%20name.lower()%20in%20%7B%22text%22%2C%20%22body%22%2C%20%22content%22%2C%20%22abstract%22%7D)%2C%0A%20%20%20%20%20%20%20%20_columns%5B0%5D%20if%20_columns%20else%20None%2C%0A%20%20%20%20)%0A%20%20%20%20text_column%20%3D%20mo.ui.dropdown(options%3D_columns%2C%20value%3D_guess%2C%20label%3D%22Text%20column%22)%0A%20%20%20%20id_column%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22(row%20number)%22%2C%20*_columns%5D%2C%20value%3D%22(row%20number)%22%2C%20label%3D%22Document%20ID%22%0A%20%20%20%20)%0A%20%20%20%20_date_guess%20%3D%20next(%0A%20%20%20%20%20%20%20%20(name%20for%20name%20in%20_columns%20if%20name.lower()%20in%20%7B%22date%22%2C%20%22published%22%2C%20%22created%22%2C%20%22year%22%7D)%2C%0A%20%20%20%20%20%20%20%20%22(none)%22%2C%0A%20%20%20%20)%0A%20%20%20%20_group_guess%20%3D%20next(%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20name%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20name%20in%20_columns%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20name.lower()%20in%20%7B%22category%22%2C%20%22group%22%2C%20%22label%22%2C%20%22source%22%2C%20%22author%22%2C%20%22topic%22%7D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22(none)%22%2C%0A%20%20%20%20)%0A%20%20%20%20date_column%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22(none)%22%2C%20*_columns%5D%2C%20value%3D_date_guess%2C%20label%3D%22Date%20column%22%0A%20%20%20%20)%0A%20%20%20%20group_column%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5B%22(none)%22%2C%20*_columns%5D%2C%20value%3D_group_guess%2C%20label%3D%22Group%20column%22%0A%20%20%20%20)%0A%0A%20%20%20%20if%20table%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20_controls%20%3D%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Btext_column%2C%20id_column%2C%20date_column%2C%20group_column%5D%2C%20justify%3D%22start%22%2C%20gap%3D1%2C%20wrap%3DTrue%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20text_documents%20is%20not%20None%20and%20len(text_documents)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20_controls%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Banalyse_as%2C%20split_mode%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*In%20**Independent%20segments**%20mode%2C%20the%20pieces%20are%20unrelated%20documents.%20In%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20**Ordered%20text**%20mode%2C%20the%20pieces%20keep%20their%20order%2C%20so%20the%20results%20show%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20where%20each%20topic%20occurs%20in%20the%20text.*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20text_names%3A%0A%20%20%20%20%20%20%20%20_controls%20%3D%20mo.md(f%22**%7Blen(text_names)%7D%20files.**%20One%20file%20is%20one%20document.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_controls%20%3D%20mo.md(%22*No%20data%20yet.%20Choose%20a%20demo%20above%2C%20or%20load%20your%20own%20documents.*%22)%0A%20%20%20%20_controls%0A%20%20%20%20return%20date_column%2C%20group_column%2C%20id_column%2C%20text_column%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20TopicError%2C%0A%20%20%20%20analyse_as%2C%0A%20%20%20%20date_column%2C%0A%20%20%20%20group_column%2C%0A%20%20%20%20id_column%2C%0A%20%20%20%20io%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20split_mode%2C%0A%20%20%20%20table%2C%0A%20%20%20%20text_column%2C%0A%20%20%20%20text_documents%2C%0A%20%20%20%20text_names%2C%0A)%3A%0A%20%20%20%20corpus%20%3D%20None%0A%20%20%20%20stats%20%3D%20None%0A%20%20%20%20corpus_error%20%3D%20None%0A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20if%20table%20is%20not%20None%20and%20text_column.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_documents%20%3D%20table%5Btext_column.value%5D.fillna(%22%22).astype(str).tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20id_column.value%20%3D%3D%20%22(row%20number)%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_identifiers%20%3D%20%5Bstr(number%20%2B%201)%20for%20number%20in%20range(len(_documents))%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_identifiers%20%3D%20table%5Bid_column.value%5D.astype(str).tolist()%0A%20%20%20%20%20%20%20%20%20%20%20%20_extra%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20date_column.value%20!%3D%20%22(none)%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_extra%5B%22date%22%5D%20%3D%20table%5Bdate_column.value%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20group_column.value%20!%3D%20%22(none)%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_extra%5B%22group%22%5D%20%3D%20table%5Bgroup_column.value%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_metadata%20%3D%20pd.DataFrame(_extra)%20if%20_extra%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20corpus%2C%20stats%20%3D%20io.build_corpus(_documents%2C%20_identifiers%2C%20_metadata)%0A%20%20%20%20%20%20%20%20elif%20text_documents%20is%20not%20None%20and%20text_names%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(text_documents)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20One%20text%20always%20splits%20the%20same%20way.%20A%20long%20document%20also%20keeps%20the%20parent%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20and%20the%20position%20of%20each%20segment%20as%20metadata.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_pieces%2C%20_identifiers%2C%20_positions%20%3D%20io.split_long_document(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text_documents%5B0%5D%2C%20text_names%5B0%5D%2C%20split_mode.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_metadata%20%3D%20_positions%20if%20analyse_as.value%20%3D%3D%20%22long_document%22%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20corpus%2C%20stats%20%3D%20io.build_corpus(_pieces%2C%20_identifiers%2C%20_metadata)%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20corpus%2C%20stats%20%3D%20io.build_corpus(text_documents%2C%20list(text_names))%0A%20%20%20%20except%20TopicError%20as%20error%3A%0A%20%20%20%20%20%20%20%20corpus_error%20%3D%20error.friendly%0A%20%20%20%20return%20corpus%2C%20corpus_error%2C%20stats%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20analyse_as%2C%0A%20%20%20%20corpus%2C%0A%20%20%20%20corpus_error%2C%0A%20%20%20%20io%2C%0A%20%20%20%20load_error%2C%0A%20%20%20%20load_notices%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20source%2C%0A%20%20%20%20split_mode%2C%0A%20%20%20%20stats%2C%0A%20%20%20%20table%2C%0A%20%20%20%20text_names%2C%0A)%3A%0A%20%20%20%20_problem%20%3D%20load_error%20or%20corpus_error%0A%20%20%20%20if%20_problem%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20_view%20%3D%20mo.callout(mo.md(f%22**%7B_problem.detail%7D**%20%7B_problem.recovery%7D%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20elif%20corpus%20is%20None%20or%20stats%20is%20None%3A%0A%20%20%20%20%20%20%20%20_view%20%3D%20mo.md(%22*No%20corpus%20yet.*%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_numbers%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Documents%22%3A%20%5Bstats.total%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Used%22%3A%20%5Bstats.kept%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Empty%22%3A%20%5Bstats.empty%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Duplicates%22%3A%20%5Bstats.duplicates%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Median%20length%22%3A%20%5Bf%22%7Bstats.median_length%3A.0f%7D%20characters%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_preview%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22document_id%22%3A%20corpus.document_ids%5B%3A5%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22text%22%3A%20%5Bdocument%5B%3A160%5D%20for%20document%20in%20corpus.documents%5B%3A5%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20One%20line%20says%20what%20the%20model%20sees.%20It%20follows%20the%20mode%20that%20the%20reader%20chose.%0A%20%20%20%20%20%20%20%20if%20table%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_seen%20%3D%20io.describe_analysis(1%2C%20len(corpus)%2C%20%22document%22%2C%20%22corpus%22%2C%20%22table%22)%0A%20%20%20%20%20%20%20%20elif%20text_names%20is%20not%20None%20and%20len(text_names)%20%3D%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_unit%20%3D%20io.segment_unit(split_mode.value%2C%20text_names%5B0%5D.lower().endswith(%22.pdf%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Pasted%20text%20loads%20no%20file%2C%20so%20the%20line%20names%20the%20paste%20instead.%0A%20%20%20%20%20%20%20%20%20%20%20%20_origin%20%3D%20%22pasted%20text%22%20if%20source.value%20%3D%3D%20%22Paste%20text%22%20else%20%22file%22%0A%20%20%20%20%20%20%20%20%20%20%20%20_seen%20%3D%20io.describe_analysis(1%2C%20len(corpus)%2C%20_unit%2C%20analyse_as.value%2C%20_origin)%0A%20%20%20%20%20%20%20%20elif%20text_names%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_seen%20%3D%20io.describe_analysis(len(text_names)%2C%20len(corpus)%2C%20%22document%22%2C%20%22corpus%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_seen%20%3D%20None%0A%20%20%20%20%20%20%20%20_view%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20*%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**%7B_note.detail%7D**%20%7B_note.recovery%7D%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_note%20in%20load_notices%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(_numbers%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22*What%20the%20model%20sees%3A%20%7B_seen%7D.*%22)%20if%20_seen%20else%20mo.md(%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Preview**%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(_preview%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_view%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(corpus%2C%20io%2C%20mo)%3A%0A%20%20%20%20_warning%20%3D%20io.corpus_size_warning(corpus.documents)%20if%20corpus%20is%20not%20None%20else%20None%0A%20%20%20%20use_sample%20%3D%20mo.ui.checkbox(value%3D_warning%20is%20not%20None%2C%20label%3D%22Model%20a%20sample%20instead%22)%0A%20%20%20%20%23%20The%20value%20must%20stay%20inside%20the%20bounds%2C%20or%20marimo%20raises%20and%20every%20later%20cell%20fails.%20A%0A%20%20%20%20%23%20corpus%20below%20the%20minimum%20shows%20no%20sample%20control%2C%20so%20the%20clamp%20changes%20nothing%20it%20models.%0A%20%20%20%20sample_size%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20100%2C%0A%20%20%20%20%20%20%20%2050_000%2C%0A%20%20%20%20%20%20%20%20value%3Dmax(100%2C%20min(5_000%2C%20len(corpus)))%20if%20corpus%20else%205_000%2C%0A%20%20%20%20%20%20%20%20step%3D100%2C%0A%20%20%20%20%20%20%20%20label%3D%22Sample%20size%22%2C%0A%20%20%20%20)%0A%20%20%20%20_view%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**%7B_warning.detail%7D**%20%7B_warning.recovery%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Buse_sample%2C%20sample_size%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20_warning%20is%20not%20None%0A%20%20%20%20%20%20%20%20else%20mo.md(%22%22)%0A%20%20%20%20)%0A%20%20%20%20_view%0A%20%20%20%20return%20sample_size%2C%20use_sample%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(corpus%2C%20io%2C%20sample_size%2C%20use_sample)%3A%0A%20%20%20%20modelled_corpus%20%3D%20corpus%0A%20%20%20%20if%20corpus%20is%20not%20None%20and%20use_sample.value%3A%0A%20%20%20%20%20%20%20%20modelled_corpus%20%3D%20io.sample_corpus(corpus%2C%20int(sample_size.value))%0A%20%20%20%20return%20(modelled_corpus%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%202%20%E2%80%94%20Configure%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(TopicError%2C%20config_from_upload%2C%20mo%2C%20set_loaded%2C%20set_touched)%3A%0A%20%20%20%20def%20_apply(value)%3A%0A%20%20%20%20%20%20%20%20%23%20marimo%20calls%20this%20when%20a%20file%20arrives%2C%20and%20again%20with%20an%20empty%20value%20on%20a%20reset.%0A%20%20%20%20%20%20%20%20if%20not%20value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20_file%20%3D%20value%5B0%5D%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20loaded%20file%20replaces%20every%20earlier%20choice%20of%20the%20reader.%0A%20%20%20%20%20%20%20%20%20%20%20%20set_touched(%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20set_loaded((config_from_upload(_file.contents)%2C%20_file.name%2C%20None))%0A%20%20%20%20%20%20%20%20except%20TopicError%20as%20error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20set_loaded((None%2C%20_file.name%2C%20error.friendly))%0A%0A%20%20%20%20config_upload%20%3D%20mo.ui.file(%0A%20%20%20%20%20%20%20%20filetypes%3D%5B%22.json%22%5D%2C%0A%20%20%20%20%20%20%20%20multiple%3DFalse%2C%0A%20%20%20%20%20%20%20%20label%3D%22Load%20settings%20from%20a%20config.json%22%2C%0A%20%20%20%20%20%20%20%20on_change%3D_apply%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(config_upload%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(config_upload%2C%20get_loaded%2C%20mo)%3A%0A%20%20%20%20_loaded%20%3D%20get_loaded()%0A%20%20%20%20if%20_loaded%20is%20None%3A%0A%20%20%20%20%20%20%20%20_status%20%3D%20mo.md(%22%22)%0A%20%20%20%20elif%20_loaded%5B2%5D%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20_status%20%3D%20mo.callout(mo.md(f%22**%7B_loaded%5B2%5D.detail%7D**%20%7B_loaded%5B2%5D.recovery%7D%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_status%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22*Loaded%20the%20settings%20from%20%60%7B_loaded%5B1%5D%7D%60%2C%20written%20by%20version%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%7B_loaded%5B0%5D.app_version%7D.%20Select%20**Reset%20recommended%20defaults**%20to%20discard%20them.*%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20config_upload%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_status%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Repeat%20a%20run%20exactly%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Every%20run%20uses%20a%20fixed%20random%20seed%2C%20so%20the%20same%20settings%20on%20the%20same%20corpus%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20give%20the%20same%20topics.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Download%20%60config.json%60%20in%20Step%204.%20Send%20it%20with%20your%20corpus.%20The%20reader%20loads%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20file%20here%2C%20and%20the%20app%20restores%20each%20setting.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20LANGUAGE_LABELS%2C%0A%20%20%20%20get_loaded%2C%0A%20%20%20%20get_reset%2C%0A%20%20%20%20get_touched%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20set_touched%2C%0A%20%20%20%20source%2C%0A)%3A%0A%20%20%20%20get_reset()%0A%20%20%20%20_loaded%20%3D%20get_loaded()%0A%20%20%20%20_config%20%3D%20_loaded%5B0%5D%20if%20_loaded%20is%20not%20None%20else%20None%0A%20%20%20%20_stop%20%3D%20_config.stop_words%20if%20_config%20is%20not%20None%20else%20None%0A%20%20%20%20_touched%20%3D%20get_touched()%0A%0A%20%20%20%20def%20_start(field%2C%20loaded%2C%20default)%3A%0A%20%20%20%20%20%20%20%20%23%20The%20reader's%20own%20choice%20wins%20over%20a%20loaded%20config.json%2C%20which%20wins%20over%20the%20default.%0A%20%20%20%20%20%20%20%20if%20field%20in%20_touched%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20_touched%5Bfield%5D%0A%20%20%20%20%20%20%20%20return%20loaded%20if%20_config%20is%20not%20None%20else%20default%0A%0A%20%20%20%20def%20_keep(field)%3A%0A%20%20%20%20%20%20%20%20%23%20A%20change%20of%20the%20data%20source%20rebuilds%20these%20controls.%20The%20stored%20value%20survives%20it.%0A%20%20%20%20%20%20%20%20def%20_store(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20set_touched(lambda%20current%3A%20%7B**current%2C%20field%3A%20value%7D)%0A%0A%20%20%20%20%20%20%20%20return%20_store%0A%0A%20%20%20%20%23%20The%20book%20demo%20is%20English.%20Every%20other%20source%20starts%20on%20French%2C%20the%20newspaper%20demo.%0A%20%20%20%20_start_language%20%3D%20%22en%22%20if%20source.value%20%3D%3D%20%22Demo%3A%20book%22%20else%20%22fr%22%0A%20%20%20%20language%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7Blabel%3A%20code%20for%20code%2C%20label%20in%20LANGUAGE_LABELS.items()%7D%2C%0A%20%20%20%20%20%20%20%20value%3DLANGUAGE_LABELS%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_start(%22language%22%2C%20_config.language%20if%20_config%20else%20None%2C%20_start_language)%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Language%22%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22language%22)%2C%0A%20%20%20%20)%0A%20%20%20%20use_base%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20value%3D_start(%22use_base_list%22%2C%20_stop.use_base_list%20if%20_stop%20else%20None%2C%20True)%2C%0A%20%20%20%20%20%20%20%20label%3D%22Use%20the%20base%20stop-word%20list%22%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22use_base_list%22)%2C%0A%20%20%20%20)%0A%20%20%20%20added_words%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Add%20stop%20words%22%2C%0A%20%20%20%20%20%20%20%20value%3D_start(%22added%22%2C%20_stop.added%20if%20_stop%20else%20None%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22survey%2C%20january%2C%20ltd%22%2C%0A%20%20%20%20%20%20%20%20rows%3D3%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22added%22)%2C%0A%20%20%20%20)%0A%20%20%20%20keep_words%20%3D%20mo.ui.text_area(%0A%20%20%20%20%20%20%20%20label%3D%22Always%20keep%20these%20words%22%2C%0A%20%20%20%20%20%20%20%20value%3D_start(%22always_keep%22%2C%20_stop.always_keep%20if%20_stop%20else%20None%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20placeholder%3D%22growth%22%2C%0A%20%20%20%20%20%20%20%20rows%3D3%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22always_keep%22)%2C%0A%20%20%20%20)%0A%20%20%20%20_help%20%3D%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22About%20the%20language%20setting%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Choose%20the%20main%20language%20of%20your%20documents.%20This%20mainly%20changes%20the%20common%20words%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20app%20ignores%2C%20such%20as%20*the*%2C%20*und*%2C%20*le*%2C%20*di*%2C%20or%20*el*.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20newspaper%20demo%20is%20French%2C%20so%20the%20app%20starts%20on%20French.%20The%20book%20demo%20is%20English%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20so%20it%20starts%20on%20English.%20Change%20this%20when%20you%20load%20your%20own%20documents.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20A%20mixed-language%20corpus%20can%20turn%20the%20base%20list%20off%20and%20add%20its%20own%20words.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20language%20does%20not%20add%20stemming%20or%20grammar%20analysis.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22About%20stop%20words%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20Add%20words%20that%20occur%20often%20but%20carry%20no%20meaning%20for%20your%20question%2C%20such%20as%20company%0A%20%20%20%20%20%20%20%20%20%20%20%20names%2C%20boilerplate%2C%20months%2C%20or%20survey%20wording.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20Do%20not%20remove%20a%20word%20only%20because%20it%20is%20frequent.%20A%20frequent%20word%20can%20define%20an%0A%20%20%20%20%20%20%20%20%20%20%20%20important%20topic.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Blanguage%2C%20use_base%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Badded_words%2C%20keep_words%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20widths%3D%22equal%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_help%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20added_words%2C%20keep_words%2C%20language%2C%20use_base%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20StopWordConfig%2C%0A%20%20%20%20added_words%2C%0A%20%20%20%20effective_stopwords%2C%0A%20%20%20%20keep_words%2C%0A%20%20%20%20language%2C%0A%20%20%20%20use_base%2C%0A)%3A%0A%20%20%20%20stop_word_config%20%3D%20StopWordConfig(%0A%20%20%20%20%20%20%20%20use_base_list%3Duse_base.value%2C%0A%20%20%20%20%20%20%20%20added%3Dadded_words.value%2C%0A%20%20%20%20%20%20%20%20always_keep%3Dkeep_words.value%2C%0A%20%20%20%20)%0A%20%20%20%20active_stopwords%20%3D%20effective_stopwords(language.value%2C%20stop_word_config)%0A%20%20%20%20return%20active_stopwords%2C%20stop_word_config%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(active_stopwords%2C%20frequent_terms%2C%20mo%2C%20modelled_corpus%2C%20pd)%3A%0A%20%20%20%20_count%20%3D%20mo.md(f%22**%7Blen(active_stopwords)%7D%20stop%20words**%20are%20active.%22)%0A%20%20%20%20if%20modelled_corpus%20is%20None%3A%0A%20%20%20%20%20%20%20%20_view%20%3D%20_count%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_terms%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%20%20%20%20frequent_terms(modelled_corpus.documents%2C%20active_stopwords%2C%20top_n%3D20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20columns%3D%5B%22term%22%2C%20%22count%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_words%20%3D%20pd.DataFrame(%7B%22stop%20word%22%3A%20sorted(active_stopwords)%7D)%0A%20%20%20%20%20%20%20%20_view%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_count%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Frequent%20terms%20after%20cleaning%22%3A%20mo.ui.table(_terms%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Active%20stop%20words%22%3A%20mo.ui.table(_words%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_view%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20get_reset%2C%20set_reset%20%3D%20mo.state(0)%0A%20%20%20%20%23%20Holds%20(config%2C%20file%20name%2C%20failure)%20for%20a%20loaded%20config.json%2C%20or%20None.%20The%20reset%20button%0A%20%20%20%20%23%20clears%20it%2C%20so%20a%20reset%20always%20restores%20the%20recommended%20defaults.%0A%20%20%20%20get_loaded%2C%20set_loaded%20%3D%20mo.state(None)%0A%20%20%20%20%23%20Maps%20a%20model%20setting%20to%20the%20value%20that%20the%20reader%20chose.%20A%20change%20of%20the%20data%20source%0A%20%20%20%20%23%20rebuilds%20the%20controls%20below%2C%20and%20these%20values%20survive%20it.%20A%20reset%20and%20a%20loaded%20config.json%0A%20%20%20%20%23%20clear%20it.%0A%20%20%20%20get_touched%2C%20set_touched%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20get_loaded%2C%0A%20%20%20%20%20%20%20%20get_reset%2C%0A%20%20%20%20%20%20%20%20get_touched%2C%0A%20%20%20%20%20%20%20%20set_loaded%2C%0A%20%20%20%20%20%20%20%20set_reset%2C%0A%20%20%20%20%20%20%20%20set_touched%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20get_loaded%2C%0A%20%20%20%20get_reset%2C%0A%20%20%20%20get_touched%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20set_loaded%2C%0A%20%20%20%20set_reset%2C%0A%20%20%20%20set_touched%2C%0A%20%20%20%20source%2C%0A)%3A%0A%20%20%20%20get_reset()%0A%20%20%20%20_loaded%20%3D%20get_loaded()%0A%20%20%20%20_model%20%3D%20_loaded%5B0%5D.model%20if%20_loaded%20is%20not%20None%20and%20_loaded%5B0%5D%20is%20not%20None%20else%20None%0A%20%20%20%20_touched%20%3D%20get_touched()%0A%0A%20%20%20%20def%20_start(field%2C%20default)%3A%0A%20%20%20%20%20%20%20%20%23%20The%20reader's%20own%20choice%20wins%20over%20a%20loaded%20config.json%2C%20which%20wins%20over%20the%20default.%0A%20%20%20%20%20%20%20%20if%20field%20in%20_touched%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20_touched%5Bfield%5D%0A%20%20%20%20%20%20%20%20return%20getattr(_model%2C%20field)%20if%20_model%20is%20not%20None%20else%20default%0A%0A%20%20%20%20def%20_keep(field)%3A%0A%20%20%20%20%20%20%20%20%23%20A%20setter%20called%20from%20an%20element%20of%20this%20cell%20does%20not%20rerun%20this%20cell%2C%20so%20a%20drag%20on%20a%0A%20%20%20%20%20%20%20%20%23%20slider%20never%20rebuilds%20it.%0A%20%20%20%20%20%20%20%20def%20_store(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20set_touched(lambda%20current%3A%20%7B**current%2C%20field%3A%20value%7D)%0A%0A%20%20%20%20%20%20%20%20return%20_store%0A%0A%20%20%20%20_model_labels%20%3D%20%7B%22nmf%22%3A%20%22NMF%20(recommended)%22%2C%20%22lda%22%3A%20%22LDA%22%7D%0A%20%20%20%20_ngram_labels%20%3D%20%7B%221%22%3A%20%22Single%20words%22%2C%20%221-2%22%3A%20%22Words%20and%20pairs%22%2C%20%222%22%3A%20%22Pairs%20only%22%7D%0A%20%20%20%20model_type%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22NMF%20(recommended)%22%3A%20%22nmf%22%2C%20%22LDA%22%3A%20%22lda%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D_model_labels%5B_start(%22model_type%22%2C%20%22nmf%22)%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%22%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22model_type%22)%2C%0A%20%20%20%20)%0A%20%20%20%20%23%20The%20demo%20corpus%20carries%20six%20newspaper%20sections.%20Six%20topics%20therefore%20give%20a%20first%20result%0A%20%20%20%20%23%20that%20a%20newcomer%20can%20check%20against%20the%20category%20column.%20Ten%20topics%20split%20the%20finance%0A%20%20%20%20%23%20articles%20into%20several%20topics%20of%20bare%20numbers.%20The%20source%20decides%20the%20count%20only%20until%20the%0A%20%20%20%20%23%20reader%20moves%20the%20slider.%0A%20%20%20%20%23%20The%20book%20demo%20starts%20at%20eight.%20A%20sweep%20from%205%20to%2012%20topics%20with%20NMF%20gave%20eight%20distinct%0A%20%20%20%20%23%20themes%20at%20eight%3A%20the%20sexes%2C%20duty%20to%20parents%2C%20rights%20and%20civil%20duties%2C%20reason%20and%20God%2C%0A%20%20%20%20%23%20education%2C%20Rousseau%2C%20modesty%2C%20and%20the%20author's%20own%20transitions.%20Six%20topics%20merge%20reason%0A%20%20%20%20%23%20with%20love%20and%20life.%20At%20ten%2C%20one%20topic%20holds%20only%20the%207%20paragraphs%20of%20the%20dedication.%0A%20%20%20%20_start_topics%20%3D%20%7B%22Demo%3A%20newspapers%22%3A%206%2C%20%22Demo%3A%20book%22%3A%208%7D.get(source.value%2C%2010)%0A%20%20%20%20n_topics%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%202%2C%0A%20%20%20%20%20%20%20%2030%2C%0A%20%20%20%20%20%20%20%20value%3D_start(%22n_topics%22%2C%20_start_topics)%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Number%20of%20topics%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22n_topics%22)%2C%0A%20%20%20%20)%0A%20%20%20%20max_features%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%20100%2C%0A%20%20%20%20%20%20%20%2020000%2C%0A%20%20%20%20%20%20%20%20value%3D_start(%22max_features%22%2C%205000)%2C%0A%20%20%20%20%20%20%20%20step%3D100%2C%0A%20%20%20%20%20%20%20%20label%3D%22Max%20vocabulary%22%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22max_features%22)%2C%0A%20%20%20%20)%0A%20%20%20%20min_df%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20100%2C%0A%20%20%20%20%20%20%20%20value%3D_start(%22min_df%22%2C%202)%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Minimum%20document%20frequency%22%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22min_df%22)%2C%0A%20%20%20%20)%0A%20%20%20%20max_df%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.5%2C%0A%20%20%20%20%20%20%20%201.0%2C%0A%20%20%20%20%20%20%20%20value%3D_start(%22max_df%22%2C%200.95)%2C%0A%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20label%3D%22Maximum%20document%20frequency%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22max_df%22)%2C%0A%20%20%20%20)%0A%20%20%20%20ngrams%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%7B%22Single%20words%22%3A%20%221%22%2C%20%22Words%20and%20pairs%22%3A%20%221-2%22%2C%20%22Pairs%20only%22%3A%20%222%22%7D%2C%0A%20%20%20%20%20%20%20%20value%3D_ngram_labels%5B_start(%22ngrams%22%2C%20%221%22)%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22N-grams%22%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22ngrams%22)%2C%0A%20%20%20%20)%0A%20%20%20%20%23%20The%20seed%20is%20what%20makes%20a%20run%20repeatable.%20It%20already%20reached%20both%20models%3B%20it%20was%20only%0A%20%20%20%20%23%20invisible.%20A%20reader%20who%20has%20the%20corpus%20and%20the%20seed%20gets%20the%20same%20topics.%0A%20%20%20%20random_seed%20%3D%20mo.ui.number(%0A%20%20%20%20%20%20%20%200%2C%0A%20%20%20%20%20%20%20%202**31%20-%201%2C%0A%20%20%20%20%20%20%20%20value%3D_start(%22random_seed%22%2C%2042)%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20label%3D%22Random%20seed%22%2C%0A%20%20%20%20%20%20%20%20on_change%3D_keep(%22random_seed%22)%2C%0A%20%20%20%20)%0A%0A%20%20%20%20def%20_reset(_value)%3A%0A%20%20%20%20%20%20%20%20set_loaded(None)%0A%20%20%20%20%20%20%20%20set_touched(%7B%7D)%0A%20%20%20%20%20%20%20%20set_reset(lambda%20current%3A%20current%20%2B%201)%0A%0A%20%20%20%20reset_button%20%3D%20mo.ui.button(label%3D%22Reset%20recommended%20defaults%22%2C%20on_change%3D_reset)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20max_df%2C%0A%20%20%20%20%20%20%20%20max_features%2C%0A%20%20%20%20%20%20%20%20min_df%2C%0A%20%20%20%20%20%20%20%20model_type%2C%0A%20%20%20%20%20%20%20%20n_topics%2C%0A%20%20%20%20%20%20%20%20ngrams%2C%0A%20%20%20%20%20%20%20%20random_seed%2C%0A%20%20%20%20%20%20%20%20reset_button%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20max_df%2C%0A%20%20%20%20max_features%2C%0A%20%20%20%20min_df%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20model_type%2C%0A%20%20%20%20n_topics%2C%0A%20%20%20%20ngrams%2C%0A%20%20%20%20random_seed%2C%0A%20%20%20%20reset_button%2C%0A%20%20%20%20source%2C%0A)%3A%0A%20%20%20%20_model_help%20%3D%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22When%20to%20use%20NMF%20or%20LDA%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20**NMF**%20is%20the%20place%20to%20start%20for%20most%20collections.%20It%20is%20fast%2C%20it%20works%20well%20with%0A%20%20%20%20%20%20%20%20%20%20%20%20short%20and%20medium%20documents%2C%20and%20it%20usually%20gives%20readable%20keyword%20topics.%20Its%20topic%0A%20%20%20%20%20%20%20%20%20%20%20%20scores%20are%20relative%20weights%2C%20not%20probabilities.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**LDA**%20suits%20medium%20and%20long%20documents%2C%20and%20it%20gives%20a%20probabilistic%20topic%20mixture.%0A%20%20%20%20%20%20%20%20%20%20%20%20It%20is%20slower%20and%20more%20sensitive%20to%20the%20parameters.%20Use%20NMF%20if%20you%20are%20unsure.%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Demo%3A%20newspapers%22%3A%20%22*The%20newspaper%20sorted%20the%20demo%20articles%20into%20six%20sections%2C%20so%20the%22%0A%20%20%20%20%20%20%20%20%22%20app%20starts%20at%20six%20topics.%20Move%20the%20slider%20to%20see%20the%20themes%20split%20or%20merge.*%22%2C%0A%20%20%20%20%20%20%20%20%22Demo%3A%20book%22%3A%20%22*The%20book%20demo%20starts%20at%20eight%20topics.%20Each%20one%20follows%20a%20theme%20of%20the%22%0A%20%20%20%20%20%20%20%20%22%20argument.%20Move%20the%20slider%20to%20see%20the%20themes%20split%20or%20merge.*%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_note%20%3D%20mo.md(_notes.get(source.value%2C%20%22%22))%0A%20%20%20%20_advanced%20%3D%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Advanced%20settings%22%3A%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bmax_features%2C%20min_df%2C%20max_df%2C%20ngrams%2C%20random_seed%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20reset_button%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Number%20of%20topics.**%20How%20many%20themes%20the%20model%20looks%20for.%20Start%20around%208%20to%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2012%20for%20a%20corpus%20that%20you%20do%20not%20know.%20Raise%20it%20if%20the%20topics%20are%20too%20broad.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Lower%20it%20if%20many%20topics%20look%20alike%20or%20tiny.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Max%20vocabulary.**%20How%20many%20distinct%20terms%20the%20model%20considers.%205%2C000%20is%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20good%20browser-friendly%20default.%20Raise%20it%20for%20a%20large%2C%20varied%20corpus.%20Lower%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20speed.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Minimum%20document%20frequency.**%20Ignore%20a%20word%20that%20occurs%20in%20fewer%20than%20this%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20many%20documents.%20Raise%20it%20to%20drop%20typos%2C%20names%2C%20and%20very%20rare%20terms.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Maximum%20document%20frequency.**%20Ignore%20a%20word%20that%20occurs%20in%20almost%20every%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20document.%20%600.95%60%20ignores%20a%20word%20that%20appears%20in%20more%20than%2095%25%20of%20documents.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**N-grams.**%20Single%20words%2C%20or%20also%20two-word%20phrases%20such%20as%20*climate%20change*.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Phrases%20can%20improve%20a%20label%2C%20but%20they%20make%20the%20vocabulary%20larger%20and%20slower.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Random%20seed.**%20The%20number%20that%20fixes%20the%20starting%20point%20of%20the%20model.%20The%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20same%20seed%20on%20the%20same%20corpus%20and%20the%20same%20settings%20gives%20the%20same%20topics.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Change%20it%20to%20see%20how%20stable%20your%20topics%20are.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bmodel_type%2C%20n_topics%5D%2C%20justify%3D%22start%22%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_note%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_model_help%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_advanced%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20AppConfig%2C%0A%20%20%20%20ModelConfig%2C%0A%20%20%20%20PreprocessConfig%2C%0A%20%20%20%20analyse_as%2C%0A%20%20%20%20language%2C%0A%20%20%20%20max_df%2C%0A%20%20%20%20max_features%2C%0A%20%20%20%20min_df%2C%0A%20%20%20%20model_type%2C%0A%20%20%20%20n_topics%2C%0A%20%20%20%20ngrams%2C%0A%20%20%20%20random_seed%2C%0A%20%20%20%20split_mode%2C%0A%20%20%20%20stop_word_config%2C%0A%20%20%20%20table%2C%0A%20%20%20%20text_documents%2C%0A)%3A%0A%20%20%20%20%23%20The%20split%20settings%20apply%20to%20one%20text%20only.%20Any%20other%20input%20records%20no%20split.%0A%20%20%20%20_one_text%20%3D%20table%20is%20None%20and%20text_documents%20is%20not%20None%20and%20len(text_documents)%20%3D%3D%201%0A%20%20%20%20pending_config%20%3D%20AppConfig(%0A%20%20%20%20%20%20%20%20analyse_as%3Danalyse_as.value%20if%20_one_text%20else%20%22corpus%22%2C%0A%20%20%20%20%20%20%20%20split_mode%3Dsplit_mode.value%20if%20_one_text%20else%20None%2C%0A%20%20%20%20%20%20%20%20language%3Dlanguage.value%2C%0A%20%20%20%20%20%20%20%20preprocess%3DPreprocessConfig()%2C%0A%20%20%20%20%20%20%20%20stop_words%3Dstop_word_config%2C%0A%20%20%20%20%20%20%20%20model%3DModelConfig(%0A%20%20%20%20%20%20%20%20%20%20%20%20model_type%3Dmodel_type.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20n_topics%3Dn_topics.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20max_features%3Dint(max_features.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20min_df%3Dint(min_df.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20max_df%3Dfloat(max_df.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ngrams%3Dngrams.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20random_seed%3Dint(random_seed.value)%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(pending_config%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%203%20%E2%80%94%20Run%20and%20explore%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(corpus%2C%20mo%2C%20pending_config)%3A%0A%20%20%20%20%23%20marimo%20holds%20a%20UI%20element%20by%20a%20weak%20reference%2C%20so%20the%20run%20button%20keeps%20its%20global%20name.%0A%20%20%20%20run_button%20%3D%20mo.ui.run_button(label%3D%22Run%20model%22%2C%20kind%3D%22success%22%2C%20disabled%3Dcorpus%20is%20None)%0A%20%20%20%20_summary%20%3D%20mo.md(f%22**%7Bpending_config.summary(len(corpus)%20if%20corpus%20else%200)%7D**%22)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%23%20Run%22)%2C%20_summary%2C%20run_button%5D%2C%20align%3D%22start%22)%0A%20%20%20%20return%20(run_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20get_result%2C%20set_result%20%3D%20mo.state(None)%0A%20%20%20%20get_failure%2C%20set_failure%20%3D%20mo.state(None)%0A%20%20%20%20get_overrides%2C%20set_overrides%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20%23%20The%20summaries%20of%20the%20last%20runs%20of%20this%20session%2C%20newest%20first.%20Only%20the%20fit%20cell%20writes%20it.%0A%20%20%20%20get_runs%2C%20set_runs%20%3D%20mo.state(%5B%5D)%0A%20%20%20%20%23%20One%20value%20holds%20the%20selected%20topic%20for%20every%20view.%20The%20dropdown%2C%20the%20topic%20map%2C%20the%20bars%2C%0A%20%20%20%20%23%20and%20the%20card%20buttons%20all%20write%20it.%20Every%20view%20reads%20it.%0A%20%20%20%20get_selected%2C%20set_selected%20%3D%20mo.state(None)%0A%20%20%20%20%23%20The%20index%20of%20the%20topic%20whose%20name%20the%20reader%20edits%20now%2C%20or%20None%20while%20no%20form%20is%20open.%0A%20%20%20%20get_renaming%2C%20set_renaming%20%3D%20mo.state(None)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20get_failure%2C%0A%20%20%20%20%20%20%20%20get_overrides%2C%0A%20%20%20%20%20%20%20%20get_renaming%2C%0A%20%20%20%20%20%20%20%20get_result%2C%0A%20%20%20%20%20%20%20%20get_runs%2C%0A%20%20%20%20%20%20%20%20get_selected%2C%0A%20%20%20%20%20%20%20%20set_failure%2C%0A%20%20%20%20%20%20%20%20set_overrides%2C%0A%20%20%20%20%20%20%20%20set_renaming%2C%0A%20%20%20%20%20%20%20%20set_result%2C%0A%20%20%20%20%20%20%20%20set_runs%2C%0A%20%20%20%20%20%20%20%20set_selected%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20FriendlyMessage%2C%0A%20%20%20%20TopicError%2C%0A%20%20%20%20get_run_request%2C%0A%20%20%20%20metrics%2C%0A%20%20%20%20modeling%2C%0A%20%20%20%20modelled_corpus%2C%0A%20%20%20%20pending_config%2C%0A%20%20%20%20run_button%2C%0A%20%20%20%20set_failure%2C%0A%20%20%20%20set_overrides%2C%0A%20%20%20%20set_result%2C%0A%20%20%20%20set_run_request%2C%0A%20%20%20%20set_runs%2C%0A)%3A%0A%20%20%20%20%23%20This%20cell%20holds%20the%20one%20expensive%20step.%20It%20fits%20only%20after%20the%20run%20button%20or%20a%20run%20request.%0A%20%20%20%20%23%20The%20cell%20clears%20the%20run%20request%20first%2C%20so%20one%20request%20starts%20one%20fit.%0A%20%20%20%20%23%20marimo%20resets%20%60run_button.value%60%20to%20False%20after%20the%20dependent%20cells%20run%2C%20so%20a%20change%20to%20any%0A%20%20%20%20%23%20setting%20re-runs%20this%20cell%20without%20fitting%20and%20the%20previous%20result%20survives.%20A%20failed%20fit%0A%20%20%20%20%23%20stores%20a%20message%20and%20leaves%20the%20previous%20result%20in%20place.%0A%20%20%20%20_requested%20%3D%20get_run_request()%0A%20%20%20%20if%20_requested%3A%0A%20%20%20%20%20%20%20%20set_run_request(False)%0A%20%20%20%20if%20(run_button.value%20or%20_requested)%20and%20modelled_corpus%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_fitted%20%3D%20modeling.fit_topic_model(modelled_corpus%2C%20pending_config)%0A%20%20%20%20%20%20%20%20%20%20%20%20set_result(_fitted)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Keep%20a%20short%20summary%20of%20each%20successful%20fit%2C%20so%20Diagnostics%20can%20compare%20runs.%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20This%20cell%20never%20reads%20the%20list.%20A%20read%20would%20re-run%20the%20fit%20on%20every%20append.%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20summary%20carries%20a%20fingerprint%20of%20the%20corpus%20that%20this%20fit%20used%2C%20so%20Diagnostics%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20compares%20only%20runs%20on%20the%20same%20corpus.%0A%20%20%20%20%20%20%20%20%20%20%20%20_summary%20%3D%20metrics.run_summary(_fitted)%0A%20%20%20%20%20%20%20%20%20%20%20%20set_runs(lambda%20_runs%3A%20%5B_summary%2C%20*_runs%5D%5B%3A5%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20set_overrides(%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20set_failure(None)%0A%20%20%20%20%20%20%20%20except%20TopicError%20as%20error%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20set_failure(error.friendly)%0A%20%20%20%20%20%20%20%20except%20(MemoryError%2C%20ValueError%2C%20ArithmeticError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20set_failure(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20FriendlyMessage(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20browser%20could%20not%20finish%20the%20model%20fit.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Use%20fewer%20documents%2C%20lower%20the%20maximum%20vocabulary%2C%20or%20ask%20for%20fewer%20topics.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(get_overrides%2C%20get_result%2C%20result_mod)%3A%0A%20%20%20%20display_result%20%3D%20get_result()%0A%20%20%20%20if%20display_result%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20for%20_index%2C%20_name%20in%20get_overrides().items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20display_result%20%3D%20result_mod.rename_topic(display_result%2C%20_index%2C%20_name)%0A%20%20%20%20return%20(display_result%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20config_changed%2C%0A%20%20%20%20display_result%2C%0A%20%20%20%20get_failure%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pending_config%2C%0A%20%20%20%20set_run_request%2C%0A)%3A%0A%20%20%20%20%23%20The%20rerun%20button%20needs%20a%20global%20name%3A%20marimo%20holds%20a%20UI%20element%20by%20a%20weak%20reference.%0A%20%20%20%20%23%20It%20sets%20the%20same%20run%20request%20as%20the%20demo%20buttons%2C%20and%20the%20fit%20cell%20clears%20that%20request.%0A%20%20%20%20rerun_button%20%3D%20mo.ui.button(%0A%20%20%20%20%20%20%20%20label%3D%22Rerun%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20_value%3A%20set_run_request(True)%2C%0A%20%20%20%20)%0A%20%20%20%20_notes%20%3D%20%5B%5D%0A%20%20%20%20_failure%20%3D%20get_failure()%0A%20%20%20%20if%20_failure%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20_notes.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**%7B_failure.detail%7D**%20%7B_failure.recovery%7D%22)%2C%20kind%3D%22danger%22)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20if%20config_changed(None%20if%20display_result%20is%20None%20else%20display_result.config%2C%20pending_config)%3A%0A%20%20%20%20%20%20%20%20_notes.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Bmo.md(%22**Configuration%20changed%20%E2%80%94%20rerun%20to%20update%20results.**%22)%2C%20rerun_button%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22space-between%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.vstack(_notes)%20if%20_notes%20else%20mo.md(%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(display_result%2C%20get_selected%2C%20resolve_topic)%3A%0A%20%20%20%20%23%20The%20stored%20selection%20can%20be%20stale%20after%20a%20new%20fit%2C%20so%20it%20is%20clamped%20to%20a%20valid%20topic.%0A%20%20%20%20selected_index%20%3D%20(%0A%20%20%20%20%20%20%20%20resolve_topic(get_selected()%2C%20len(display_result.topic_names))%0A%20%20%20%20%20%20%20%20if%20display_result%20is%20not%20None%0A%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20)%0A%20%20%20%20return%20(selected_index%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(display_result%2C%20get_selected%2C%20mo%2C%20selected_index%2C%20set_selected)%3A%0A%20%20%20%20def%20_choose(_value)%3A%0A%20%20%20%20%20%20%20%20%23%20Write%20only%20a%20changed%20value%2C%20so%20a%20redraw%20never%20starts%20a%20loop.%0A%20%20%20%20%20%20%20%20if%20_value%20is%20not%20None%20and%20_value%20!%3D%20get_selected()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20set_selected(_value)%0A%0A%20%20%20%20_options%20%3D%20(%0A%20%20%20%20%20%20%20%20%7Bname%3A%20number%20for%20number%2C%20name%20in%20enumerate(display_result.topic_names)%7D%0A%20%20%20%20%20%20%20%20if%20display_result%20is%20not%20None%0A%20%20%20%20%20%20%20%20else%20%7B%7D%0A%20%20%20%20)%0A%20%20%20%20_current%20%3D%20(%0A%20%20%20%20%20%20%20%20display_result.topic_names%5Bselected_index%5D%0A%20%20%20%20%20%20%20%20if%20display_result%20is%20not%20None%20and%20selected_index%20is%20not%20None%0A%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20)%0A%20%20%20%20topic_select%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D_options%2C%20value%3D_current%2C%20label%3D%22Selected%20topic%22%2C%20on_change%3D_choose%0A%20%20%20%20)%0A%20%20%20%20return%20(topic_select%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(display_result%2C%20mo%2C%20plots%2C%20selected_index)%3A%0A%20%20%20%20%23%20marimo%20keeps%20only%20weak%20references%20to%20UI%20elements%2C%20so%20each%20chart%20has%20a%20global%20name.%0A%20%20%20%20%23%20The%20charts%20are%20rebuilt%20with%20the%20selected%20topic%2C%20so%20every%20view%20shows%20the%20same%20highlight.%0A%20%20%20%20%23%20A%20click%20on%20a%20bubble%20or%20a%20bar%20is%20read%20in%20the%20next%20cell.%0A%20%20%20%20map_chart%20%3D%20bars_chart%20%3D%20None%0A%20%20%20%20if%20display_result%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20map_chart%20%3D%20mo.ui.altair_chart(plots.topic_map(display_result%2C%20selected_index))%0A%20%20%20%20%20%20%20%20bars_chart%20%3D%20mo.ui.altair_chart(plots.prevalence_bars(display_result%2C%20selected_index))%0A%20%20%20%20return%20bars_chart%2C%20map_chart%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(display_result%2C%20get_selected%2C%20mo%2C%20set_selected)%3A%0A%20%20%20%20def%20_pick(_index)%3A%0A%20%20%20%20%20%20%20%20def%20_click(_count)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_index%20!%3D%20get_selected()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_selected(_index)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(_count%20or%200)%20%2B%201%0A%0A%20%20%20%20%20%20%20%20return%20_click%0A%0A%20%20%20%20%23%20One%20button%20per%20card%2C%20held%20in%20a%20global%20name.%20The%20buttons%20stay%20when%20the%20selection%20changes.%0A%20%20%20%20%23%20Each%20label%20carries%20the%20topic%20number%2C%20so%20a%20screen%20reader%20can%20tell%20the%20buttons%20apart.%20The%0A%20%20%20%20%23%20number%20stays%20unique%20after%20a%20rename.%0A%20%20%20%20card_buttons%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.ui.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.button(label%3Df%22Select%20topic%20%7B_number%20%2B%201%7D%22%2C%20on_click%3D_pick(_number)%2C%20value%3D0)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_number%20in%20range(len(display_result.topic_names))%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20display_result%20is%20not%20None%0A%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20)%0A%20%20%20%20return%20(card_buttons%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(display_result%2C%20mo%2C%20selected_index%2C%20set_renaming)%3A%0A%20%20%20%20%23%20The%20Rename%20button%20opens%20the%20form%20for%20the%20selected%20topic.%20This%20cell%20never%20reads%20the%20renaming%0A%20%20%20%20%23%20state%3A%20a%20cell%20that%20calls%20a%20setter%20is%20not%20rerun%20by%20it%2C%20and%20the%20button%20would%20lose%20its%20clicks.%0A%20%20%20%20%23%20The%20cell%20reruns%20when%20the%20selection%20changes.%20It%20then%20closes%20the%20form%2C%20so%20the%20form%20never%0A%20%20%20%20%23%20edits%20another%20topic%20than%20the%20one%20the%20reader%20opened%20it%20for.%0A%20%20%20%20def%20_open_form(_count)%3A%0A%20%20%20%20%20%20%20%20set_renaming(selected_index)%0A%20%20%20%20%20%20%20%20return%20(_count%20or%200)%20%2B%201%0A%0A%20%20%20%20set_renaming(None)%0A%20%20%20%20rename_button%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.ui.button(label%3D%22Rename%22%2C%20on_click%3D_open_form%2C%20value%3D0)%0A%20%20%20%20%20%20%20%20if%20display_result%20is%20not%20None%0A%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20)%0A%20%20%20%20return%20(rename_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(display_result%2C%20get_renaming%2C%20mo%2C%20selected_index)%3A%0A%20%20%20%20%23%20A%20new%20input%20for%20each%20opening%20of%20the%20form%2C%20so%20it%20starts%20from%20the%20current%20name.%20The%20input%20is%0A%20%20%20%20%23%20empty%20while%20the%20topic%20keeps%20its%20automatic%20label.%20The%20label%20is%20then%20its%20placeholder.%0A%20%20%20%20_open%20%3D%20selected_index%20is%20not%20None%20and%20get_renaming()%20%3D%3D%20selected_index%0A%20%20%20%20rename_input%20%3D%20None%0A%20%20%20%20if%20display_result%20is%20not%20None%20and%20selected_index%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20_auto%20%3D%20display_result.topic_auto_labels%5Bselected_index%5D%0A%20%20%20%20%20%20%20%20_current%20%3D%20display_result.topic_names%5Bselected_index%5D%0A%20%20%20%20%20%20%20%20rename_input%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3D%22%22%20if%20_current%20%3D%3D%20_auto%20else%20_current%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Topic%20name%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D_auto%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20is_renaming%20%3D%20_open%20and%20rename_input%20is%20not%20None%0A%20%20%20%20return%20is_renaming%2C%20rename_input%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20rename_input%2C%20selected_index%2C%20set_overrides%2C%20set_renaming)%3A%0A%20%20%20%20%23%20Save%20writes%20the%20name%20and%20closes%20the%20form.%20An%20empty%20name%20restores%20the%20automatic%20label.%20The%0A%20%20%20%20%23%20overrides%20apply%20in%20order%2C%20and%20a%20taken%20name%20gets%20a%20number.%20The%20latest%20rename%20therefore%20moves%0A%20%20%20%20%23%20to%20the%20end%2C%20so%20the%20topic%20that%20the%20reader%20just%20renamed%20gets%20the%20number%2C%20not%20an%20earlier%20one.%0A%20%20%20%20%23%20Cancel%20closes%20the%20form%20and%20changes%20nothing.%0A%20%20%20%20def%20_save(_count)%3A%0A%20%20%20%20%20%20%20%20if%20selected_index%20is%20not%20None%20and%20rename_input%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_name%20%3D%20rename_input.value%0A%20%20%20%20%20%20%20%20%20%20%20%20set_overrides(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20lambda%20current%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**%7Bindex%3A%20name%20for%20index%2C%20name%20in%20current.items()%20if%20index%20!%3D%20selected_index%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selected_index%3A%20_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20set_renaming(None)%0A%20%20%20%20%20%20%20%20return%20(_count%20or%200)%20%2B%201%0A%0A%20%20%20%20def%20_cancel(_count)%3A%0A%20%20%20%20%20%20%20%20set_renaming(None)%0A%20%20%20%20%20%20%20%20return%20(_count%20or%200)%20%2B%201%0A%0A%20%20%20%20save_button%20%3D%20mo.ui.button(label%3D%22Save%20name%22%2C%20kind%3D%22success%22%2C%20on_click%3D_save%2C%20value%3D0)%0A%20%20%20%20cancel_button%20%3D%20mo.ui.button(label%3D%22Cancel%22%2C%20on_click%3D_cancel%2C%20value%3D0)%0A%20%20%20%20return%20cancel_button%2C%20save_button%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20bars_chart%2C%0A%20%20%20%20display_result%2C%0A%20%20%20%20get_selected%2C%0A%20%20%20%20map_chart%2C%0A%20%20%20%20selected_topic_from_chart%2C%0A%20%20%20%20set_selected%2C%0A)%3A%0A%20%20%20%20%23%20A%20chart%20click%20writes%20the%20shared%20selection.%20Both%20charts%20are%20rebuilt%20after%20each%20change%2C%20so%0A%20%20%20%20%23%20their%20value%20is%20empty%20until%20the%20next%20click.%20The%20write%20happens%20only%20for%20a%20changed%20value.%0A%20%20%20%20if%20display_result%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20for%20_chart%20in%20(map_chart%2C%20bars_chart)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_picked%20%3D%20selected_topic_from_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_chart.value%2C%20n_topics%3Dlen(display_result.topic_names)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_picked%20is%20not%20None%20and%20_picked%20!%3D%20get_selected()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_selected(_picked)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(display_result%2C%20mo)%3A%0A%20%20%20%20_names%20%3D%20display_result.topic_names%20if%20display_result%20is%20not%20None%20else%20%5B%5D%0A%20%20%20%20topic_filter%20%3D%20mo.ui.multiselect(options%3D_names%2C%20value%3D%5B%5D%2C%20label%3D%22Show%20only%20these%20topics%22)%0A%20%20%20%20score_filter%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.0%2C%201.0%2C%20value%3D0.0%2C%20step%3D0.05%2C%20label%3D%22Minimum%20dominant-topic%20score%22%2C%20show_value%3DTrue%0A%20%20%20%20)%0A%20%20%20%20document_search%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20label%3D%22Search%20the%20text%22%2C%20placeholder%3D%22word%20or%20phrase%2C%20then%20press%20Enter%22%0A%20%20%20%20)%0A%20%20%20%20return%20document_search%2C%20score_filter%2C%20topic_filter%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20bars_chart%2C%0A%20%20%20%20cancel_button%2C%0A%20%20%20%20card_buttons%2C%0A%20%20%20%20display_result%2C%0A%20%20%20%20document_search%2C%0A%20%20%20%20get_runs%2C%0A%20%20%20%20is_renaming%2C%0A%20%20%20%20map_chart%2C%0A%20%20%20%20metrics%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20plots%2C%0A%20%20%20%20rename_button%2C%0A%20%20%20%20rename_input%2C%0A%20%20%20%20save_button%2C%0A%20%20%20%20score_filter%2C%0A%20%20%20%20selected_index%2C%0A%20%20%20%20topic_filter%2C%0A%20%20%20%20topic_select%2C%0A)%3A%0A%20%20%20%20if%20display_result%20is%20None%3A%0A%20%20%20%20%20%20%20%20_view%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22*No%20result%20yet.%20Go%20to%20**Step%203**%20and%20select%20**Run%20model**%20to%20build%20the%20topics.*%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_cards%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20_row%20in%20plots.topic_cards(display_result).itertuples()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_chosen%20%3D%20_row.topic_id%20%3D%3D%20selected_index%0A%20%20%20%20%20%20%20%20%20%20%20%20_card%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20A%20custom%20name%20can%20hold%20Markdown%20characters%2C%20so%20the%20card%20shows%20it%20verbatim.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20plots.topic_card_html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_row.topic%2C%20_row.top_terms%2C%20_row.prevalence%2C%20_row.documents%2C%20_chosen%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20card_buttons%5B_row.topic_id%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3D0.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20).style(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22border%22%3A%20f%22%7B3%20if%20_chosen%20else%201%7Dpx%20solid%20currentColor%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22opacity%22%3A%20%221%22%20if%20_chosen%20else%20%220.7%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22padding%22%3A%20%220.75rem%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22border-radius%22%3A%20%226px%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22min-width%22%3A%20%2214rem%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22max-width%22%3A%20%2218rem%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_cards.append(_card)%0A%20%20%20%20%20%20%20%20_overview%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Topics%20at%20a%20glance%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*Select%20a%20topic%20with%20its%20card%20button%2C%20a%20bubble%20on%20the%20map%2C%20a%20bar%2C%20or%20the%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20dropdown.%20Every%20view%20then%20highlights%20the%20same%20topic.*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(_cards%2C%20justify%3D%22start%22%2C%20gap%3D1%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20map_chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bars_chart%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(plots.similarity_heatmap(display_result%2C%20selected_index))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20_index%20%3D%20selected_index%0A%20%20%20%20%20%20%20%20%23%20The%20fitted%20result%2C%20not%20the%20live%20control%2C%20decides%20the%20mode.%20A%20changed%20control%20only%0A%20%20%20%20%20%20%20%20%23%20raises%20the%20%22Configuration%20changed%22%20banner%20until%20the%20next%20run.%0A%20%20%20%20%20%20%20%20_long%20%3D%20display_result.config.get(%22analyse_as%22)%20%3D%3D%20%22long_document%22%0A%20%20%20%20%20%20%20%20_unit%20%3D%20%22segments%22%20if%20_long%20else%20%22documents%22%0A%20%20%20%20%20%20%20%20if%20_long%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_positions%20%3D%20plots.position_frame(display_result)%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Empty%20paragraphs%20and%20sampling%20leave%20gaps%2C%20so%20the%20row%20count%20is%20not%20the%20last%20position.%0A%20%20%20%20%20%20%20%20%20%20%20%20_last%20%3D%20int(display_result.metadata%5B%22segment_number%22%5D.max())%0A%20%20%20%20%20%20%20%20%20%20%20%20_examples%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(plots.topic_position_area(_positions%2C%20_index))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Representative%20passages%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*The%20segment%20number%20is%20the%20position%20of%20the%20passage%20in%20the%20source.%20Segment%201%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%20opens%20the%20text.%20Segment%20%7B_last%7D%20is%20the%20last%20one%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20that%20the%20model%20used.*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(plots.representative_passages(display_result%2C%20_index)%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_position_view%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(plots.position_heatmap(_positions%2C%20display_result.topic_names))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*Each%20column%20is%20one%20position%20in%20the%20text.%20A%20darker%20cell%20means%20a%20larger%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20topic%20share.%20A%20long%20text%20averages%20neighbouring%20segments%20into%20one%20column.*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_examples%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Representative%20documents%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(plots.representative_documents(display_result%2C%20_index)%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_position_view%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20_topics%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20topic_select%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(plots.heading_html(display_result.topic_names%5B_index%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rename_button%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22center%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20*(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Brename_input%2C%20save_button%2C%20cancel_button%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align%3D%22end%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20is_renaming%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Prevalence%3A**%20%7Bdisplay_result.topic_prevalence%5B_index%5D%3A.1%25%7D%20of%20the%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%7B'text'%20if%20_long%20else%20'corpus'%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%20%C2%B7%20**%7Bdisplay_result.n_documents%7D**%20%7B_unit%7D%20modelled%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(plots.top_term_bars(display_result%2C%20_index))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.image(plots.word_cloud_png(display_result%2C%20_index)%2C%20width%3D700)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20*_examples%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20to%20read%20a%20topic%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Read%20the%20top%20terms%20together%20with%20several%20high-scoring%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22passages%22%20if%20_long%20else%20%22documents%22%7D.%20The%20keywords%20are%20clues%2C%20not%20a%20full%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20definition.%20Select%20**Rename**%20in%20the%20topic%20header%20once%20its%20meaning%20is%20clear%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20to%20you.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20_documents%20%3D%20plots.document_frame(display_result)%0A%20%20%20%20%20%20%20%20if%20topic_filter.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_documents%20%3D%20_documents%5B_documents%5B%22topic%22%5D.isin(topic_filter.value)%5D%0A%20%20%20%20%20%20%20%20if%20score_filter.value%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_documents%20%3D%20_documents%5B_documents%5B%22score%22%5D%20%3E%3D%20score_filter.value%5D%0A%20%20%20%20%20%20%20%20if%20document_search.value.strip()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_documents%20%3D%20_documents%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_documents%5B%22snippet%22%5D.str.contains(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20document_search.value.strip()%2C%20case%3DFalse%2C%20regex%3DFalse%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_documents%20%3D%20_documents.reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_documents.empty%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_document_view%20%3D%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**No%20%7B_unit%5B%3A-1%5D%7D%20matches%20these%20filters.**%20Widen%20them%20to%20see%20results.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_document_view%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(plots.document_scatter(_documents))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(_documents.drop(columns%3D%5B%22x%22%2C%20%22y%22%5D)%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_explore%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20*_position_view%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5Btopic_filter%2C%20score_filter%2C%20document_search%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20justify%3D%22start%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wrap%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**%7Blen(_documents)%7D**%20of%20**%7Bdisplay_result.n_documents%7D**%20%7B_unit%7D%20shown.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_document_view%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_tabs%20%3D%20%7B%22Overview%22%3A%20_overview%2C%20%22Topics%22%3A%20_topics%2C%20%22Documents%22%3A%20_explore%7D%0A%0A%20%20%20%20%20%20%20%20_columns%20%3D%20list(display_result.metadata.columns)%0A%20%20%20%20%20%20%20%20_panels%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20if%20%22group%22%20in%20_columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_panels.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20plots.group_stacked_bars(plots.group_share_frame(display_result%2C%20%22group%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20%22date%22%20in%20_columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_parsed%2C%20_unparsed%20%3D%20plots.parse_dates(display_result.metadata%5B%22date%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20_readable%20%3D%20len(_parsed)%20-%20_unparsed%0A%20%20%20%20%20%20%20%20%20%20%20%20_panels.append(mo.md(f%22**%7B_readable%7D**%20of%20**%7Blen(_parsed)%7D**%20dates%20were%20readable.%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_unparsed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_panels.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20app%20could%20not%20read%20%7B_unparsed%7D%20of%20%7Blen(_parsed)%7D%20dates.**%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%20Use%20the%20ISO%20format%20YYYY-MM-DD%2C%20or%20choose%20another%20column.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_readable%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_bin%20%3D%20plots.choose_date_bin(_parsed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_panels.append(mo.md(f%22Binned%20by%20**%7B_bin%7D**.%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_panels.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20plots.time_line_chart(plots.time_share_frame(display_result%2C%20_parsed%2C%20_bin))%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20_panels%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_tabs%5B%22Metadata%22%5D%20%3D%20mo.vstack(_panels)%0A%0A%20%20%20%20%20%20%20%20%23%20One%20call%20measures%20the%20run.%20The%20summary%20and%20the%20notices%20both%20read%20this%20report.%0A%20%20%20%20%20%20%20%20_report%20%3D%20metrics.diagnostics(display_result)%0A%20%20%20%20%20%20%20%20_current%20%3D%20metrics.run_summary(display_result%2C%20_report)%0A%20%20%20%20%20%20%20%20%23%20The%20table%20shows%20only%20the%20runs%20that%20fitted%20the%20same%20corpus%20as%20the%20shown%20run.%0A%20%20%20%20%20%20%20%20_runs%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20_run%20for%20_run%20in%20get_runs()%20if%20_run.corpus_fingerprint%20%3D%3D%20_current.corpus_fingerprint%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_comparison%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Compare%20with%20earlier%20runs%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Each%20column%20is%20one%20run%20of%20this%20session%20on%20the%20same%20corpus%2C%20newest%20first.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Reconstruction%20error%20belongs%20to%20NMF%20and%20perplexity%20to%20LDA.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Compare%20each%20one%20only%20between%20runs%20of%20the%20same%20model%20type.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20dash%20marks%20a%20measure%20that%20the%20model%20type%20does%20not%20produce.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(metrics.compare_runs(_runs)%2C%20selection%3DNone%2C%20pagination%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20len(_runs)%20%3E%201%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22*Change%20a%20setting%20and%20select%20Run%20model%20again%20to%20compare%20runs%20on%20the%20same%20corpus.*%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_tabs%5B%22Diagnostics%22%5D%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20metrics.diagnostic_table(_current)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20selection%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pagination%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20The%20explanation%20is%20the%20point%20of%20this%20table%2C%20so%20it%20wraps%20instead%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20ending%20in%20an%20ellipsis.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20wrapped_columns%3D%5B%22What%20it%20tells%20you%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_comparison%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20*%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**%7B_note.detail%7D**%20%7B_note.recovery%7D%22)%2C%20kind%3D%22warn%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20_note%20in%20_report%5B%22notices%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20plots.score_histogram(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20pd.DataFrame(%7B%22score%22%3A%20display_result.dominant_topic_score%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22How%20to%20read%20the%20diagnostics%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20These%20numbers%20describe%20this%20run.%20No%20value%20is%20good%20or%20bad%20on%20its%20own%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20app%20gives%20no%20quality%20score.%20Each%20row%20says%20what%20a%20higher%20value%20means.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20Compare%20runs%20on%20the%20same%20corpus.%20Change%20one%20setting%2C%20run%20the%20model%20again%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20see%20which%20numbers%20move.%20A%20number%20that%20moves%20tells%20you%20that%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20setting%20matters.%20It%20does%20not%20tell%20you%20which%20run%20is%20better.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20A%20model%20is%20good%20when%20its%20topics%20help%20you%20answer%20your%20question.%20Read%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20topics%20and%20the%20passages%20to%20judge%20that.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_position_note%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20This%20run%20analyses%20**one%20ordered%20text**.%20Each%20segment%20is%20one%20piece%20of%20the%20text%2C%20usually%20a%0A%20%20%20%20%20%20%20%20paragraph%2C%20or%20a%20page%20for%20a%20PDF.%20Its%20number%20is%20its%20position.%20**Topics**%20shows%20where%20the%0A%20%20%20%20%20%20%20%20selected%20topic%20occurs%20and%20lists%20its%20representative%20passages.%20**Documents**%20shows%20the%20topic%0A%20%20%20%20%20%20%20%20share%20through%20the%20whole%20text%2C%20then%20lists%20the%20segments%20in%20their%20order.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20_long%0A%20%20%20%20%20%20%20%20%20%20%20%20else%20%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_orientation%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20**Overview**%20shows%20every%20topic%20at%20once.%20**Topics**%20opens%20one%20topic%20in%20detail.%0A%20%20%20%20%20%20%20%20**Documents**%20lists%20the%20%7B_unit%7D%20of%20a%20topic.%20**Metadata**%20charts%20the%20topics%20against%20your%0A%20%20%20%20%20%20%20%20own%20columns.%20**Diagnostics**%20describes%20the%20run.%0A%20%20%20%20%20%20%20%20%7B_position_note%7D%0A%20%20%20%20%20%20%20%20Start%20in%20**Topics**.%20Read%20the%20terms%20of%20a%20topic.%20Then%20select%20**Rename**%20in%20the%20topic%20header%0A%20%20%20%20%20%20%20%20to%20give%20the%20topic%20a%20name.%20Then%20go%20to%20Step%204%20and%20export%20your%20results.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_glossary%20%3D%20mo.accordion(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Glossary%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Topic.**%20A%20group%20of%20words%20that%20occur%20together%20in%20the%20corpus.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Term.**%20One%20word%20or%20phrase%20in%20a%20topic.%20The%20model%20gives%20each%20term%20a%20weight.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Prevalence.**%20The%20share%20of%20the%20corpus%20that%20one%20topic%20covers.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Dominant%20score.**%20The%20score%20of%20the%20strongest%20topic%20of%20one%20document.%20A%20low%20score%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20means%20that%20the%20document%20fits%20no%20topic%20well.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Segment.**%20One%20piece%20of%20an%20ordered%20text%2C%20such%20as%20a%20paragraph.%20Its%20number%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20its%20position%20in%20the%20text.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Topic%20diversity.**%20The%20share%20of%20top%20terms%20that%20occur%20in%20one%20topic%20only.%20A%20low%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%20means%20that%20the%20topics%20repeat%20each%20other.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Mean%20pairwise%20similarity.**%20How%20much%20the%20term%20lists%20of%20two%20topics%20overlap%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20averaged%20over%20all%20pairs%20of%20topics.%20A%20higher%20value%20means%20that%20the%20topics%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20resemble%20each%20other%20more.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Reconstruction%20error.**%20NMF%20only.%20How%20far%20the%20topics%20fall%20short%20of%20rebuilding%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20TF-IDF%20weights%20of%20the%20documents.%20A%20higher%20value%20means%20a%20looser%20fit.%20Compare%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20only%20between%20NMF%20runs%20on%20the%20same%20corpus.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Perplexity.**%20LDA%20only.%20How%20surprised%20the%20model%20is%20by%20the%20words%20of%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20documents.%20A%20higher%20value%20means%20a%20looser%20fit.%20Compare%20it%20only%20between%20LDA%20runs%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20on%20the%20same%20corpus.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**Document%20frequency.**%20The%20number%20of%20documents%20that%20hold%20a%20term.%20The%20app%20uses%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20to%20drop%20a%20term%20that%20is%20too%20rare%20or%20too%20common.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**N-gram.**%20A%20run%20of%20words%20that%20the%20model%20treats%20as%20one%20term.%20*Chronique%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20militaire*%20is%20a%202-gram.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20**TF-IDF.**%20A%20weight%20for%20a%20term.%20It%20rises%20when%20the%20term%20occurs%20often%20in%20one%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20document.%20It%20falls%20when%20the%20term%20occurs%20in%20many%20documents.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_view%20%3D%20mo.vstack(%5B_orientation%2C%20mo.ui.tabs(_tabs)%2C%20_glossary%5D)%0A%20%20%20%20_view%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%204%20%E2%80%94%20Export%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20include_text%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20value%3DFalse%2C%0A%20%20%20%20%20%20%20%20label%3D%22Include%20the%20document%20text%20(in%20the%20package%20and%20in%20the%20documents%20CSV)%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(include_text%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(AppConfig%2C%20display_result%2C%20exports%2C%20include_text%2C%20mo)%3A%0A%20%20%20%20if%20display_result%20is%20None%3A%0A%20%20%20%20%20%20%20%20_view%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22*No%20result%20yet.%20Go%20to%20**Step%203**%20and%20select%20**Run%20model**%20to%20unlock%20the%20downloads.*%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%23%20Export%20the%20settings%20of%20the%20fitted%20result%2C%20not%20the%20live%20controls.%20A%20changed%20control%0A%20%20%20%20%20%20%20%20%23%20would%20otherwise%20describe%20a%20run%20that%20did%20not%20make%20these%20files.%0A%20%20%20%20%20%20%20%20_config%20%3D%20AppConfig.model_validate(display_result.config)%0A%20%20%20%20%20%20%20%20_package%20%3D%20mo.download(%0A%20%20%20%20%20%20%20%20%20%20%20%20data%3Dexports.project_zip(display_result%2C%20_config%2C%20include_text.value)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20filename%3D%22project.zip%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Download%20complete%20research%20package%20(.zip)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mimetype%3D%22application%2Fzip%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_files%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22documents_topics.csv%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exports.to_csv_bytes(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exports.documents_topics_frame(display_result%2C%20include_text.value)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22text%2Fcsv%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22topics.csv%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exports.to_csv_bytes(exports.topics_frame(display_result))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22text%2Fcsv%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22topic_terms.csv%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exports.to_csv_bytes(exports.topic_terms_frame(display_result))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22text%2Fcsv%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22topic_similarity.csv%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exports.to_csv_bytes(exports.topic_similarity_frame(display_result))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22text%2Fcsv%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22config.json%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20exports.config_json(_config%2C%20display_result.topic_names)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22application%2Fjson%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20_buttons%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.download(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20data%3D_data%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20filename%3D_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22%7Bexports.EXPORT_LABELS%5B_name%5D%7D%20(%7B_name%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mimetype%3D_mimetype%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_name%2C%20(_data%2C%20_mimetype)%20in%20_files.items()%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20_view%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_package%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20package%20holds%20every%20table%2C%20the%20settings%20to%20repeat%20the%20run%2C%20and%20a%20README.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20include_text%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.accordion(%7B%22Individual%20files%22%3A%20mo.vstack(_buttons%2C%20gap%3D0.5%2C%20align%3D%22start%22)%7D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20gap%3D0.75%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_view%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20The%20sidebar%20stays%20in%20view%20on%20every%20step%2C%20so%20a%20reader%20finds%20the%20author%2C%20the%20licence%2C%20and%20the%0A%20%20%20%20%23%20sources%20without%20scrolling%20to%20the%20end%20of%20a%20long%20page.%20This%20is%20the%20only%20copy%20of%20the%20text.%0A%20%20%20%20%23%20The%20How%20to%20text%20uses%20Simplified%20Technical%20English%3A%20short%20sentences%2C%20one%20instruction%20each.%0A%20%20%20%20mo.sidebar(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20How%20to%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%23%20Use%20a%20demo%0A%0A%20%20%20%20%20%20%20%20%20%20%20%201.%20Click%20**Newspaper%20Corpus%20demo**%20or%20**Single%20Book%20demo**.%0A%20%20%20%20%20%20%20%20%20%20%20%202.%20Wait.%20The%20app%20loads%20the%20text%20and%20makes%20the%20model.%0A%20%20%20%20%20%20%20%20%20%20%20%203.%20Read%20the%20results%20in%20Step%203.%20Start%20with%20the%20**Overview**%20tab.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%23%20Use%20your%20own%20data%0A%0A%20%20%20%20%20%20%20%20%20%20%20%201.%20Click%20**Use%20my%20own%20data**.%0A%20%20%20%20%20%20%20%20%20%20%20%202.%20In%20Step%201%2C%20drop%20your%20files%20in%20the%20box%2C%20or%20paste%20your%20text.%0A%20%20%20%20%20%20%20%20%20%20%20%203.%20Use%20one%20CSV%2C%20TSV%2C%20JSON%2C%20or%20JSONL%20file%20for%20a%20table.%20Use%20one%20row%20for%20each%20document.%0A%20%20%20%20%20%20%20%20%20%20%20%204.%20Use%20one%20or%20more%20TXT%20or%20PDF%20files%20for%20texts.%20Each%20file%20is%20one%20document.%0A%20%20%20%20%20%20%20%20%20%20%20%205.%20For%20one%20long%20text%2C%20set%20**Analyse%20as**%20to%20**Ordered%20text**.%0A%20%20%20%20%20%20%20%20%20%20%20%206.%20In%20Step%202%2C%20set%20the%20language.%20Keep%20the%20other%20settings%20for%20the%20first%20run.%0A%20%20%20%20%20%20%20%20%20%20%20%207.%20In%20Step%203%2C%20click%20**Run%20model**.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%23%20Make%20the%20topics%20better%0A%0A%20%20%20%20%20%20%20%20%20%20%20%201.%20Read%20the%20terms%20of%20each%20topic%20in%20the%20**Topics**%20tab.%0A%20%20%20%20%20%20%20%20%20%20%20%202.%20Type%20the%20words%20that%20you%20do%20not%20want%20in%20**Add%20stop%20words**.%0A%20%20%20%20%20%20%20%20%20%20%20%203.%20Change%20the%20**Number%20of%20topics**.%0A%20%20%20%20%20%20%20%20%20%20%20%204.%20Click%20**Rerun**.%20Compare%20the%20runs%20in%20the%20**Diagnostics**%20tab.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%23%20Keep%20your%20work%0A%0A%20%20%20%20%20%20%20%20%20%20%20%201.%20In%20Step%204%2C%20click%20**Download%20complete%20research%20package%20(.zip)**.%0A%20%20%20%20%20%20%20%20%20%20%20%202.%20To%20do%20the%20same%20run%20again%2C%20load%20its%20%60config.json%60%20in%20Step%202.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20app%20does%20not%20send%20your%20data%20to%20a%20server.%20All%20work%20occurs%20in%20this%20browser.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%20About%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BMoritz%20M%C3%A4hr%5D(https%3A%2F%2Fgithub.com%2Fmaehr)%20wrote%20Simple%20Topic%20Modeling.%20It%20is%20free%0A%20%20%20%20%20%20%20%20%20%20%20%20software%20under%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BAGPL-3.0%5D(https%3A%2F%2Fgithub.com%2Fmaehr%2Fsimple-topic-modeling%2Fblob%2Fmain%2FLICENSE).%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%23%20Demos%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**Newspapers.**%20295%20articles%20from%20the%20*Journal%20de%20Gen%C3%A8ve*%20and%20the%20*Gazette%20de%0A%20%20%20%20%20%20%20%20%20%20%20%20Lausanne*%20of%201914.%20The%20EPFL%20Digital%20Humanities%20Laboratory%20digitised%20the%20archive%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20*Le%20Temps*%20and%20published%20it%20under%20CC%20BY%204.0%2C%20for%20the%202015%20Swiss%20Open%20Cultural%20Data%0A%20%20%20%20%20%20%20%20%20%20%20%20Hackathon.%20The%20articles%20are%20anonymous%2C%20so%20they%20left%20copyright%20in%201985.%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BProject%20page%5D(https%3A%2F%2Fhack.glam.opendata.ch%2Fproject%2F234).%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20**Book.**%20Mary%20Wollstonecraft%2C%20*A%20Vindication%20of%20the%20Rights%20of%20Woman*%20(1792)%2C%20from%0A%20%20%20%20%20%20%20%20%20%20%20%20%5BProject%20Gutenberg%5D(https%3A%2F%2Fwww.gutenberg.org%2Febooks%2F3420).%20The%20work%20is%20in%20the%20public%0A%20%20%20%20%20%20%20%20%20%20%20%20domain.%20A%20build%20script%20removes%20the%20Project%20Gutenberg%20header%20and%20licence%2C%20and%20keeps%0A%20%20%20%20%20%20%20%20%20%20%20%20each%20sentence%20of%20the%20work.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%60NOTICE%60%5D(https%3A%2F%2Fgithub.com%2Fmaehr%2Fsimple-topic-modeling%2Fblob%2Fmain%2FNOTICE)%20holds%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20full%20statement%20for%20both%20demos.%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%23%23%23%20Take%20part%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20%5BReport%20a%20problem%20or%20ask%20for%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20feature%5D(https%3A%2F%2Fgithub.com%2Fmaehr%2Fsimple-topic-modeling%2Fissues)%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20%5BContribution%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20guidelines%5D(https%3A%2F%2Fgithub.com%2Fmaehr%2Fsimple-topic-modeling%2Fblob%2Fmain%2FCONTRIBUTING.md)%0A%20%20%20%20%20%20%20%20%20%20%20%20-%20%5BSource%20code%5D(https%3A%2F%2Fgithub.com%2Fmaehr%2Fsimple-topic-modeling)%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20width%3D%2220rem%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A