Paper Notes: Large Language Models Struggle to Learn Long-Tail Knowledge

-

Paper Notes: Large Language Models Struggle to Learn Long-Tail Knowledge

test

留言

張貼留言

這個網誌中的熱門文章

怎麼建立一個 Https server?

-
圖片
如何架設一個 https server 如何架設一個 https server 最近 chatbot 聊天機器人很火紅，在 Facebook, Line, Slack, Telegram 上都能夠架設聊天機器人。我們只需要設定 callback url 就可以了。但是， 我們服務的 callback url 通常必須是 https，所以我想分享一下自己是怎麼架設 https server。 會使用到的伺服器軟體及要準備的東西： nginx domain name 一台擁有 public ip 的機器 流程 將 domain name 綁定到你機器的 ip 上 申請 ssl 憑證 設定 nginx, run service 將 domain name 綁定到 ip 上 首先，你得要先取得一個 domain name, 通常這個 domain name 是跟供應商買來的，常見的供應商有： Godaddy Namecheap p.s domain name 購買的期限是以年為單位。 購買了一個 domain name 之後，藉由購買 domain name 的平台網站去管理 DNS，將 A record 的部分設定為你的機器 IP。大概過 3 - 5 分鐘後，就可以利用 domain name 去存取你的網頁服務。 如果你對 DNS 的設定有興趣可以看 這裡 以 Godaddy 為例： 申請 ssl 憑證 ssl 你可以跟供應商購買，GoDaddy, Namecheap 都有在賣。但是如果你 跟我一樣窮的話 只是單純想要嚐鮮的話，可以試試 Let’s Encrypt 的服務。他可以提供免費的 ssl 憑證，這個憑證有三個月的使用期限，等使用期限快到了再 renewal 就好了。 網路上關於 Let’s Encrypt 的教學都是比較舊版的，現在你只要使用他們提供的 Certbot 服務，按照他們的步驟執行就可以輕鬆取得 ssl 憑證。 首先選擇一下，你的 webserver 和 os 種類 依序執行 $ wget https://dl.eff.org/certbot-auto $ chmod a+x certbot-auto $ ./certbot-auto certonly 這時候會出現藍色的互動式介面...
閱讀完整內容

[Paper note] Multiagent Bidirectionally-Coordinated Nets for Learning to Play StarCraft Combat Games

-
Paper:  https://arxiv.org/abs/1703.10069 這篇論文是由 Alibaba & UCL共同發表的，並投稿到 NIPS 2017。他們發表了一個 Multi-agent framework 讓 agents 利用共同的 framework 一起學習，他們將這個架構簡稱為 BiCNet。 Attribute of BiCNet Vectorised Actor-Critic: vectorised 指的是一個 input 可以輸入多個 agents的資訊。 Deterministic Policy Use bidirectional RNN as their actor network and critic network Dynamic Grouping 機制 Shared Parameter among all agents 他們使用 BRNN 利用 hidden layer 來 Model agents 之間彼此溝通的行為，這是這篇論文的創新點之一。不過他們團隊並不知道為什麼這樣可行，而僅僅解決了 how 的問題，還不知道 why? 另外精彩的地方我覺得是數學的 Model，他們分為兩個視角來看 Starcraft Combat 問題: 將 Combat 看作 zero-sum stochastic games (recycle) 定義出整體 Combat 的 reward (隨 step 變化) Model agents 之間彼此合作緊密度，是否完成共同目標。利用 Top-K list 記錄和當下 agent 合作的其他 agents。在這裡我稱為一個小 group，後續對應的是 dynamic grouping。在這樣的情況下，他們會共享 reward，好像一個小隊生死與共一樣。 最後，他們利用這樣的 framework 學習到了各種互動的策略 Coordinated moves without collision Hit and Run tactics Coordinated cover attack Focus fire without overkill Collaborations between heterogeneous agents 雖...
閱讀完整內容

C pointer to function 函式指標 學習心得

-
圖片
這是函式指標學習心得的第一篇，在這一篇中你會學習到： 1. 函式在記憶體中的情況 2.  如何宣告一個函式指標 3.  函式的宣告 4. 使用 typedef 來定義一個函式指標的類型 本篇著重在介紹函式指標，實際應用方面會在下一篇介紹 ------------------------ 1.  函式在記憶體中的情況  ------------------------ 在真正的開始學習函式指標 ( pointer to function ) 之前，我們要先弄懂到底什麼是函式 以及函式在記憶體分布的情形。 當一個程式碼檔案 ( .c , .cpp ...) 被執行的時候，會產生出一個程序 ( process )，此時才會開始佔用記憶體及進行各種運算。先前我們定義的指標都是針對一個資料型態，如：int *  這是一個指向 int 資料類型的指標。然而，Ｃ為什麼沒有為 function 也定義出一個資料型別？ 因為不同的 function 依照建立的方式不同而有不同的 type ，所以沒辦法替每一種 function 都定義出一個通用的型別。 實際上，function 和一般的資料儲存的狀況不太一樣，他儲存的是一堆的指令。 我們可以參考下面的圖片：  圖片來源：http://ccckmit.wikidot.com/cp%3Aenvironment 當一個 process 產生的時候，會有一塊自己可以使用的記憶體，並且這個記憶體分成許多不同的區塊，儲存不同的東西。一般來說，我們使用的區域變數是儲存在 stack 區段。程式碼則是儲存在 .text 區。因此，雖然和一般的資料型式不同，但是程式碼也是會佔用記憶體的！ 理所當然，他也會有自己的位址。 我們可以利用反組譯的方式來查看： 編譯方式：gcc -g -o test test.c 在這裡我使用 gdb 來輔助  第 1 行 顯示 function name 的位址，接著我們到第15行可以發現，function 第 1 行指令的位址和function name的位址是一樣的，所以我們可以得知：其實function name的位址就是function第一行指令的位址。接著，在第 8 行中，我們可以看到...
閱讀完整內容