Przez cztery stulecia w Pile istniała gmina żydowska. Powstała ona prawdopodobnie w 1550 roku. Tę datę podaje niemiecki historyk Richard Havemann. Według danych z 1563 r., w mieście znajdowały się tylko 3 domy żydowskie. Później liczba ludności żydowskiej w Pile zaczęła stopniowo wzrastać i w roku 1569 było już w mieście 5 domów żydowskich, co - licząc po 5 osób na rodzinę - dawało ok. 30 osób. Na ogólną liczbę 271 domów stanowiło to 1,8%.

W 1626 roku Piłę strawił wielki pożar, który rozpoczął się w domu niejakiego Joachima - Żyda mieszkającego tuż przy kościele parafialnym. Po pożarze królowa Konstancja (żona Zygmunta III Wazy) - opiekunka miasta przysłała do Piły swego sekretarza Samuela Tarjowskiego, któremu poleciła opracować zupełnie nowy plan zabudowy. Na przedmieściu wytyczył on dzielnicę, w której Żydzi mieli odbudować swoje domy. Rozciągała się ona między dzisiejszym pl. Staszica a al. Piastów, od północy zaś graniczyła z ogrodem kościoła św. Jana. Jej centrum stanowił plac zwany Rynkiem Żydowskim, znajdujący się w okolicy al. Piastów i ul. Ossolińskich, pośrodku którego zbudowano drewnianą synagogę. Nakazano jednak, aby nie była ona wyższa niż sąsiednie budynki. Dzielnicę żydowską otoczono rowem i palisadą.

W XVII wieku na ludność żydowską nałożono liczne zakazy. Żydom zakazano budowy domów poza dzielnicą żydowską oraz kupowania nieruchomości od chrześcijan. Odebrano im także łąki nad Gwdą. Dla odróżnienia od pozostałych mieszkańców miasta nakazano im nosić żółte kapelusze i czerwoną chustę na ramionach. Nie wolno im było także warzyć piwa i produkować wódki oraz nabywać alkoholu od innych osób w celu odsprzedaży.

Liczba Żydów w Pile nadal rosła i - jak przyjmuje F. Żmidziński - w roku 1655 było w mieście już 80 domów żydowskich, czyli ludność ta osiągnęła ok. 500 osób, co stanowiło już 30% ogółu mieszkańców. Ten okres rozwoju przerwał jednak najazd szwedzki. W dniu 24 lipca 1655 roku Piła została zajęta przez wojska feldmarszałka Wittenberga. Nienawiść wroga skupiła się głównie na Żydach. Szwedzi zamordowali ok. 33 osób, rabując cały dobytek, sprofanowali synagogę, zniszczyli rulon z Torą i spalili święte księgi. Pozostali przy życiu Żydzi zdołali zbiec do sąsiednich miasteczek. Po przejściu Szwedów gmina żydowska w Pile przestała istnieć. W drugiej połowie XVII w. liczba Żydów w Pile zaczęła ponownie wzrastać. Przyczynił się do tego między innymi przywilej na prowadzenie handlu wełną, nadany im w październiku 1670 r. Konkurencja ze strony Żydów stała się przyczyną niechęci mieszkańców Piły. Proponowano nawet, aby całkowicie wydalić ich z miasta.

W 1709 roku w czasie wojny północnej Szwedzi ograbili i spalili synagogę oraz wszystkie domy w dzielnicy żydowskiej. Niebawem na miejscu synagogi zbudowany został nowy budynek.

Według opisu z 1772 roku, po zajęciu miasta przez Prusy, w Pile w 43 domach mieszkało 318 Żydów. Rodzin żydowskich było 80, co daje wskaźnik 3,7 osoby na rodzinę. W roku następnym, według raportu burmistrza Rosenera, w 37 domach mieszkało w mieście 322 Żydów. Większość z nich zajmowała się handlem, głównie sprzedażą sukna i wełny, rzeźnictwem oraz wyszynkiem piwa i miodów. Wbrew zakazom handlowali oni również żywnością i wódką. Za panowania pruskiego liczba ludności żydowskiej w mieście nie zmieniła się zbytnio.

W latach 1833-1844 Żydzi otrzymali prawa polityczne. W 1834 roku mieszkało w Pile 404 Żydów. W dniu 7 lipca tego roku miał miejsce wielki pożar miasta, w wyniku którego spłonęła synagoga, dom nauki oraz większość żydowskich domów. Zniszczona została również większość materiałów dotyczących gminy żydowskiej. Nową, dużą murowaną synagogę, która jak poprzednie stała na Rynku Żydowskim (późniejszy Wilhelmsplatz), poświęcono dokładnie 7 lat po pożarze, 7 lipca 1841 roku. Po zachodniej stronie placu zbudowano szkołę żydowską. Od roku 1872 nadzór nad nią sprawowało państwo. W 1890 roku została ona upaństwowiona i przeszła na utrzymanie miasta.

Na przełomie XIX i XX w. zmniejszał się odsetek ludności żydowskiej w mieście: od 805 w roku 1880, poprzez 798 w 1890, do 580 w 1910. Przez następne lata liczba ta nie uległa zmianie. Według spisu z 1925 roku w Pile mieszkało 586 Żydów (ok. 1,6% ogółu mieszkańców). W 1937 roku było ich już tylko 236. Związane było to z bezwzględnymi represjami, którymi zostali poddani żydowscy mieszkańcy Piły po dojściu Hitlera do władzy.

W nocy z 9 na 10 listopada 1938 roku (w tzw. noc kryształową), jak w całej III Rzeszy, doszło w Pile do gwałtownych zamieszek. Zdemolowano mieszkania i sklepy należące do Żydów. Wielu z nich wyciągnięto z mieszkań i pobito. Spalono synagogę przy Wilhelmsplatz, która już nigdy nie została odbudowana. W synagodze spłonęła kronika gminy pilskiej, założona jesienią 1756 roku. Jednocześnie Gestapo pilskie aresztowało wielu Żydów, których następnie przewieziono do obozu koncentracyjnego w Sachsenhausen. W pierwszej połowie lutego 1940 roku pozostałych w mieście Żydów wywieziono razem z ludnością żydowską z innych miejscowości zachodniopomorskich i ulokowano w okropnych warunkach w barakach pod Lublinem. W ten sposób historia Żydów w Pile została zamknięta.

Cmentarz żydowski w Pile założono prawdopodobnie w 1627 r., w pobliżu ówczesnej dzielnicy żydowskiej. Po powiększeniu w 1854 r. jego powierzchnia wynosiła 0,8 ha. Według przedwojennych książek adresowych jego adres to Karlstraße 13 (obecnie pl. Domańskiego). Nekropolia miała kształt płaskiego i równego prostokąta. W 1896 r. na cmentarzu wybudowano kaplicę pogrzebową, powiększoną w 1924 r. W okresie międzywojennym istniała jeszcze spora liczba nagrobków z okresu staropolskiego, z których w latach dwudziestych XX wieku ustawiono piramidę. W drugiej połowie lat dwudziestych wzniesiono także pomnik Żydów poległych w I wojnie światowej. Projekt wykonał prof. Liebermann z Berlina, natomiast sam pomnik składający się z trzech obelisków wykonano w pilskim zakładzie kamieniarskim Wilhelma Peglowa. Na pomniku znajdował się napis "Für die Mütter der Zehntausend" ("Matkom dziesięciu tysięcy") oraz nazwiska poległych Żydów z Piły.